禁止在robot.txt中使用某些URL

时间:2015-11-09 22:52:05

标签: robots.txt

我目前正在运行一项人们可以浏览产品的网络服务。它的URL基本上只是 / products / product_pk / 。但是,我们不提供具有某些product_pks的产品,例如因此,有没有办法阻止机器人点击像 / products / 10 / 这样的网址(因为他们会收到404)?

感谢您的帮助:)

1 个答案:

答案 0 :(得分:0)

我很确定抓取工具不会尝试使自动生成的网址失败。它会抓取您的网站并找到要抓取的下一个链接。如果您有任何返回404的链接,这是您网站上的糟糕设计,因为它们不应该在那里。