我目前正在运行一项人们可以浏览产品的网络服务。它的URL基本上只是 / products / product_pk / 。但是,我们不提供具有某些product_pks的产品,例如因此,有没有办法阻止机器人点击像 / products / 10 / 这样的网址(因为他们会收到404)?
感谢您的帮助:)
答案 0 :(得分:0)
我很确定抓取工具不会尝试使自动生成的网址失败。它会抓取您的网站并找到要抓取的下一个链接。如果您有任何返回404的链接,这是您网站上的糟糕设计,因为它们不应该在那里。