我如何禁止robots.txt文件中除主页以外的所有页面?

时间:2016-05-19 10:48:24

标签: web-crawler robots.txt

我希望允许网络抓取工具查看我的网站主页,但不能输入任何其他主页。

0 个答案:

没有答案