我有一个Google网站,今天我发现谷歌生成了一个新的robots.txt文件:
User-agent: *
Disallow: /feeds/
Disallow: /*/_/
这是什么意思?感谢您的回复。
答案 0 :(得分:3)
以下是细分:
User-agent: * -- Apply to all robots
Disallow: /feeds/ -- Do not crawl the /feeds/ directory
Disallow: /*/_/ -- Do not crawl any subdirectory that is named _
有关详细信息,请参阅www.robotstxt.org。
User-Agent
标题是浏览器和漫游器识别自己的方式。
Disallow
行定义了机器人应该遵循的规则 - 在这种情况下,它们不应该抓取它们。