我的robots.txt是User-agent:* Disallow:/ feeds / Disallow:/ * / _ /这意味着什么?

时间:2011-01-29 14:41:35

标签: robots.txt

我有一个Google网站,今天我发现谷歌生成了一个新的robots.txt文件:

User-agent: *
Disallow: /feeds/
Disallow: /*/_/

这是什么意思?感谢您的回复。

1 个答案:

答案 0 :(得分:3)

以下是细分:

User-agent: *  -- Apply to all robots 
Disallow: /feeds/  -- Do not crawl the /feeds/ directory
Disallow: /*/_/  -- Do not crawl any subdirectory that is named _

有关详细信息,请参阅www.robotstxt.org

User-Agent标题是浏览器和漫游器识别自己的方式。

Disallow行定义了机器人应该遵循的规则 - 在这种情况下,它们不应该抓取它们。