如果我在robots.txt中选择的唯一禁令是针对iisbot，为什么googlebot会阻止我的所有网址？

Question

我有以下robots.txt超过一年，看似没有问题：

User-Agent: *

User-Agent: iisbot
Disallow: /



Sitemap: http://iprobesolutions.com/sitemap.xml

现在我从robots.txt测试工具

收到以下错误

为什么googlebot阻止了我的所有网址，如果我选择的唯一不允许用于iisbot？

Answer 1

将连续User-Agent行添加到一起。因此Disallow将适用于User-Agent: *以及User-Agent: iisbot。

Sitemap: http://iprobesolutions.com/sitemap.xml

User-Agent: iisbot
Disallow: /

您实际上不需要User-Agent: *。

Answer 2

您的robots.txt无效（根据original robots.txt specification）。

• 您可以拥有多条记录。
• 记录以空行分隔。
• 每条记录必须至少有一条User-agent行和至少一条Disallow行。

规范没有定义应该如何处理无效记录。因此，用户代理可能会将您的robots.txt解释为拥有一条记录（忽略空行），或者他们可能会将第一条记录解释为允许所有内容（至少这可能是假设）。

如果您想允许所有机器人（＃34; iisbot＆＃34;除外）抓取所有内容，您应该使用：

User-Agent: *
Disallow: 

User-Agent: iisbot
Disallow: /

或者，您可以省略第一条记录，因为无论如何都允许一切都是默认值。但我更愿意在这里明确。