我对robots.txt文件有疑问。
Disallow: Blog/*+*
这是什么意思？
答案 0 :(得分：1)
理论上，它会阻止选择尊重它的机器人访问以Blog / +开头的网站的任何部分;然而，机器人不必尊重它，并且因为它不是从一个指示斜线的目录开始，所以不知道人们的机器人将如何处理它。
来自：http://www.robotstxt.org/orig.html
不允许 此字段的值指定不访问的部分URL。这可以是完整路径，也可以是部分路径;将不会检索以此值开头的任何URL。例如，Disallow：/ help不允许/help.html和/help/index.html，而Disallow：/ help /将禁止/help/index.html但允许/help.html。 任何空值表示可以检索所有URL。记录中至少需要有一个Disallow字段。