Robot.txt特殊字符不允许

时间:2014-01-27 14:17:11

标签: robots.txt

示例链接upload.php?id = 46。我想禁止所有链接,即id = 1,2,3 我怎么能用特殊字符

来做到这一点

这对我有用吗?

disallow:/upload.php?id=*

2 个答案:

答案 0 :(得分:0)

为什么不在upload.php文件中使用标题?即放:

header("X-Robots-Tag: noindex, nofollow", true);

在upload.php的顶部。如果您使用Apache来提供文件,还可以在配置文件中设置基于规则的标头。

答案 1 :(得分:0)

您的示例适用于主要搜索引擎,但最终*是不必要的,并且会导致不支持通配符的旧机器人忽略该行。 Disallow指令基本上意味着"阻止以下列"开头的任何内容。在最后加上通配符是多余的,并且对匹配的内容没有影响。通配符不是原始robots.txt规范的一部分,因此并非所有机器人都支持它们。所有的主要搜索引擎都有,但许多老式机器人没有。 以下内容与您的示例完全相同,但没有通配符:

User-agent: *
Disallow: /upload.php?id=