适用于robots.txt的通配符Disallow

Question

我试图禁止特定页面及其参数以及整个站点上的参数。下面我有一些确切的例子。

我们现在有一个页面可以重定向和跟踪外部网址。我们要跟踪的任何外部网址都会像/redirect?u=http://example.com一样链接。我们不想在每个链接中添加rel="nofollow"。

最后但并非最不重要（我们最大的seo和索引问题）是每个页面都有一个自动生成URL来禁用或启用移动设备。因此，它可以位于/?mobileVersion=off（或开启）或/accounts?login_to=%2Fdashboard&mobileVersion=off

等任何网页上

基本上，禁止这两个参数的简单方法是禁止任何页面中的mobileVersion和u。 （u是重定向网址所需的参数，仅在/redirect上有效

我当前的robots.txt配置：

User-Agent: *
Disallow: /redirect
Disallow: / *?*mobileVersion=off

如果您想查看位于http://spicethymeinc.com/robots.txt的完整robots.txt个文件。

Answer 1

你可以改变

Disallow: / *?*mobileVersion=off

到

Disallow: /*mobileVersion=off

但它看起来应该有效。

我要离开此页面上的通配符部分和示例： http://tools.seobook.com/robots-txt/

编辑：我已经使用googlebot和googlebot手机进行了测试。您当前的robots.txt和我建议的更改都会阻止它们。 Google webmaster tools有一个方便的机器人检查程序，可以用来测试。