Robots.txt不能正常工作

时间:2010-09-08 03:45:09

标签: robots.txt web-crawler

我使用robots.txt来限制我网站中的一个文件夹。该文件夹由正在构建的站点组成。谷歌已将所有处于测试阶段的网站编入索引。所以我用了robots.txt。我首先提交了该网站,并启用了robots.txt。现在www.mysite.com/robots.txt的状态是成功的。但谷歌仍在列出这些测试链接。这是我为robots.txt编写的代码......

User-agent: *
Disallow: /foldername/

有谁能告诉我这个问题可能是什么?提前致谢

2 个答案:

答案 0 :(得分:3)

您是否按照Googles说明测试了robots.txt? http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

要测试网站的robots.txt文件:
  • 在网站站长工具主页上,单击所需的网站。
  • 在“站点配置”下,单击“爬网程序访问”
  • 如果尚未选中,请单击“测试robots.txt”选项卡。
  • 复制robots.txt文件的内容,然后将其粘贴到第一个框中。
  • 在“URL”框中,列出要测试的站点。
  • 在“用户代理”列表中,选择所需的用户代理。


网站管理员工具:https://www.google.com/webmasters/tools/home?hl=en

答案 1 :(得分:3)

请参阅Google网站管理员博客中的Requesting Removal of Content from our Index。您可以使用Google Webmaster Tools提交删除请求,从而加快删除流程;否则,页面将在重新抓取时最终从索引中删除(即更新robots.txt文件没有立即更改;更改将在后续抓取时发生。)