如何创建有效的robots.txt文件，该文件会阻止除root之外的所有抓取工具请求，即登陆http://www.mysite.com
答案 0 :(得分：1)
假设您的根目录的默认页面名为index.htm，我相信这将完成您所需的目标。
User-agent: *
Allow: /index.htm
Disallow: /
Google的网站管理员工具有一些great help用于制定robots.txt，如果您使用网站管理员工具，您还会获得robots.txt制造商/测试人员。