Question

如何禁止除一个用户代理之外的所有用户代理？例如，对所有用户代理禁止全部，但仅允许Googlebot？

Answer 1

useragent: *
disallow= /

useragent: google
allow= /

此示例robots.txt告诉抓取工具他们是否不在Google上。那么他们最好不要抓取您的网站。虽然Google已经获得了绿色通道来抓取网站上的任何内容。

此文件应存储在www.example.com/robots.txt。