Robots.txt禁止某些文件夹名称

Question

我想禁止机器人抓取任何文件夹，位于网址中名称为this-folder的任意位置。

禁止的例子：

http://mysite.com/this-folder/
http://mysite.com/houses/this-folder/
http://mysite.com/some-other/this-folder/
http://mysite.com/no-robots/this-folder/

这是我的尝试：

Disallow: /.*this-folder/

这会有用吗？

Answer 1

不支持官方通配和正则表达式：

http://www.robotstxt.org/robotstxt.html

但显然有些搜索引擎支持此功能。