如何通过robots.txt排除特定文件夹

Question

我想从搜索引擎索引中排除任何文件夹中名为“ajax”的所有子文件夹。

示例：

.com/a/ajax
.com/b/ajax
.com/c/ajax

这可以通过robots.txt吗？

Answer 1

只有明确列出每个文件夹才有可能。没有通配符支持来完成您想要的类型。 robots.txt exclusion standard在这方面有点缺乏。