阻止Google搜索中的特定文件类型

Question

我想阻止来自Google bot的XML文件，但sitemap.XML除外。我正在使用Lazyest Gallery作为我的WordPress图库。每个gallery文件夹都有一个包含图像细节的XML文件。问题是，现在谷歌索引那些XML文件而不是画廊。我的网站搜索还显示XML文件而不是相册。 将

Disallow: /*/*.xml$

工作？

我已添加

排除了Feed

Disallow: /*/rss/$

到我的robots.txt

Answer 1

要阻止某种类型的所有文件，最简单的方法是：

Disallow: /*.xml$
Disallow: /*.XML$

Robots.txt区分大小写，因此两个条目（如果您知道它们都是一个案例，您可以留下1个）。现在为了确保我们不阻止sitemap.xml，我们需要首先允许它：

Allow: /sitemap.xml
Disallow: /*.xml$
Disallow: /*.XML$

robots.txt中还有一个sitemap指令来引用站点地图的位置，因此我们也可以添加它：

Allow: /sitemap.xml
Disallow: /*.xml$
Disallow: /*.XML$

Sitemap: http://example.com/sitemap.xml