如何排除某些路径被抓取/编入索引？

Question

我的网站上有以下网址结构：

用户帐户：

http://www.mydomain.com/username

用户my包含以下项目：

http://www.mydomain.com/username/item/itemId

我必须在robots.txt中设置哪些用户帐户不会被编入索引，所有项目都会被编入索引？

Answer 1

实际上，我认为robots.txt无法做到这一点。如果username，item和item-id可以是任意字符串，Google的通配符支持可能不会支持。您必须至少指定每个username。

查看Google的Robots.txt Specifications页面。可能还有其他方法可以做你想做的事。