这是我在这里的第一个问题，但我正在使用这个论坛很多时间来解决我在此期间遇到的很多问题，但现在我找不到任何信息来帮助我解决这个问题。
我有几个有联盟内容的cobrand所以我无法控制所有内容，因为它们是白色标签，我只在它们上设置了cname。因为现在谷歌看起来正在考虑cobrands整个根页面。
我需要对这些cobradex进行去索引以消除低内容报告;我想联系联盟经理，但......他们很慢（其中一些）。
我正在寻找一种方法来禁止robots.txt这个网站：http://cobrand.domain.com ...
任何帮助都非常感激。 Txs
答案 0 :(得分：2)
如果您要禁止抓取主机为http://cobrand.example.com/的网址，则需要在该主机的文档根目录中放置文本文件robots.txt：http://cobrand.example.com/robots.txt
以下内容将阻止每个礼貌机器人的所有内容：
User-agent: *
Disallow: /