在robots.txt中禁止Cobrand?

时间:2013-09-27 17:05:19

标签: robots.txt

这是我在这里的第一个问题,但我正在使用这个论坛很多时间来解决我在此期间遇到的很多问题,但现在我找不到任何信息来帮助我解决这个问题。

我有几个有联盟内容的cobrand所以我无法控制所有内容,因为它们是白色标签,我只在它们上设置了cname。因为现在谷歌看起来正在考虑cobrands整个根页面。

我需要对这些cobradex进行去索引以消除低内容报告;我想联系联盟经理,但......他们很慢(其中一些)。

我正在寻找一种方法来禁止robots.txt这个网站:http://cobrand.domain.com ...

任何帮助都非常感激。 Txs

1 个答案:

答案 0 :(得分:2)

如果您要禁止抓取主机为http://cobrand.example.com/的网址,则需要在该主机的文档根目录中放置文本文件robots.txthttp://cobrand.example.com/robots.txt

以下内容将阻止每个礼貌机器人的所有内容:

User-agent: *
Disallow: /