这是我在这里的第一个问题,但我正在使用这个论坛很多时间来解决我在此期间遇到的很多问题,但现在我找不到任何信息来帮助我解决这个问题。
我有几个有联盟内容的cobrand所以我无法控制所有内容,因为它们是白色标签,我只在它们上设置了cname。因为现在谷歌看起来正在考虑cobrands整个根页面。
我需要对这些cobradex进行去索引以消除低内容报告;我想联系联盟经理,但......他们很慢(其中一些)。
我正在寻找一种方法来禁止robots.txt这个网站:http://cobrand.domain.com ...
任何帮助都非常感激。 Txs
答案 0 :(得分:2)
如果您要禁止抓取主机为http://cobrand.example.com/
的网址,则需要在该主机的文档根目录中放置文本文件robots.txt
:http://cobrand.example.com/robots.txt
以下内容将阻止每个礼貌机器人的所有内容:
User-agent: *
Disallow: /