用于URL屏蔽的robots.txt

时间:2017-08-23 07:24:42

标签: robots.txt

我有单个目录“demo”。我已对其进行了网址屏蔽,即demo.example.compreview.example.com

我想仅允许demo.example.com上的搜索引擎抓取。我希望robots.txt禁止使用preview.example.com网址。

robots.txt对两个网址都很常见。

我该怎么做?

0 个答案:

没有答案