如何阻止Google和其他搜索引擎将我的网站编入索引？
答案 0 :(得分：8)
我意识到这是一个非常古老的问题，但我想强调@Julien作出的实际答案。
According to Joost de Valk，robots.txt确实会阻止您的网站被搜索引擎抓取，但如果其他网站的链接指向您的网站，则您网站的链接仍可能会出现在搜索结果中。
解决方案是在网页标题中添加漫游器元标记：
<meta name="robots" content="noindex,nofollow"/>
或者，更简单的选择是将以下内容添加到.htaccess文件中：
Header set X-Robots-Tag "noindex, nofollow"
显然，您的网站托管服务商必须允许.htaccess规则并安装mod_headers模块才能正常运行。
这两个标记都会阻止搜索引擎跟踪指向您网站的链接并在搜索结果中显示您的网页。双赢，宝贝。
答案 1 :(得分：7)
在您的网站根目录中创建一个robots.txt文件，其中包含以下内容：
# robots.txt for yoursite
User-agent: *
Disallow: /
搜索引擎（以及大多数机器人）一般会尊重此文件的内容。您可以为机器人放置任意数量的Disallow: /path行以供忽略。更多详情请见robotstxt.org。
答案 2 :(得分：0)
robots.txt指令