我创建了一个新网站，我不希望它被搜索引擎抓取，也不会出现在搜索结果中。
我已经创建了一个robots.txt
User-agent: *
Disallow: /
我有一个HTML页面。我想用
<meta name="robots" content="noindex">
但是Google页面说当robots.txt没有阻止某个网页时应该使用它，因为robots.txt根本看不到noindex标记。
有什么方法可以同时使用noindex和robots.txt吗？
答案 0 :(得分：0)
有两种解决方案，两者都不优雅。
您是正确的，即使您Disallow: /您的网址仍可能出现在搜索结果中，也可能没有元描述和Google生成的标题。
假设您只是暂时执行此操作，建议的方法将在您的网站前basic http auth。这不是很好，因为用户必须输入基本的用户名和密码，但这会阻止您的网站被抓取和编入索引。
如果您不能或不想在网站前放置基本身份验证，则可以选择在您的Robots.txt文件中Disallow: /，并使用Google Search Console通过请求从索引中删除该网站来定期清除Google索引。
这在多方面都是不优雅的。