所以我想排除整个目录（及其子文件夹）被任何搜索引擎索引。让我们想象我的域名被称为＆＃34; example.com ＆＃34;和目录＆＃34; 目录 - 要排除＆＃34;
现在我输入以下关键字
目录 - 排除示例（不包含.com）
我将此视为谷歌搜索结果：
目录 - 排除 - 示例
example.com/directory-to-exclude /
由于此网站的原因，此结果的说明不可用 robots.txt - 了解更多信息。
即使内容被隐藏且未被编入索引，它也会显示出来。但我想阻止谷歌完全显示它。 现在，确定一个人必须知道我的目录的名称谷歌，但它可能被猜到（并且不想密码重命名）
我到目前为止所做的是将这些行放在我的robots.txt
中User-agent: *
Crawl-delay: 10
# Directories
Disallow: /directory-to-exclude/
# Paths (clean URLs)
Disallow: http://www.example.com/directory-to-exclude/
Disallow: http://example.com/directory-to-exclude/
Disallow: /directory-to-exclude/
仍然没有成功。有什么帮助吗？
答案 0 :(得分：2)
谷歌已经为你的网站编写了他们的元描述：
＆＃34;由于此网站的robots.txt而无法获得此结果的说明 - 了解详情。＆＃34;
所以你的robots.txt infact是对的。然而，如果有指向该目录的链接或google认为它非常安静，那么它将抓取页面。如果你想摆脱它，你可以在该目录中的每个页面上使用noindex标记：
<meta name="robots" content="noindex">