如何在没有Robots.txt的情况下隐藏搜索引擎的网站目录?

时间:2014-07-29 00:41:47

标签: security search-engine robots.txt

我们知道我们可以使用robots.txt阻止搜索引擎索引我们网站上的目录。

但这当然有一个缺点,即实际上我们不希望发现可能的攻击者的目录。

使用.htaccess或其他方式保护目录的密码显然是保持目录私有的最佳方法。

但是,如果出于方便的原因,我们不想在目录中添加另一层安全性并且只想添加另一层混淆,该怎么办?例如,隐藏管理员登录页面。

是否有其他方法可以“隐藏”目录而不在robots.txt文件中广播其位置?

2 个答案:

答案 0 :(得分:1)

这是要做什么,请注意,因为您没有提到任何特定的技术,我没有包含如何这样做。

如果您将Web服务器配置为在HTML页面的目录列表中输出以下meta标记,则它将prevent your page from being indexed by compliant search engines

<meta name="robots" content="noindex">

添加此项可能需要在Web服务器中实现一个自定义模块,该模块将覆盖默认目录列表输出页面。

答案 1 :(得分:0)

尝试使用随机字符串。像http://website.com/some-random-string-here/file.html

这样的东西

请记住,不要在robots.txt文件或任何链接中使用some-random-string-。