隐藏特定文件夹及其子文件夹和文件？

Question

我想在搜索引擎中隐藏public_html中名为（beta）的文件夹以及它的所有子文件夹和文件，我是否必须将文件放在根文件夹（/）中并执行robots.txt的内容如下

User-agent: *
Disallow: /public_html/beta

OR

将robots.txt放入public_html并按以下内容执行

User-agent: *
Disallow: /beta

Answer 1

robots.txt必须位于根目录中。

www.yoursite.com/robots.txt

这就是你需要的：

用户代理：*

禁止：/ folder / something

有些内容是您要禁止的文件夹的名称

另外，请注意您只想阻止名为something的子文件夹。如果你还有一个你不想禁止的文件，那么这样做：

用户代理：*

禁止：/ folder / something /

Answer 2

重要的是公共网址，而不是服务器的实际物理文件夹。

因此，如果您的网站位于example.com/cooking/index.html，则您的robots.txt需要位于example.com/robots.txt。对于sports.example.com/football/blog，它将是sports.example.com/robots.txt。

Answer 3

最佳解决方案是隐藏所有子文件夹和文件。您可以按如下方式定义robots.txt：

用户代理：*

禁止：/ beta * /

现在，所有搜索引擎都不会抓取所有子目录和文件，然后是测试版。