如何禁止robot.txt中的特定子文件夹?

时间:2019-06-04 04:34:09

标签: html url web-crawler robots.txt google-crawlers

这是我的代码

示例网址格式

www.example.com/folder/subfolder/*

想要允许www.example.com/folder/*并特别禁止

www.example.com/folder/subfolder/*

如何在robot.txt文件中实现

1 个答案:

答案 0 :(得分:0)

通过将以下行添加到robots.txt,可以专门禁止文件夹

Disallow: /subfolder/