标签: html url web-crawler robots.txt google-crawlers
这是我的代码
示例网址格式
www.example.com/folder/subfolder/*
想要允许www.example.com/folder/*并特别禁止
www.example.com/folder/*
如何在robot.txt文件中实现
答案 0 :(得分:0)
通过将以下行添加到robots.txt,可以专门禁止文件夹
Disallow: /subfolder/