标签： robots.txt
我在robots.txt中有以下代码，目前只允许从所有人抓取
User-agent: * Disallow:
在我更改之前，文件的布局如下所示。我一直在寻找有关独特的细节，我找不到它。任何人都会看到这个以及什么是“独特的”正在做什么？
User-agent: * Disallow: /unique/
答案 0 :(得分：1)
它不是关键字，它是您的服务器上的目录，不应该被网络抓取工具访问。