在/robots.txt页面上，这是什么意思？
User-agent: *
Disallow: /
这是否意味着您无法在搜索引擎上搜索并获取此网站的结果？例如它会阻止Google吗？
答案 0 :(得分：3)
它阻止（好）机器人（例如Googlebot）索引任何页面。
来自this page：
“用户代理：*”表示此部分适用于所有机器人。该 “Disallow：/”告诉机器人它不应该访问任何页面 该网站。
使用/robots.txt时有两个重要注意事项：
- 机器人可以忽略您的/robots.txt。特别是恶意软件机器人 扫描网页上的安全漏洞和电子邮件地址 垃圾邮件发送者使用的收割机将不予理会。
- /robots.txt文件是公开可用的文件。任何人都可以看到哪些部分 您不希望机器人使用的服务器。
答案 1 :(得分：2)
User-agent: *匹配支持robots.txt的每个机器人（并且在同一文件中没有更具体的记录，例如User-agent: BotWithAName）。
Disallow: /禁止这些机器人抓取您主机上的任何内容。
请注意，并非所有机器人都支持并尊重robots.txt文件。