没有索引或在机器人symfony中不允许

Question

我正在使用Symfony 1.4，我希望在我的网站中停用Google的索引，我将使用的最佳代码是什么？

• 机器人：无索引，nofollow
• 机器人：不允许

Answer 1

看看here

User-agent: *
Disallow: /

Answer 2

他们做different件事：

• 通过使用robots.txt，您可以禁止抓取您的网站。

• 使用meta - robots元素，您可以禁止索引您的网站。

如果你想要一个，你can’t拥有另一个。

所以你必须决定：

• Googlebot永远不应该访问您的网址，但它可能会为您的网址编制索引（从不同来源了解这些网址）：使用robots.txt。
• Googlebot永远不应为您的网址编制索引，但可能会访问这些网址：使用meta - robots。