限制搜索引擎抓取的JS链接

Question

我想阻止谷歌跟踪我在JS中的链接。 我没有在robots.txt中找到如何做到这一点 我在找错了地方吗？

更多信息： 虽然链接只出现在JS中，但我看到谷歌正在抓取这些页面。 我不希望他抓取的原因是这个内容取决于外部API，我不想在谷歌抓取工具上浪费我的速率限制，而且只根据用户需求

Answer 1

直接来自谷歌 - ＆gt;

http://www.google.com/support/webmasters/bin/answer.py?answer=96569

Answer 2

Google可能找不到您隐藏在JS中的任何链接，但其他人可以链接到同一个地方。

虽然它不是重要的链接，但它是URL。只需在robots.txt中指定您不希望搜索引擎访问的网址即可。您通常通过JS将它们暴露给浏览器这一事实无关紧要。

如果你真的想限制对内容的访问，那么仅仅降低可发现性可能是不够的，你应该放置一个身份验证层（例如密码保护）。