在不阻止搜索引擎机器人的情况下阻止美国流量？

Question

亲爱的朋友需要你的重要建议。 我有一个网站，我不希望任何来自美国的流量（网站只包含本地内容）。由于大多数访问者从搜索引擎进入我的网站，我不想阻止那些搜索引擎机器人。

我知道如何

• 阻止来自.htaccess的IP地址。

• 从Geo位置重定向用户。

  我想如果我阻止美国ips，那么我的网站将不会被索引到Google或yahoo.So即使我不想要任何美国流量，我也需要将我的网页编入Google和雅虎的索引。

  < / LI>

取决于$_SERVER['HTTP_USER_AGENT']我可以让机器人抓取我的网页。 我的一位朋友告诉我，如果我阻止除了机器人之外的美国访问者，谷歌将黑名单我的网站，因为它不允许美国访问者访问Google索引页面。

这是真的吗？如果是这样我该怎么办？任何建议都非常感谢。谢谢

Answer 1

1. 为美国用户使用JS重定向。这将允许大多数搜索引擎机器人访问您的网站。

2. 使用Robots.txt告诉Google在哪里以及阅读什么内容 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

3. 有一种方法可以添加Googlebot的IP地址（或只是名称：http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553）作为例外。

4. 使用地理位置定位并使用JS div阻止页面，或者只是添加横幅，告诉用户他们无法使用自己所在位置的网站

希望这有帮助， 干杯，

Answer 2

我只是在这里回答这个问题，因为有人聪明地通过链接丢失向Google的“网站站长中心帮助论坛”发送垃圾邮件。我知道这个答案更多的是一个评论，但我责怪这个问题，如果网站管理员问过这个问题，这个问题的回答会更多。

1 为什么要封锁美国访客？我知道可能有一些法律原因（例如赌博）。但您可以为美国访问者禁用这些功能，并允许他们查看内容和横幅，以解释该网站不适用于美国访问者。搜索引擎不会有任何问题（他们无论如何都无法赌博或购买东西）并且也没有隐形。

2 Victor的回答包含一些问题IMO：

  

  
1. 为美国用户使用JS重定向。这将允许大多数搜索引擎机器人访问您的网站。
  

在撰写本文时，这可能是正确的，但是现在Google（以及可能还有一些其他搜索引擎）能够运行JavaScript，因此也会遵循重定向。

  

  
1. 使用Robots.txt告诉Google在哪里以及阅读什么。
  

我建议您使用漫游器元标记或X-Robots-Tag标头，或者向所有美国访问者回复451状态代码。

  

  
1. 有一种方法可以添加Googlebot的IP地址作为例外。
  

伪装。

  

  
1. 使用地理位置定位并使用JS div阻止页面，或者只添加一条横幅，告诉您的用户他们无法使用自己所在位置的网站。
  

完全同意，这样做。