使用网站用户IP刮取Google

时间:2016-01-30 07:23:49

标签: web-scraping serp

最近,我一直在花时间阅读有关防止谷歌在取消SERPS时被禁止的最佳方法。我想分享我对此的看法,并根据我对如何防止被禁止的想法提出问题。如果您有任何建议或贡献可以帮助我,请在下面留下您的评论。我会很感激的。我打算用PHP做这件事。

我的想法是在我们注册时获取每个网站用户的IP地址,每次登录时,我也会每次登录时获取他们的IP地址,并且只有在与我的数据库不同时才将其存储在我的数据库中用于注册。这将使每个用户能够直接使用他们的IP抓取谷歌,我不需要任何代理服务。现在,问题是,如果他们滥用它,他们可能会被谷歌阻止。我认为让脚本自动为他们完成工作会很好。他们只需提交他们的URL,而我的脚本在后台进行抓取。它会为每个用户IP每天刮掉Google 10次。每天10次相当于每个用户10个URL,结果将保存在数据库中。这也意味着每个链接的SERP将每10天被删除和更新一次。

现在我的问题是:

  1. 有没有人尝试过这种方法?
  2. 有效吗?如果确实如此,你的方法是什么?
  3. 您是否有一个示例,我可以了解如何设置登录用户IP地址以掩盖我的IP被Google看到?
  4. 如果它不起作用,你能解释一下原因吗?
  5. 有没有法律阻止这个?
  6. 涉及的风险是什么?
  7. 感谢阅读和评论。我很感激你的时间。

    凯利。

1 个答案:

答案 0 :(得分:1)

它无效,因为Google会向您的用户发送回复。

甚至您的请求也可能无法访问Google服务器,因为路由器会根据虚假IP请求删除它们。

您将需要代理服务器 - 您可以尝试查找免费代理或寻找SEO的付费代理 - 在Google中搜索"SEO proxy google"