要求Google停止Googlebot抓取

时间:2016-02-17 15:31:24

标签: bandwidth googlebot

好吧,所以一个Wordpress图库插件引起了巨大的麻烦 - 大约有17个画廊都有自己的分页,其中的链接创建了可能是无限数量的变体网址,结合了每个图库中的各种查询变量。

因此,谷歌一直没那么聪明,并且在我的行动前一小时 HAMMERING 服务器达到4演出,并且在同一页面上每分钟发送约800个请求服务器一次最多加载30个。

已经过了大约12个小时,不管我做了什么改变,谷歌都没有听(但)还在挣扎着。

我的问题是:有没有办法联系Google支持并告诉他们在特定网站上关闭他们行为不当的机器人?

我想要一个更直接的解决方案,因为我不喜欢被轰炸的服务器。

在你说出来之前,即使这不是我要问的,我也做了以下事情:

  1. 将使用误用的查询变量的所有流量重定向回Googlebot IP,希望转发回自身的机器人将是一个唤醒呼叫,指出某些内容与URL无关。 (我不在乎这是不是一个坏主意)

  2. 阻止访问该网站的最活跃IP地址。

  3. 禁用陷入困境的插件创建的网址。

  4. 在Google网站管理员工具/搜索控制台中,我为查询变量设置了网址参数“否:不影响网页内容”。

  5. 无论如何,谷歌仍然每分钟发出800个请求/每秒13个请求。

    是的,我可以等一下,但我正在寻找一个“嘿嘿GOOGLE!停止你做的事情!”解决方案除了耐心和浪费资源外。

0 个答案:

没有答案