如何阻止Bing不规则地淹没我的网站流量?

时间:2011-02-08 01:09:35

标签: web-crawler robots.txt bing bingbot

Bingbot每天都会在几个小时内非常努力地访问我的网站,并且在其余时间内会非常轻松。

我要么要平滑它的爬行,降低它的速率限制,要么完全阻止它。它并不真正通过任何真正的访问者发送。

有没有办法可以平滑其爬行或速率限制呢?

3 个答案:

答案 0 :(得分:23)

他们的webmaster blog表示他们支持在您的robots.txt文件中添加抓取延迟参数来限制bingbot。

User-agent: msnbot
Crawl-delay: 1

webmaster FAQ PDF

中有更多解释

这些其他链接也可能有用:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx

答案 1 :(得分:0)

您可以使用HTACCESS禁用他的IP。

order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all

您可以在此处找到更多相关信息:Blog about bot blocking

答案 2 :(得分:0)

您可以限制从抓取工具到f.i的连接数。 5通过设置这样的IPTables(需要root访问防火墙):

The article at 2bits.com

IPTables的设置:iptables -I INPUT -p tcp -m connlimit --connlimit-above 5 -j REJECT

这限制了从每个IP地址到不超过5个同时连接的连接。这种“口粮”连接,可以防止抓取工具同时访问该网站。