搜索引擎的典型爬行深度

时间:2012-07-13 13:13:33

标签: search-engine web-crawler

当搜索引擎(google,bing等)抓取网站时,搜索引擎会抓取到网站的典型最大深度是多少。深度,我指的是主页上的跳数。

谢谢,

2 个答案:

答案 0 :(得分:1)

这取决于您网站的整体排名以及传入链接的排名,特别是如果它们没有指向您的主页。

像blekko这样的小型搜索引擎的爬虫不会离外部链接的着陆点那么远,除非你的整个网站很棒或你有很多来自真棒网站的链接。我们为更高级别的内容保存了爬行和索引能量,因此如果我们估计页面排名较差,我们就不会打扰。

即使您的链接个人资料不足,Google的抓取工具也可能会抓取很长的距离 - 但即使他们知道网址的数量也比实际抓取的数量多10倍。

答案 1 :(得分:0)

如果你想要爬行全世界,那么19深度就足够了。因为整个世界覆盖了19个深度。但是,如果您想要抓取特定域或国家/地区,那么10深度就足够了。

我从一篇论文中找到了这个信息。用于开发墨卡托。

由于 Mohiul Alam Prince