当搜索引擎（google，bing等）抓取网站时，搜索引擎会抓取到网站的典型最大深度是多少。深度，我指的是主页上的跳数。
谢谢，
答案 0 :(得分：1)
这取决于您网站的整体排名以及传入链接的排名，特别是如果它们没有指向您的主页。
像blekko这样的小型搜索引擎的爬虫不会离外部链接的着陆点那么远，除非你的整个网站很棒或你有很多来自真棒网站的链接。我们为更高级别的内容保存了爬行和索引能量，因此如果我们估计页面排名较差，我们就不会打扰。
即使您的链接个人资料不足，Google的抓取工具也可能会抓取很长的距离 - 但即使他们知道网址的数量也比实际抓取的数量多10倍。
答案 1 :(得分：0)
如果你想要爬行全世界，那么19深度就足够了。因为整个世界覆盖了19个深度。但是，如果您想要抓取特定域或国家/地区，那么10深度就足够了。
我从一篇论文中找到了这个信息。用于开发墨卡托。
由于 Mohiul Alam Prince