搜索引擎爬行问题

时间:2010-02-25 21:20:25

标签: indexing sitemap web-crawler

我网站的主页是/home.php 此页面包含锚标签,链接到同一页面的许多其他查询, 例如

  • /home.php?start=4
  • /home.php?start=8

依旧......

我的问题是,当我在网站地图中包含home.php页面时,抓取工具会抓取home.php链接到的页面(例如/home.php?star=4)?或者我是否必须在站点地图上包含每一页?

1 个答案:

答案 0 :(得分:0)

抓取工具通常会跟踪他们在您的站点地图中找到的网页上的所有常规链接,但他们可能会以某种频率& c执行此操作,这可能不适合您的目的 - 完整的站点地图可以让您获得更多控制权(例如,避免浪费通过频繁重新抓取页面来保持不变的带宽等等,因此更为可取。毕竟,你应该不会自动生成站点地图。

相关问题