nutch和sitemap.xml

时间:2010-10-22 14:44:39

标签: search solr search-engine nutch

apache-nutch支持站点地图? 或者我如何自己实施?我如何使用优先级字段,是否应该乘以提升字段?

2 个答案:

答案 0 :(得分:1)

不是我知道的。 根据您期望它们是多个实现的行为,您可以更具体吗? 例如: +你可以让提交的新站点地图以高分“注入”,这样它们就会被提前爬行。为此,只需在开始新的爬网/获取/索引周期之前添加一个注入命令 +你可以创建一个评分插件,它将增加站点地图中的URL ... 但是您无法在URL级别定义重新爬网期间,因为站点地图会指示。 Nutch有内置功能,它会更频繁地重新抓取更改的URL,反之亦然。但是,您可以决定使用频繁的刷新率来提高URL的分数,以便它们能够更早地被抓取...

答案 1 :(得分:1)

我猜他们现在支持它。我在这个链接上找到了它

https://wiki.apache.org/nutch/SitemapFeature

相关问题