Nutch如何从一个网站抓取所有链接?

时间:2014-03-27 13:19:18

标签: solr nutch

现在我使用以下命令抓取网站:

 bin/nutch generate -topN 20
 bin/nutch fetch -all
 bin/nutch parse -all
 bin/nutch updatedb

但是使用这种方法需要很长时间才能拥有该网站的所有链接。我想抓取一个网站并获取所有链接。

我怎样才能实现这一目标?

1 个答案:

答案 0 :(得分:0)

bin/nutch crawl是您要查找的命令

相关问题