是否存在Mercator Web Crawler的任何开源实现

Question

Marc Najork和Allan Heydon撰写了一篇关于他们的Java，可扩展和可扩展的网络爬虫名为Mercator的优秀论文。

以下是Mercator网络抓取工具的一些资源：

• Mercator Presentation (pdf)
• Mercator Introduction (pdf)
• Mercator Web Crawler Paper (pdf)
  谷歌查询的第一个结果是：“Web Crawling Contents Najork pdf”

有没有人见过抓取工具的任何实现（最好是java）？

更新
我我遇到了链接的问题，我将尝试为引用的论文提供更好的链接。但我想我现在已经解决了这些问题。

Answer 1

我发现了一些应该与Mercator非常接近的Java爬虫：

• Nutch是多线程和分发的。
• Heritrix只是多线程的。

欢迎其他参考。

Answer 2

• Crawler4j - http://code.google.com/p/crawler4j/
• WebSPHINX - http://www.cs.cmu.edu/~rcm/websphinx/

Answer 3

StormCrawler是一个开源SDK，用于构建Apache Storm的低延迟，分布式网络抓取工具。该项目属于Apache许可证v2，由一组可重用的资源和组件组成，主要使用Java编写。