最佳网站蜘蛛?

时间:2009-10-24 12:06:10

标签: web-crawler

我正在将一堆网站移动到新服务器,并确保我不会错过任何内容,希望能够为程序提供网站列表,并为其下载每个页面/图像。有没有可以做到这一点的软件?我也可以用它来下载一些wordpress网站的副本,所以我只能上传静态文件(我的一些WP网站永远不会更新,所以几乎不值得设置新的dbs等)

2 个答案:

答案 0 :(得分:2)

你可能会得到很多意见。这是一个:http://www.httrack.com/

答案 1 :(得分:0)

wget是你的工具。

在unix / linux系统上,它可能已经安装完毕。对于Windows系统,请从http://gnuwin32.sourceforge.net/packages/wget.htm下载。

它是一个命令行工具,带有一堆命令行选项,用于控制它抓取目标网站的方式。使用“wget --help”列出所有可用选项。