从卷曲中获取其他网站的信息有没有更好的方法？

Question

一个网站将信息存储在ID中，例如http://website.com/index.php?id=1。它有大约500,000条记录。

我需要检索它们并将它放在数据库（MySQL）中。现在我使用curl并获取该信息，但速度非常慢。我在一小时内只得到了大约4,000条记录。

我的问题是，有没有办法更快地完成这项工作？

Answer 1

如果你不反对使用perl，CPAN模块Web :: Scraper是有效抓取页面的传统方法。请参阅http://metacpan.org/pod/Web::Scraper。

Answer 2

使用JSONP
再多JSON With Padding

Answer 3

您总是可以将wget与php中的exec函数结合使用。当然，这假设您已将服务器配置为允许php执行shell命令。但是，wget明显快于curl。