我需要帮助使用PHP制作网站爬虫

时间:2011-01-19 15:12:19

标签: php web-crawler

我真的想制作一个网站抓取工具进入网站,扫描链接,将链接放入数据库并转移到另一个网站。我发现了一个网站,但代码真的很麻烦。如果您已经看过这样的事情,或者写过一个自己的话。

2 个答案:

答案 0 :(得分:1)

您可能找不到适合PHP的任何内容,因为它通常用于短版页面。例如,许多服务器设置为30秒超时。您可以为命令行脚本编写PHP,但我怀疑这不是您想要的。

Anywyay,如果你想要一个预先打包的解决方案,为什么要关心语言呢?

我建议使用wget之类的内容抓取网站并将其保存到光盘。然后,您可以遍历文件和目录,并提取链接。硬盘正在抓取网站(这并不简单)。您可以编写代码来提取链接而不会有太多困难。

答案 1 :(得分:1)

我找到了一个,所以如果有人在看,这里是链接:php-crawler