标签: web-crawler
我想要做的是我想抓取一个网站示例www.abc.com所有页面,看看是否所有页面中都有其他域代码的实例。例如,如果该网站有一些对www.xyz.com的引用,那么它应该显示该页面引用了其他一些网址/域名。
想要使用PHP,我已经对它进行了研究,但我能找到的只是链接检查器
答案 0 :(得分:1)
您使用的是哪种语言?你有什么尝试?
这归结为两个步骤: