我使用Portia UI创建了一个蜘蛛,我使用scrapyd在我的一个虚拟机中部署和安排了。蜘蛛跑得很好,抓住网站内容。
但是当我尝试使用scrapyd在另一个类似的虚拟机中部署和安排相同的蜘蛛时,蜘蛛运行正常,但没有抓取任何内容。
两台机器都有类似的配置,设置,包和版本。
可能出现什么问题?
修改
我做了以下几件事
- 使用docker
在我的机器上安装所有Portia软件包
- 创造了一只蜘蛛(比如说myspider)
- 使用报废装置部署和安排蜘蛛
- 从蜘蛛运行中提取内容
- 克隆机器并添加到另一个具有不同ISP的网络
- 部署相同的蜘蛛(myspider)
- 蜘蛛运行良好,但网站内容没有提取
- 我创建了一个带有一些不同URL的新蜘蛛,蜘蛛正在抓取网站内容,这是