Portia蜘蛛不抓取物品

时间:2016-11-02 13:25:24

标签: python scrapy scrapyd portia scrapinghub

我使用Portia UI创建了一个蜘蛛,我使用scrapyd在我的一个虚拟机中部署和安排了。蜘蛛跑得很好,抓住网站内容。

但是当我尝试使用scrapyd在另一个类似的虚拟机中部署和安排相同的蜘蛛时,蜘蛛运行正常,但没有抓取任何内容。

两台机器都有类似的配置,设置,包和版本。

可能出现什么问题?

修改
我做了以下几件事   - 使用docker
在我的机器上安装所有Portia软件包   - 创造了一只蜘蛛(比如说myspider)   - 使用报废装置部署和安排蜘蛛   - 从蜘蛛运行中提取内容   - 克隆机器并添加到另一个具有不同ISP的网络   - 部署相同的蜘蛛(myspider)
  - 蜘蛛运行良好,但网站内容没有提取   - 我创建了一个带有一些不同URL的新蜘蛛,蜘蛛正在抓取网站内容,这是

0 个答案:

没有答案