scrapyd:是否可以为作业返回ERROR状态

时间:2016-03-03 16:44:14

标签: python scrapy scrapyd

我有一个应用程序通过scrapyd安排scrapy抓取作业。 项目很好地流向数据库,我可以通过listjobs.json端点来监控工作状态。这太好了,我甚至可以知道什么时候完成工作。

但是,有时候工作会失败。可能是因为HTTP错误或凭据错误。我想访问已完成的作业状态,最好是来自scrapyd api。像listjobs.json今天给我的东西,我希望得到一个看起来像的结果:

{"status": "ok",


"error": [{"id": "78391cc0fcaf11e1b0090800272a6d06", "spider": "spider1"}],
 "running": [{"id": "422e608f9f28cef127b3d5ef93fe9399", "spider": "spider2", "start_time": "2012-09-12 10:14:03.594664"}],
 "finished": [{"id": "2f16646cfcaf11e1b0090800272a6d06", "spider": "spider3", "start_time": "2012-09-12 10:14:03.594664", "end_time": "2012-09-12 10:24:03.594664"}]}

当然,我可以让作业自己更新一些数据库或文件,我可以从应用程序中检查,但我想知道是否有更清洁的方式。

0 个答案:

没有答案