Scrapyd项目在Docker容器运行之间不会持久存在

时间:2018-05-17 20:36:13

标签: docker scrapy scrapyd

我在Windows 10 Pro上运行了一个运行Ubuntu的Docker容器。 Scrapy和Scrapyd包已经安装在容器中,一切都很好。我使用scrapyd-deploy向Scrapyd添加了一个项目Project A,一切都还不错。我可以使用curl和schedule.json API安排Project A的蜘蛛,并爬行直到奶牛回家。

问题是项目A在容器运行之间不会持续存在。在奶牛回家后,停止并运行Ubuntu容器后,Scrapyd包含0个项目,如listprojects.json所示。我尝试过提交容器,但项目不会持续存在。

感谢任何帮助!

1 个答案:

答案 0 :(得分:0)

总结评论的讨论。

您必须将两个路径从容器挂载到主机系统才能保留数据。

您可以像这样定义装载:

$ docker run -it -v runtime-storage:/usr/src/app/runtime_storage -v results-storage:/usr/scr/app/results scrapyd-36

docs ref