将scrapy项目部署到scrapyd时，HTTPCACHE无法正常工作

Question

当我尝试将HTTPCACHE与scrapyd一起使用时，我收到以下错误：

[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir

Answer 1

问题是http缓存默认使用相对路径httpcache。

当您从命令行正常运行蜘蛛时，这是有效的，但在将其作为服务运行时则不行。

解决方案是将HTTPCACHE_DIR^[docs]设置设置为绝对路径。