使用Feed Exporter将项目从Scrapyd保存到Amazon S3

Question

在亚马逊S3中使用Scrapy非常简单，你设置：

• FEED_URI ='s3：// MYBUCKET / feeds /％（name）s /％（time）s.jl'
• FEED_FORMAT ='jsonlines'
• AWS_ACCESS_KEY_ID = [访问密钥]
• AWS_SECRET_ACCESS_KEY = [密钥]

一切正常。

但Scrapyd似乎覆盖了该设置并将项目保存在服务器上（网站中有链接）

添加“items_dir =”设置似乎没有任何改变。

什么样的设置才有效？

编辑：可能相关的额外信息 - 我们正在使用Scrapy-Heroku。

Answer 1

我也遇到了同样的问题。 从scrapyd.conf文件中删除items_dir =对我有用。

Answer 2

您可以将items_dir属性设置为空值，如下所示：

[scrapyd]
items_dir=

似乎设置该属性时，优先于已配置的导出。有关详细信息，请参阅http://scrapyd.readthedocs.org/en/latest/config.html。