如何以json格式存储scrapyd项目

Question

我正在尝试将scrapyd项目存储在JSON file中。实际上默认情况下它将项目存储在json文件中，但是像这样： File_1：

{item1}
{item2}
....

如果我通过scrapy crawl spidername -o fileName -t json

运行我的蜘蛛

它会存储这样的项目： File_2：

[{item1},
{item2},
....]

如果我尝试将File_1的粘贴内容复制到jsonParser我收到错误说预期[ 但File_2工作正常。任何人都可以告诉我如何使用scrapyd

以适当的JSON格式存储项目

Answer 1

实际上，j son lines格式，json对于非常有效的出价数据不利。这就是为什么scrapy以逗号分隔的格式分隔每个item。您可以在文件的开头和结尾添加[ & ]，然后{/ 1}}，

Answer 2

尝试将项目直接保存到数据库中，而不是将它们存储在文件中....然后将项目从文件存储到数据库......或尝试从该JSON文件中逐行读取然后执行任何操作你想要的不是一次读取整个文件......

Answer 3

添加到您的settings.py：

FEED_FORMAT='json'