Question

我有一个大小为1GB的JSON文件，其中包含n个推特JSON对象推文。现在我想将大型JSON文件拆分为单个JSON对象。但是在大文件中，JSON块是空格分隔的，但不是逗号分隔的。

INPUT： -

{
"created_at": "Tue Aug 06 06:01:00 +0000 2013",
"id": 364627145785487360,
"id_str": "364627145785487360",
"text": "Soo sad right now..",
"filter_level": "medium",
"lang": "en"
}
{
"created_at": "Tue Aug 06 06:01:00 +0000 2013",
"id": 364627145785487360,
"id_str": "364627145785487361",
"text": "الضمير صوت هادىء يخبرك بأن احدا ينظر اليك",
"lang": "en"
}

现在我的OUTPUT必须如下所示

OUTPUT：Test1.json

{
"created_at": "Tue Aug 06 06:01:00 +0000 2013",
"id": 364627145785487360,
"id_str": "364627145785487360",
"text": "Soo sad right now..",
"filter_level": "medium",
"lang": "en"
}

Test2.json

{
"created_at": "Tue Aug 06 06:01:00 +0000 2013",
"id": 364627145785487360,
"id_str": "364627145785487361",
"text": "الضمير صوت هادىء يخبرك بأن احدا ينظر اليك",
"lang": "en"
}

任何人都可以帮助我获取上述输出的JSON文件，例如Test1.json，Test2.json

Answer 1

给定行数（在这种情况下为7000）：

命令： jq -c -M＆＃39; .data []＆＃39; | split -l 7000

如何将1GB JSON文件分别分成多个JSON目标文件

1 个答案: