Question

我有一个33GB的NDJSON文件，我需要将其读入R中的data.table中。将它压缩成2GB的文件，理想情况下，我想将其压缩。

结构并不重要，除了（当通过jsonlite::stream_in导入时）时，我需要的数据仅在几个简单的列中。绝大多数数据权重保存在我想尽快丢弃的三列中的list中。

我的两个挑战是：如何并行化读入内容，以及如何限制内存使用量（现在我在该文件上的工作人员正在使用175GB内存）？

我现在正在做什么：

dt.x <- data.table(flatten(stream_in(gzfile("source.gz"))[, -c(5:7)]))

想法：

也许在stream_in期间有某种方法可以忽略NDJSON的一部分？

在转到gzfile之前，我是否可以解析stream_in连接，例如使用正则表达式，以删除多余的数据？

我可以在readLines连接上执行类似gzfile的操作来读取每个工人100万行的数据吗？

编辑：如果可能的话，我的目标是使它可移植到其他用户并将其完全保留在R中。

Answer 1

将jqr与阅读器配合使用

这是一个说明如何使用jqr读取压缩的NDJSON（又名JSONL）文件的记录：

$ R --vanilla
> library(readr)
> library(jqr)
> read_lines("objects.json.gz") %>% jq('.a')
[
    1,
    2,
    3
]
>

使用read_file()会得到相同的结果。由于这些功能必须解压缩整个文件，因此内存需求将很大。

分别读取每个JSON实体

由于文件是NDJSON，因此可以通过一次读取一个JSON实体来大大减少所需的RAM数量：

con = file("objects.json", "r");
while ( length(line <- readLines(con, n = 1)) > 0) {
   print( line %>% jq('.a') );
}

使用jqr可能有更好的方法，但是如果目标是同时兼顾空间和时间效率，那么最好使用命令行版本的jq。

如果您需要事先计算（未压缩的）文件中的行数，然后要节省内存，我可能会使用system2和wc；其他所有失败的方法，您可以运行如下代码段：

n<-0;
con = file("objects.json", "r");
while (TRUE) {
   readLines(con, n = 1);
   if (length(line) == 0) { break; }
    n <- n+1;
}