Question

我有一个巨大的.json文件，如下所示。我想将该JSON转换为Spark上的数据帧。

{
    "movie": {
        "id": 1,
        "name": "test"
    }
}

当我执行以下代码时，出现_corrupt_record错误：

val df = sqlContext.read.json("example.json")
df.first()

最近我了解到Spark只支持单行JSON文件，例如：

{ "movie": { "id": 1, "name": "test test" } }

如何将JSON文本从多行转换为单行。

Answer 1

此工具将采用您的多行JSON代码，并通过一个名为“minify”的过程，将所有内容压缩为一行。