提取嵌套数组/结构Spark数据框

Question

我有一个JSON文件，其内容如下所示：

{
  "dates_included":["2016-01-29"],
  "data":[
    {"field1":"2016-01-29","field2":"3 12 -72"},
    {"field1":"2016-01-29","field2":"33 12 -72"}
  ]
} 

我正在尝试创建一个新的DataFrame，其中包含field1和field2作为DataFrame的两列。

我可以将JSON文件加载到DataFrame中并注册临时表。但无法将field1和field2提取到新的DataFrame中。

Intial DataFrame架构如下所示：

root
 |-- data: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- field1: string (nullable = true)
 |    |    |-- field2: string (nullable = true)
 |-- dates_included: array (nullable = true)
 |    |-- element: string (containsNull = true)