数据帧的不均匀数据列表

Question

我有不均匀数据的列表列表。像这样的东西

 val list = List(List("1","2","3"), List("3","4","null","6"), List("1","4","5","6","7"))

有人可以告诉我如何将此数据转换为数据帧，然后将此数据写入csv。

提前致谢

Answer 1

你可以尝试一下

 scala> val df = list.toDF
df: org.apache.spark.sql.DataFrame = [value: array<string>]

scala> df.show
+---------------+
|          value|
+---------------+
|      [1, 2, 3]|
|[3, 4, null, 6]|
|[1, 4, 5, 6, 7]|
+---------------+

scala> df.toJSON.write.csv(path)

它不会让你用CSV格式写。因为它是String数据类型数组的不受支持的操作。您可以将其转换为JSON，然后将其另存为CSV文件。

scala> df.toJSON.write.csv(path)

Answer 2

我试过以下：

 import sqlContext.implicits._ 
 val df = list.toDS.toDF 
 df.show()

这给了我所需的数据框架。