试图将DataFrame写入csv文件

Question

我正在尝试将我的DataFrame写入CSV文件。我试过这个

df.write.format("com.databricks.spark.csv").option("header", true)
  .option("codec", "org.apache.hadoop.io.compress.GzipCodec").save("myFile.csv")  

但它给了我错误：

java.lang.UnsupportedOperationException: CSV data source does not support array<struct<columnName:columntype...

如果我在控制台上显示DataFrame，它打印正常。如何写入csv甚至文本文件都可以。

谢谢！

编辑

我不需要写出所有内容。我选择了所需的行并让它工作，感谢您的帮助！

Answer 1

您的数据框有一个复杂的列（它看起来像一个结构数组）。使用csv，您只能使用简单的列类型，如String，Int，Date等，但不能使用数组或结构。