无法将数据框的内容插入到分区的拼花格式的hive表中

时间:2017-08-03 07:48:08

标签: apache-spark-sql spark-dataframe

我正在尝试使用

将数据框的内容插入到分区的拼花格式的配置单元表中

df.write.mode(SaveMode.Append).insertInto(myTable的)

with hive.exec.dynamic.partition ='true'和hive.exec.dynamic.partition.mode ='nonstrict'。

我一直在拿一个parquet.io.ParquetEncodingException说

“空字段是非法的,字段应该完全被忽略”。

架构包括数组,df包含这些字段的一些空条目。

但是,当我将df内容插入到非分区表中时,我不会收到错误。

有人能给我一个关于这里发生了什么的解释吗?为什么只有在hive表被分区时才会出现此错误?

谢谢!

0 个答案:

没有答案
相关问题