Spark:编写BZip2压缩拼花文件

时间:2016-09-09 14:12:53

标签: hadoop apache-spark apache-spark-sql spark-dataframe parquet

我想在spark-sql中使用BZip2编解码器压缩从DataFrame中编写镶木地板文件,以便它们可以拆分。使用以下代码,我可以使用snappy和gzip等编解码器:

sqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
sqlContext.read.parquet(stagingDir)
        .dropDuplicates()
        .write
        .mode(SaveMode.Append)
        .parquet(outputDir)

然而,当我尝试使用BZip2时,我似乎无法获得此异常,即使我能够从RDD编写BZip2压缩文本文件

java.lang.IllegalArgumentException: The value of spark.sql.parquet.compression.codec should be one of uncompressed, snappy, gzip, lzo, but was bzip2

有没有办法从Spark SQL编写BZip2压缩镶木地板文件?

0 个答案:

没有答案
相关问题