spark parquet - 如何加载LZO压缩的镶木地板文件

Question

我在本地保存了镶木地板文件，加载方：

val catDF = sqlContext.read.parquet("data.lzo.parquet") 

它识别架构但每个查询或操作返回相同的错误：

  

parquet.io.ParquetDecodingException：无法读取块中0的值   -1

Answer 1

将镶木地板文件作为数据框加载就像您所说的那样简单

T E -> -61

您的上述代码应该有效。请检查镶木地板的位置是否正确

Answer 2

LZO（镶木地板）压缩问题，解决了向sbt config添加依赖性的问题：

libraryDependencies ++= Seq("org.anarres.lzo" % "lzo-hadoop" % "1.0.0")

希望对某人有用。