EC2上的Spark：如何阅读LZO压缩的镶木地板文件

Question

我想阅读用lzo算法压缩的镶木地板文件。让我们假设运行一个spark-shell（在基于ec2的spark集群中，使用ec2脚本构建）并将此代码放入其中：

val hadoopConf = sc.hadoopConfiguration
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId", "myaccesskey")
hadoopConf.set("fs.s3.awsSecretAccessKey", "mysecretaccesskey")

val parquetFile = spark.read.parquet("s3://path/to/my/parquet/lzo/file")
parquetFile.first()

我收到此例外：

Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found.

我也跟着这个guide，但错误仍然是一样的。建议？