如何在hdfs中压缩文件而不将其拉入本地文件系统

Question

是否可以在hdfs中压缩文件而不将其拉入本地系统驱动器？我通常通过执行hadoop fs -get filename然后通过linux zip命令压缩它来做到这一点...但是我可以在hdfs本身中执行此操作吗？

Answer 1

您可以使用Identity Mapper创建MapReduce作业（输出与输入相同）而不是reducer;配置要压缩的Mapper输出。我想建议使用GZip或LZO代替Zip格式，但只有你知道你的要求。