Hadoop：如何生成自定义缩减输出文件名？

Question

现在，我使用MultipuleOuputs。 我想从reducer的输出文件名中删除后缀字符串“-00001”，例如“xxxx- [r / m] -00001”。

有什么想法吗？

感谢。

Answer 1

来自Hadoop javadoc to the write() method of MultipleOutputs：

  

输出路径是为namedOutput生成的唯一文件。例如，{namedOutput} - （m | r） - {part-number}

因此您需要在HDFS上重命名或合并这些文件。

Answer 2

我认为你可以在工作司机上做到这一点。作业完成后，更改文件名。你也可以通过终端命令来完成它。