hadoop链图/减少

Question

我已经链接了2个映射器，然后是1个reducer。是否可以将中间输出（链中每个映射器的o / p）写入HDFS？我尝试为每个设置OutputPath，但它似乎不起作用。现在，我不确定它是否可以完成。有什么建议吗？

Answer 1

结果始终作为SequenceFile写入HDFS。但是如果你使用的是减速器，这些人只是临时文件，在完成工作后会被删除。如果需要地图输出，则必须链接两个作业。一个没有减速器的工作，一个带减速器的工作。或者如果你有一点技巧从地图任务中编写hdfs文件，这也是可能的 第一种方法是非编码的，但第二种方法是。这取决于你！