hadoop在哪里存储mapper，partitioner和combiner的输出文件？

Question

我在伪分布式hadoop设置上运行mapreduce作业。我在哪里可以找到mapper，partitioner和combiner的输出文件？有没有办法检查每个操作的输出？

Answer 1

MapReduce中的中间输出存储在运行任务的节点上的本地临时存储中（不在HDFS中）。

您可以查看本地临时目录所在的Hadoop conf，并逐个节点地手动检查它们。

通常，可能有更好的方法通过日志消息或计数器执行您认为要执行的操作。您可以做的另一件事是关闭Reducer，以便Mappers直接写入HDFS，以便您可以检查它。