随机播放和排序阶段的输出路径

时间:2018-04-27 12:28:49

标签: hadoop mapreduce

实际上shuffle&的输出在哪里存储的MR编程的排序阶段是存储在本地磁盘还是HDFS中?

2 个答案:

答案 0 :(得分:1)

数据存储在本地文件系统(非HDFS)中。这是一个临时目录,在Hadoop作业完成且配置在core-site.xml之后进行清理。

答案 1 :(得分:0)

当然它存储在本地磁盘中,因为不需要复制临时文件。如果地图任务失败,它将重试。 这是Import

中的default setting

mapreduce.cluster.local.dir $ {hadoop.tmp.dir} / mapred / local