所有地图任务完成后,是否开始执行reduce任务?

时间:2015-03-10 10:34:28

标签: mapreduce

e.g。对于排序示例。它的文件是:

d1 a b c d -> M1

d2 c f k -> M2

d3 c f f -> M3

d4 a b d d -> M4 并且每个文档进入一个地图任务然后如果(仅让我们谈论“a”)M1 2和3首先完成并且减少开始它将不知道来自d4的a。

接下来会发生什么?什么时候M4结束?

1 个答案:

答案 0 :(得分:1)

reducer进程将(通常)在映射器完成之前启动,但实际的reduce()调用将不会发生,直到所有映射器完成并且中间记录已发送到reducer。