当第一次调用reducer时

时间:2014-02-24 05:22:13

标签: hadoop mapreduce

什么时候第一次调用Reducer?

  1. Reducer一旦完成,就会开始从每个映射器复制中间键值对。程序员可以在作业中配置在减速器开始之前应该到达的中间数据的百分比。
  2. Reducer一旦完成就开始从每个映射器复制中间键值对。一旦中间键值对开始到达,就会调用Reduce方法。
  3. 哪种说法成立?

1 个答案:

答案 0 :(得分:2)

这两个陈述都是假的:

一旦映射器完成,Reducers就会开始从每个映射器复制中间键值对 - 如果5%(默认情况下,配置mapred.reduce.slowstart.completed.maps)映射器已完成。

当所有映射器完成并且Reducer从Mappers复制和排序(合并)所有数据时,将调用Reduce()方法。