订购地图和减少任务

Question

作业j由“M”个地图任务和“R”个减少任务组成。

M(1) M(2)...... Map(m)
 Reduce(1) Reduce(2) ... Reduce(R)

您如何知道地图和减少任务之间的顺序？我们知道Map任务的输出将是Reduce任务的输入。但如果我想模拟排序我应该怎么做呢？ 例如

M1 M2 M3

R1 R2

是否可以输出“M1”和“M2”输入“R1”并输出“M3”输入“R2”？在实际情况下，排序如何？

Answer 1

您可以通过以下方式订购地图和缩小器：

• 使用特定的映射器和缩减器配置作业，
• 定义工作流程

作业可以有任意数量的地图绘制器和缩减器。您可以使用脚本或oozie工作流明确定义作业依赖关系，也可以让工作流管理器（Azkaban，oozie等）根据作业的映射器使用哪些作业缩减器的输出来计算依赖关系。