并行映射减少了Hadoop中的作业

时间:2013-04-10 11:58:36

标签: hadoop mapreduce

我必须在hadoop 1.0.4中运行很多(可能是12个)工作。我希望首先并行运行5个,并且当完成并行运行4个其他作业时,最后再次运行最后3个并行运行。如何在hadoop 1.0.4中设置它,因为我看到所有作业彼此运行而不是并行运行。

1 个答案:

答案 0 :(得分:2)

JobControl API可用于MR作业依赖性。对于复杂的工作流程,建议使用OozieAzkabanHere是Oozie vs Azkaban,