从java主类访问MR作业输出

时间:2013-07-17 08:33:33

标签: hadoop jobs dfs

我的MapReduce程序有三个链式MR作业。我想从主班访问MR1 ouptut。在hadoop环境中有可能吗?

如果没有,那么请建议是否有其他方法可以做类似的事情。

1 个答案:

答案 0 :(得分:0)

一种方法是将作业1的输出提供给job2的输入,输出job2输出到job3。

以下是一个示例:http://developer.yahoo.com/hadoop/tutorial/module4.html#chaining

这篇博客讨论了更多内容:

http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx