标签: hadoop jobs dfs
我的MapReduce程序有三个链式MR作业。我想从主班访问MR1 ouptut。在hadoop环境中有可能吗?
如果没有,那么请建议是否有其他方法可以做类似的事情。
答案 0 :(得分:0)
一种方法是将作业1的输出提供给job2的输入,输出job2输出到job3。
以下是一个示例:http://developer.yahoo.com/hadoop/tutorial/module4.html#chaining
这篇博客讨论了更多内容:
http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx