有没有办法将MapReduce作业的输出导入SQL表?

时间:2014-06-27 11:55:25

标签: sql hadoop mapreduce bigdata

是否有将MapReduce作业的输出导入SQL表的方法?

我想知道我们是否可以自动将MapReduce作业的输出(MapReduce作业应该负责导出)导入到SQL表(MySQL,Oracle等)中。

我知道Sqoop可以用作工具但是可以用在MR工作中吗?

1 个答案:

答案 0 :(得分:0)

除非你在reducer中写一些代码,而不是将输出写入上下文,它通过JDBC连接到SQL表并插入它(这将是一个非常糟糕的想法),你唯一能做的就是使用Oozie自动执行MapReduce作业,然后使用Sqoop执行插入。 Oozie是一个工作流程调度程序,可以自动执行所有这些操作。您可以找到有关它的更多信息here