Oozie工作流程,协调员和捆绑包

时间:2015-10-23 10:50:26

标签: hadoop scheduler oozie oozie-coordinator

Oozie工作流程,协调员和捆绑包有什么区别?

Oozie工作流程定义了一系列操作。我们需要在每次运行时手动调用它。 可以通过协调员安排相同的工作流程。 这种理解是否正确?

那么捆绑中的额外内容是什么?

我想再次使用它来安排一组协调员。那么为什么不能使用一个协调器来安排其他协调器,就像一个工作流可以有另一个子工作流。

3 个答案:

答案 0 :(得分:9)

<强>工作流:

这是一系列行动。它是用xml编写的,动作可以是map reduce,hive,pig等。

<强>协调员:

当满足一组条件时,它是一个触发操作(通常是工作流作业)的程序。条件可以是时间频率,其他外部事件等。

<强>软件包:

它被定义为更高级别的oozie抽象,它批处理一组协调器作业。我们也可以指定捆绑作业的启动时间。

答案 1 :(得分:2)

工作流没有时间规范来运行任何hadoop作业。 协调器作业使用频率标签在coordinator.xml中具有关于作业的时间规范。 集体协调员工作被视为捆绑工作。 在Bundle作业中,个人用户可以使用他们的job.properties为自己的工作分配自己的工作。

答案 2 :(得分:0)

根据我的理解,使用bundle可以组合几个协调员,所以经理,查看,开始/停止会更好......

可能我们有两个数据管道,一个用于日志处理(收集/解析/ ETL),一个用于业务逻辑。

然后我创建了两个包来分组不同类型的协调员。