Airflow中相关Dags之间的任务划分

时间:2017-06-16 06:53:35

标签: airflow data-lineage

我们计划每天使用 Airflow 运行许多DAG。使用ExternalTask​​Sensor,TriggerDagRunOperator和自定义运算符启用了依赖关系

样品:

DAG A中的任务1依赖于DAG B中的任务2 DAG A中的任务3取决于DAG C中的任务4 DAG A中的任务5取决于DAG D中的任务6 ...

DAG B中的任务2依赖于DAG E中的任务7 DAG B中的任务4取决于DAG F中的任务8 ...

在UI中检查任务实例详细信息时,仅显示属于同一dag的downstream_task_ids和upstream_task_ids。

我们如何才能看到多个DAG中单个任务的完整血统到最后一个可用级别?

1 个答案:

答案 0 :(得分:1)

当前没有气流(v 1.8.1)具有查看交叉dag依赖关系的机制。

此时如果您需要可视化任务之间的关系,它们必须处于同一个dag中。可能自定义插件中的视图可能会显示这些依赖关系,但库存UI不会这样做。