使用Airflow中的另一个dag触发外部dag

时间:2019-07-08 14:37:03

标签: python airflow airflow-scheduler

在主dag中有调用不同dag的任务列表。我正在使用TriggerDagrunoperator来完成此任务。但是面临的问题很少。

  • TriggerDagrunoperator不等待外部dag完成,而是触发下一个任务。我要等到完成,然后根据状态触发下一个任务。遇到了ExternalTask​​Sensor。这使过程变得复杂。还有其他解决方案吗?

  • 如果再次触发主数据丢失,则希望任务从失败的位置重新启动。现在,它不会重新启动,但是对于基于时间的计划,它将重新启动。

1 个答案:

答案 0 :(得分:1)

  

..我希望那等到完成..   ExternalTask​​Sensor。这使过程变得复杂..

我不知道有任何其他方法可以实现这一目标。我自己做了the same way


  

如果再次触发主dag,我希望任务从重新启动   失败了...

您的此要求与Airflow要求的principle of idempotency背道而驰。我建议您尝试重新处理包含幂等性的工作(例如,在重试的情况下,您必须具有幂等性)。同时,您可以从some people中汲取灵感,并尝试实现类似的目标(但这会非常复杂)