在主dag中有调用不同dag的任务列表。我正在使用TriggerDagrunoperator来完成此任务。但是面临的问题很少。
TriggerDagrunoperator不等待外部dag完成,而是触发下一个任务。我要等到完成,然后根据状态触发下一个任务。遇到了ExternalTaskSensor。这使过程变得复杂。还有其他解决方案吗?
如果再次触发主数据丢失,则希望任务从失败的位置重新启动。现在,它不会重新启动,但是对于基于时间的计划,它将重新启动。
答案 0 :(得分:1)
..我希望那等到完成.. ExternalTaskSensor。这使过程变得复杂..
我不知道有任何其他方法可以实现这一目标。我自己做了the same way。
如果再次触发主dag,我希望任务从重新启动 失败了...
您的此要求与Airflow
要求的principle of idempotency背道而驰。我建议您尝试重新处理包含幂等性的工作(例如,在重试的情况下,您必须具有幂等性)。同时,您可以从some people中汲取灵感,并尝试实现类似的目标(但这会非常复杂)