有没有办法在多个DAG之间平衡任务计划?

时间:2019-12-16 23:26:27

标签: airflow airflow-scheduler

已设置多个dag和气流以与SequentialExecutor一起运行。很好的事实是,在这种执行模式下,只有一个任务会在给定的时间运行,但是希望同时调度的任务具有平衡的调度任务(当前看来,任务A(开始时间早于5分钟) dag B)安排了更多的任务,而B经常只是在等待,即使它们都已经运行了一段时间。

是否有一种方法可以让平衡任务明确平衡地调度气流任务?针对这种情况的任何其他解决方法(是否不想实施任何concurrency只是为了看到相同的平衡问题被放大,而一个dag仍然获得所有调度,只是更多的调度)?

0 个答案:

没有答案
相关问题