气流:包含许多任务的Dag可以运行,但不能从任务状态=“无”前进

时间:2019-12-19 10:28:26

标签: kubernetes airflow airflow-scheduler

我使用气流(使用Kubernetes Excutor)。

设置:

parallelism = 50000
dag_concurrency = 30000
max_active_runs_per_dag = 20000

首先,我创建了包含 1000个任务的DAG。

并在webUI上触发dag。
然后,dag被成功执行并完成
但是..
我创建了包含 8000个任务的DAG。
然后在webUI上触发dag。
Dag已成功执行,但未运行任务所有任务状态为“无”且没有进度。

Airflow UI

我已经用谷歌搜索,但找不到任何答案(答案/解决方案)。
关于如何解决此问题的任何想法?
任何帮助将不胜感激。
感谢您的帮助。

0 个答案:

没有答案