我使用气流(使用Kubernetes Excutor)。
设置:
parallelism = 50000
dag_concurrency = 30000
max_active_runs_per_dag = 20000
首先,我创建了包含 1000个任务的DAG。
并在webUI上触发dag。
然后,dag被成功执行并完成。
但是..
我创建了包含 8000个任务的DAG。
然后在webUI上触发dag。
Dag已成功执行,但未运行任务(所有任务状态为“无”且没有进度。)
我已经用谷歌搜索,但找不到任何答案(答案/解决方案)。
关于如何解决此问题的任何想法?
任何帮助将不胜感激。
感谢您的帮助。