气流列表停滞30秒后完全超时

Question

我有一个动态气流dag（backfill_dag），它基本上读取管理变量（Json）并自行构建。 Backfill_dag用于回填/历史记录加载，因此，例如，如果我要以某种顺序历史记录dag x，y，nz（xny并行运行，z取决于x），那么我将在特定情况下提及json格式，并将其放在backfill_dag的管理变量中。

现在

Backfill_dag：

解析Json， 呈现dax x，y和z的任务，并且 x和y并行动态构建自身，而z取决于x

问题：

只要Backfill_dag可以在30秒内完成list_dags，它就可以正常工作。 由于Backfill_dag在这里有点复杂，因此列表（气流list_dags -sd Backfill_dag.py）要花费30秒钟以上，因此超时并导致dag中断。

尝试：

我试图在调度程序的dagbag_import_timeout = 100文件中设置参数airflow.cfg，但这无济于事。

Answer 1

我修复了代码。

修复： 我在dag中有一些aws s3 cp命令在编译过程中运行，因此list_dags命令花费了30秒钟以上，我删除了它们（或者在BashOperator任务中删除了），现在我的代码在几秒钟内完成了编译（list_dags）