如何向Airflow添加新的DAG?

时间:2017-07-01 00:04:59

标签: python airflow apache-airflow

我在名为tutorial_2.py的文件中定义了一个DAG(实际上是tutorial.py教程中提供的airflow的副本,但dag_id更改为{{ 1}})。

当我查看默认的,未经修改的tutorial_2(位于airflow.cfg)时,我看到~/airflow设置为dags_folder

我做/home/alex/airflow/dags。现在我有一个cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py文件夹与dags中设置的路径相匹配,其中包含我之前创建的airflow.cfg文件。

但是,当我运行tutorial_2.py时,我只获得与默认教程DAG相对应的名称。

我希望在我的DAG列表中显示airflow list_dags,以便我可以开始与之互动。 tutorial_2python tutorial_2.py都没有导致它出现在列表中。

我该如何解决这个问题?

3 个答案:

答案 0 :(得分:8)

我认为原因是你没有导出AIRFLOW_HOME。 尝试做: AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags。 如果这不起作用而不是两步 export AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags 我相信这应该有效。试试吧?

答案 1 :(得分:6)

据我了解,AIRFLOW_HOME应该链接到存储airflow.cfg的目录。然后,airflow.cfg可以应用并将dag目录设置为您放入其中的值。

重点是:airflow.cfg如果未设置AIRFLOW_HOME则无效

答案 2 :(得分:0)

问题是您的目录中可能存在两个气流配置,因此请检查/ root / airflow / dags,如果是,则需要在两个airflow.cfg s中都更改dags_folder路径