气流未按计划的间隔运行

时间:2019-06-11 15:33:46

标签: airflow

我的Airflow Web服务器已启动并正在运行,其他作业正在按计划运行。 我添加了一个新的DAG,每5分钟执行一次。 添加后,我第一次手动运行它并完成了。但是之后它不再运行 每5分钟

Dag代码在下面

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

current_date = datetime.now()
default_args = {
    "owner": "airflow",
    "depends_on_past": False,
    "start_date": datetime(2019, 6, 11, current_date.hour, current_date.minute),
    "email": ["airflow@airflow.com"],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": timedelta(minutes=1),
}

dag = DAG("Incremental", default_args=default_args, schedule_interval='*/5 * * * *')

请提出建议

1 个答案:

答案 0 :(得分:0)

请注意,如果您以一天的schedule_interval运行DAG,则在2016-01-01T23:59之后不久将触发标记为2016-01-01的运行。换句话说,作业实例涵盖的时间段结束后,便开始启动。基于Airflow docs

对于您而言,如果您的开始日期为2019-01-01 00:00:00,则间隔为5分钟。您可能希望气流在2019-01-01 00:05:00运行,但是它将在2019-01-01 00:10:00之后运行,因为它等待5分钟的间隔结束(这就是我的想象)。希望这可以帮助。 :)