如何使用start_date和End_date计划气流作业?

时间:2017-07-24 08:09:04

标签: python python-3.x airflow airflow-scheduler

我正在尝试安排每天动态运行的工作,间隔为3小时,从13:45开始,到14:30结束。 我的代码如下:

Test = datetime.now()

current_date = datetime.now()

default_args = {

'owner': 'abc',

'depends_on_past': False,

'start_date': datetime(Test.year, Test.month,Test.day, 13, 45),

'retries': 1,

'retry_delay': timedelta(minutes=5),

'queue': 'bash_queue',

'end_date': datetime(Test.year, Test.month,Test.day,14,30),

}

dag = DAG('CSVDataFile', default_args=default_args, schedule_interval=timedelta(minutes=5))

无法使用start_date和end_date运行,但它以正常的5分钟间隔运行, 请帮助解决这个问题

1 个答案:

答案 0 :(得分:0)

如果您使用的是上面的Airflow 1.8,请根据更新日志提供固定的start_time:https://github.com/apache/incubator-airflow/blob/master/UPDATING.md#less-forgiving-scheduler-on-dynamic-start_date
另外,尽量确保它在UTC下。

  

以UTC格式运行整个Airflow基础架构。 Airflow是在Airbnb开发的,每个系统都以UTC(GMT)运行