如何在Airflow中批量处理

时间:2019-05-06 02:45:56

标签: airflow airflow-scheduler

在学习和学习了Airflow的基础知识之后,我仍然不知道如何基于输入对数据进行并行批处理。

例如,我有很多任务:

task1 >> task2 >> task3

我必须为task1输入 id 才能开始。现在,我将如何使用不同的ID 来运行相同的任务1?

还处理完所有批次的id后,如何停止系统?

我将使用PythonOperator来完成所有任务。

0 个答案:

没有答案