我们将气流用作工作流管理器和计划程序。
Requiremnet
1-我们有一个ETL管道，其中数据每小时以不同的文件形式到达，并且一旦数据到达就需要进行处理。
2-每小时的数据都有临界值，可以更新该数据，一旦更新后的数据就需要重新处理。
首先要解决的是，我们可以使用带有每小时宏的文件传感器来查找文件，并在数据可用时开始处理。
对于第二个要求，我们正在考虑使用某种subdag /任务，如果数据中有任何更新，则可以以不同的频率运行，直到截止时间和处理为止。
但是在气流中，我们找不到能以不同频率运行任务/子任务的东西。
我们如何实现这一目标？