气流调度程序不接任务,任务永远等待

时间:2018-11-22 01:19:41

标签: airflow airflow-scheduler

我遇到了一个问题,我的标签中的任务由于某种原因从未被工人拿起。 当我查看任务详细信息时:

  

满足所有依赖性,但任务实例未运行。多数情况   在这种情况下,这仅意味着该任务可能很快就会安排好   除非:   -调度程序已关闭或处于高负荷状态

     

如果此任务实例无法立即开始,请联系您的Airflow   管理员以获得帮助。

我检查了调度程序,日志中没有错误,也重新启动了几次。

我还检查了气流网服务器日志,仅注意这一点:

  

22/11/2018 12:10:39 [2018-11-22 01:10:3​​9,747] {{cli.py:644}}调试-[5   / 5]杀死1名工人22/11/2018 12:10:39 [2018-11-22 01:10:39 +0000]   [43] [INFO]处理信号:ttou 22/11/2018 12:10:39 [2018-11-22   01:10:39 +0000] [348] [INFO]工人离开(pid:348)

不确定会发生什么,以前效果很好。

Airflow版本1.9.0,从不更改版本,仅在min_file_process_intervaldag_dir_list_interval的某些配置中播放(但是遇到此问题时,我将其恢复为默认设置)

enter image description here

1 个答案:

答案 0 :(得分:0)

我确实注意到,这是在我玩一些气流配置并重建我们的docker气流映像时发生的,然后我将其恢复为以前的原始版本。然后问题解决了。

当我使用新生成的图像时,我还注意到芹菜工作者发生了一个错误(但并非总是捕获):

  

不可恢复的错误:AttributeError(“'float'对象没有属性'items'”,)

因此,发现它与最新的Redis版本有关(Celery将使用Redis),您可以找到more details