Question

气流突然停止了运行任务。下面都在运行 airflow scheduler airflow webserver airflow worker

webui消息

满足所有依赖性，但任务实例未运行。多数情况   在这种情况下，这仅意味着该任务可能很快就会安排好   除非：   -调度程序已关闭或处于高负荷状态

如果此任务实例无法立即开始，请联系您的Airflow   管理员以获得帮助。

调度程序似乎处于循环状态，不断重复以下消息。 WebUI显示任务处于排队状态。尝试重新启动调度程序，没有帮助。

[2018-11-17 22:03:45,809] {{jobs.py:1607}} DEBUG - Starting Loop...
[2018-11-17 22:03:45,809] {{jobs.py:1627}} INFO - Heartbeating the process manager
[2018-11-17 22:03:45,810] {{jobs.py:1662}} INFO - Heartbeating the executor
[2018-11-17 22:03:45,810] {{base_executor.py:103}} DEBUG - 124 running task instances
[2018-11-17 22:03:45,810] {{base_executor.py:104}} DEBUG - 0 in queue
[2018-11-17 22:03:45,810] {{base_executor.py:105}} DEBUG - 76 open slots
[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.celery_executor.CeleryExecutor'> sync method
[2018-11-17 22:03:45,810] {{celery_executor.py:80}} DEBUG - Inquiring about 124 celery task(s)

气流设置： apache-airflow[celery, redis, all]==1.9.0

我也检查了这些帖子，但没有帮助我

Airflow 1.9.0 is queuing but not launching tasks

Airflow tasks get stuck at "queued" status and never gets running

Answer 1

问题解决了。 在2018年11月15日或之后创建版本时会出现问题，结果证明apache-airflow[celery, redis, all]==1.9.0使用了最新版本的redis-py 3.0.1，该版本不起作用和芹菜4.2.1。解决方法是使用redis-py 2.10.6 redis==2.10.6 apache-airflow[celery, all]==1.9.0

Airflow 1.9.0正在排队，但任务未运行

1 个答案: