在本地安装puckel / docker-airflow之后,没有任务实例在运行,并且任务永远卡住

时间:2019-07-03 20:43:24

标签: docker airflow

我使用本教程通过docker:http://www.marknagelberg.com/getting-started-with-airflow-using-docker/安装在本地Mac airflow上,一切正常。我有UI,可以连接我的dags。

但是,当我手动触发我的任务时,它没有运行,并且显示了此错误消息enter image description here

我在网络UI上的任务:enter image description here

我在Mac上工作,并且使用了以下代码:

docker pull puckel/docker-airflow
docker run -d -p 8080:8080 -v /path/to/dags:/usr/local/airflow/dags  puckel/docker-airflow webserver

有人对如何解决此问题有想法吗?谢谢您的帮助

1 个答案:

答案 0 :(得分:0)

使用docker-compose代替docker,来管理与docker堆栈相关的所有案例。

这是我的基于puckel / docker-airflow的气流的示例代码

version: '3'

服务: postgres: 图片:“ postgres:12” 环境: -POSTGRES_USER =气流 -POSTGRES_PASSWORD =气流 -POSTGRES_DB =气流
数量: -./pg_data:/var/lib/postgresql/data

webserver:
    image: puckel/docker-airflow:1.10.9
    restart: always
    depends_on:
        - postgres
    environment:
        - LOAD_EX=n
        - EXECUTOR=Local
        - AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow
    volumes:
        - ./dags:/usr/local/airflow/dags
    ports:
        - "8080:8080"
    command: webserver
    healthcheck:
        test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]

要使用它,您可以

1-创建一个项目文件夹。将以上参考代码复制到

docker-compose.yml

2-按照以下docker-compose命令检查配置是否正确

docker-compose config

3-通过以下方式启用docker-compse项目:

docker-compose up

注意:如果您不想查看详细日志,则可以通过以下方式在背景中运行它:

docker-compose up -d

  1. 现在,您可以在浏览器中享受气流UI了。通过跟随网址
http://<the host ip>:8080

如果您喜欢以上答案,请投票。

祝你好运 怀