我正在尝试使用docker和rabbitMQ建立气流。我正在使用rabbitmq:3管理图像。而且我能够访问RabbitMQ UI和API。

在气流中,我正在构建气流Web服务器,气流调度程序,气流 worker 和气流花。 Airflow.cfg文件用于配置气流。

我在哪里使用broker_url = amqp://user:[email protected]:5672/celery_result_backend = amqp://user:[email protected]:5672/
我的docker撰写文件如下

version: '3'
services:
  rabbit1:
    image: "rabbitmq:3-management"
    hostname: "rabbit1"
    environment:
      RABBITMQ_ERLANG_COOKIE: "SWQOKODSQALRPCLNMEQG"
      RABBITMQ_DEFAULT_USER: "user"
      RABBITMQ_DEFAULT_PASS: "password"
      RABBITMQ_DEFAULT_VHOST: "/"
    ports:
      - "5672:5672"
      - "15672:15672"

    labels:
      NAME: "rabbitmq1"

  webserver:
    build: "airflow/"
    hostname: "webserver"
    restart: always
    environment:
      - EXECUTOR=Celery
    ports:
      - "8080:8080"
    depends_on:
      - rabbit1
    command:  webserver

  scheduler:
    build: "airflow/"
    hostname: "scheduler"
    restart: always
    environment:
      - EXECUTOR=Celery
    depends_on:
      - webserver
      - flower
      - worker
    command: scheduler

  worker:
    build: "airflow/"
    hostname: "worker"
    restart: always
    depends_on:
      - webserver
    environment:
      - EXECUTOR=Celery
    command: worker

  flower:
    build: "airflow/"
    hostname: "flower"
    restart: always
    environment:
      - EXECUTOR=Celery
    ports:
      - "5555:5555"
    depends_on:
      - rabbit1
      - webserver
      - worker
    command: flower

我能够使用docker compose构建镜像。但是,我无法将气流计划程序连接到rabbitMQ。我收到以下错误:



我尝试同时使用127.0.0.1和localhost。

我做错了什么?

最佳答案

airflow容器中,您应该能够连接到服务rabbit1。因此,您需要做的就是将amqp://user:**@localhost:5672//:更改为amqp://user:**@rabbit1:5672//:,它应该可以工作。

Docker compose创建一个默认网络,并附加未为其明确定义网络的服务。

除非您希望能够从应用程序外部访问它,否则不需要公开Rabbit1上的5672和15672端口。

另外,通常不建议在docker-compose内部构建镜像。

09-11 23:53