我正在尝试使用docker和rabbitMQ建立气流。我正在使用rabbitmq:3管理图像。而且我能够访问RabbitMQ UI和API。
在气流中,我正在构建气流Web服务器,气流调度程序,气流 worker 和气流花。 Airflow.cfg文件用于配置气流。
我在哪里使用broker_url = amqp://user:[email protected]:5672/
和celery_result_backend = amqp://user:[email protected]:5672/
我的docker撰写文件如下
version: '3'
services:
rabbit1:
image: "rabbitmq:3-management"
hostname: "rabbit1"
environment:
RABBITMQ_ERLANG_COOKIE: "SWQOKODSQALRPCLNMEQG"
RABBITMQ_DEFAULT_USER: "user"
RABBITMQ_DEFAULT_PASS: "password"
RABBITMQ_DEFAULT_VHOST: "/"
ports:
- "5672:5672"
- "15672:15672"
labels:
NAME: "rabbitmq1"
webserver:
build: "airflow/"
hostname: "webserver"
restart: always
environment:
- EXECUTOR=Celery
ports:
- "8080:8080"
depends_on:
- rabbit1
command: webserver
scheduler:
build: "airflow/"
hostname: "scheduler"
restart: always
environment:
- EXECUTOR=Celery
depends_on:
- webserver
- flower
- worker
command: scheduler
worker:
build: "airflow/"
hostname: "worker"
restart: always
depends_on:
- webserver
environment:
- EXECUTOR=Celery
command: worker
flower:
build: "airflow/"
hostname: "flower"
restart: always
environment:
- EXECUTOR=Celery
ports:
- "5555:5555"
depends_on:
- rabbit1
- webserver
- worker
command: flower
我能够使用docker compose构建镜像。但是,我无法将气流计划程序连接到rabbitMQ。我收到以下错误:
我尝试同时使用127.0.0.1和localhost。
我做错了什么?
最佳答案
从airflow
容器中,您应该能够连接到服务rabbit1
。因此,您需要做的就是将amqp://user:**@localhost:5672//:
更改为amqp://user:**@rabbit1:5672//:
,它应该可以工作。
Docker compose创建一个默认网络,并附加未为其明确定义网络的服务。
除非您希望能够从应用程序外部访问它,否则不需要公开Rabbit1上的5672和15672端口。
另外,通常不建议在docker-compose内部构建镜像。