kubernetes - Kubernetes 与 Apache Airflow 的集成

我们正在构建工作流调度应用程序。我们发现 Airflow 是工作流管理器的不错选择，而 Kubernetes 是集群管理器的不错选择。因此，流量将是，

我们将向 Airflow 提交工作流 DAG。

Airflow 应通过指定 docker 镜像将给定 DAG 的任务提交给 Kubernetes。

Kubernetes 应该通过在集群的可用 EC2 工作节点上运行 docker 容器来执行任务。

在搜索中，我们发现 Airflow 有用于与 ECS、Mesos 集成的 Operators，但没有用于 Kubernetes。但是，我们在 Airflow wiki 上发现了对 Kubernetes Operator 的请求，但没有任何进一步的更新。

那么，简单的问题是，如何将 Airflow 与 Kubernetes 集成？

最佳答案

这是在飞行中。您只需跟随 this major jira ticket

一个更稳定的分支(工作由这个团队的很多人领导)位于 bloomberg fork on github in the airflow-kubernetes-executor branch 中，尽管它正在根据不断移动的 Airflow 主机进行重新定位。

我的 fork 上有一个分支，它解决了许多短期问题并且运行良好，名为 frankensteins-monster 。虽然它现在对我有用，但使用它需要您自担风险。我正在使用位于 build.sh 的 scripts/ci/kubernetes/docker 脚本构建一个 docker 镜像。

祝你好运!

关于kubernetes - Kubernetes 与 Apache Airflow 的集成，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48414332/