使用airflow-operator 我们可以让airflow 可以很方便的运行在k8s集群环境中,当前还在开发中
主要分为两部分:airflowbbase && airfowcluster 自定义资源。
可以用来做以下事情:
- 创建&&管理airflow 部署的k8s 资源
- 更新关联的k8s资源,当airflowbase&& airflowcluster 信息变更的时候
- 恢复删除的k8s 资源
- 支持创建不同的scheduler
- 支持在多个airflowclusters 中共享airflowbbase
几张参考设计图
参考资料
https://github.com/GoogleCloudPlatform/airflow-operator