使用airflow-operator 我们可以让airflow 可以很方便的运行在k8s集群环境中,当前还在开发中
主要分为两部分:airflowbbase && airfowcluster 自定义资源。
可以用来做以下事情:

  • 创建&&管理airflow 部署的k8s 资源
  • 更新关联的k8s资源,当airflowbase&& airflowcluster 信息变更的时候
  • 恢复删除的k8s 资源
  • 支持创建不同的scheduler
  • 支持在多个airflowclusters 中共享airflowbbase

几张参考设计图

airflow-operator 可以管理airflow 的kuberntes 自定义controller  && crd-LMLPHP

airflow-operator 可以管理airflow 的kuberntes 自定义controller  && crd-LMLPHP

参考资料

https://github.com/GoogleCloudPlatform/airflow-operator

 
 
 
 
05-07 15:37