我一直在评估 Airflow 。在这个用例中,我有一个工作流每小时运行一次以获取每小时的数据汇总。另一个每天运行,以获取相同的每日汇总。是否可以创建一个合并的工作流,其中仅当所有小时汇总在过去的一天中都成功时才运行每日汇总?我已经看到您可以创建sub dag,但是两个dag可以不同的频率运行吗?如果是,怎么办?

最佳答案

不确定您希望它如何工作,但是虽然没有简单的方法可以执行此操作,但是可以使用多种方法来使用广泛的 Airflow 运算符套件来构建这种dag。

例如,您可以将每小时dags设为depend_on_past,然后使用python分支运算符将一天汇总任务/dag在每小时dag结束时运行/触发,以进行一天的最后一次运行。 checkout PythonBranchOperatorTriggerDagRunOperator

您还可以为每日汇总器创建自己的传感器,以确保当天的所有小时捕获成功。查看ExternalTaskSensor以供引用。

关于airflow - 以不同的频率运行dags |空 Airflow 动,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/38117974/

10-14 19:28
查看更多