我一直在评估 Airflow 。在这个用例中,我有一个工作流每小时运行一次以获取每小时的数据汇总。另一个每天运行,以获取相同的每日汇总。是否可以创建一个合并的工作流,其中仅当所有小时汇总在过去的一天中都成功时才运行每日汇总?我已经看到您可以创建sub dag,但是两个dag可以不同的频率运行吗?如果是,怎么办?
最佳答案
不确定您希望它如何工作,但是虽然没有简单的方法可以执行此操作,但是可以使用多种方法来使用广泛的 Airflow 运算符套件来构建这种dag。
例如,您可以将每小时dags设为depend_on_past
,然后使用python分支运算符将一天汇总任务/dag在每小时dag结束时运行/触发,以进行一天的最后一次运行。 checkout PythonBranchOperator
和TriggerDagRunOperator
。
您还可以为每日汇总器创建自己的传感器,以确保当天的所有小时捕获成功。查看ExternalTaskSensor
以供引用。
关于airflow - 以不同的频率运行dags |空 Airflow 动,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/38117974/