我目前正在重做我们所有的数据库编排作业(ETL,备份,日常任务,报告编制等)。

为此,我需要一个任务/作业协调器,在其中可以定义任务依赖项,基于时间的任务,异步任务等。

我一直在研究 celery 和基于流的编程技术,但是我不确定这些技术是否适合我的用例。

我正在寻找一种框架,该框架可以开箱即用地支持所有这些功能。
有什么建议?

最佳答案

可能要晚了,但我想向其他人提起Job runner来解决这个问题。

从其GitHub存储库README.rst中:

Job-Runner是一种类似于crontab的工具,具有用于管理和(实时)监视当前状态的不错的Web前端。

特征:

  • 安排定期作业
  • 作业链
  • 通过将 worker 放在游泳池中来实现负载平衡 worker
  • 安排作业在池
  • 中的所有工作程序上运行
  • 实时仪表板(具有终止运行和临时计划的选项)
  • 多个项目和每个项目的权限管理
  • 关于python - 工作编排,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/14879789/

    10-10 18:51