我正在开发一个严重依赖作业计划的基于Web的应用程序。作业将非常短,例如单个HTTP请求。但是,会有很多。每天可能安排超过数千个工作,但不是同时所有。我的第一个倾向是使用crontab来安排这些作业,但是我不确定这是否是最佳解决方案。

我看到crontab主要用于安排工作量大的管理任务,但不适用于非常短的工作。 crontab甚至适合吗?它可以处理大量工作吗?我应该实施自定义解决方案吗?有没有可以提供更好的解决方案和性能的服务?

非常感谢你!

最佳答案

Cron可以运行任何东西-多头或空头。但是,如果您每天要运行数千个作业,则可能会遇到cron允许的最大频率为每分钟一次的问题。如果您需要更高的费率,则必须寻找其他解决方案。

可能替代Cron的是Fat Controller,它的作用类似于cron,因为它基本上运行其他程序,但具有一些优点。 Fat Controller可以执行以下操作:


守护任何东西-给它任何PHP,Python,任何脚本,甚至Java应用程序,都可以守护到后台进程中。
任意任务-可以并行运行任何脚本/程序的许多实例。它甚至支持反馈,因此处理批量数据的脚本可以说出是否必须运行更多实例(即仍有更多数据需要处理)或是否没有数据,因此无需在一段时间内运行脚本。
重复任何操作-完成执行后,任何脚本都可以重新运行。您还可以指定一个间隔,这样它将在重新启动之前等待x秒(这可能对您有用)。至关重要的是,它会在脚本完成后等待x秒,然后重新启动,而cron将在脚本启动后等待x分钟,因此有可能最终导致一次运行多个脚本实例,而这可能不是您想要的。


管道中还有更多功能-该项目正在积极开发中,欢迎提出任何建议-如果它们很有趣,那么我会尽力将它们纳入其中!

该网站是:http://www.4pmp.com/fatcontroller/

我正在对该网站进行改造,因此目前有点难看,但是其中包含有关配置,入门和用例的大量信息。

10-07 13:20
查看更多