一.Celery 介绍
Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务( async task )和定时任务( crontab )。 异步任务比如是发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作 ,定时任务是需要在特定时间执行的任务。它的架构组成如下图:
[以上转自]作者:Shyllin 来源:CSDN 原文:https://blog.csdn.net/Shyllin/article/details/80940643?utm_source=copy 版权声明:本文为博主原创文章,转载请附上博文链接!
划重点~
(1). 任务模块:包含异步任务和定时任务。异步任务在业务逻辑中触发被发送到任务队列,定时任务由celery beat周期性的发往任务队列。
(2).celery beat:任务调度器。beat进程会读取配置文件里的内容(celerybeat_schedule里设置),周期性的将配置中到期需要执行的任务发送到任务队列。
(3).消息中间件broker:任务调度队列。接收任务生产者发来的消息任务,存储到队列中。因为celery本身并不提供队列服务,官方推荐rabbitMQ和redis,在这里我们使用redis。
(4).任务执行单元worker:实行任务的处理单元。实时监控消息队列,获取队列调度中的任务,并执行它。
(5).任务结果存储backend:用于任务执行结果的存储,同中间件一样可以用rabbitMQ和redis。
二.代码实