如何高效整合Django、Django-Celery和Celery实现长尾任务处理？

本文共计2075个文字，预计阅读时间需要9分钟。

本章节主要介绍利用Django框架开发一个计划任务系统。该系统可设定定时轮换值、通知员工姓名或执行脚本等，功能丰富。在完成百度无数山之后，最终成功将这套东西部署上线。

本篇文章主要是由于计划使用django写一个计划任务出来，可以定时的轮换值班人员名称或者定时执行脚本等功能，百度无数坑之后，终于可以凑合把这套东西部署上。本人英文不好，英文好或者希望深入学习或使用的人，建议去参考官方文档，而且本篇的记录不一定正确，仅仅实现crontab 的功能而已。

希望深入学习的人可以参考docs.jinkan.org/docs/celery/。

首先简单介绍一下，Celery 是一个强大的分布式任务队列，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab）。它的架构组成如下图

可以看到，Celery 主要包含以下几个模块：

任务模块 Task

包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。

消息中间件 Broker

Broker，即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 RabbitMQ 和 Redis 等。

任务执行单元 Worker

Worker 是执行任务的处理单元，它实时监控消息队列，获取队列中调度的任务，并执行它。

任务结果存储 Backend

Backend 用于存储任务的执行结果，以供查询。