Celery分布式任务队列
2022/2/8 6:12:41
本文主要是介绍Celery分布式任务队列,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Celery是一款非常简单,灵活, 可靠的分布式系统, 可用于处理大量消息, 并且提供了一整套操作此系统的一系列工具
Celery是一款消息队列工具, 可用于处理实时数据以及任务调度
什么是任务队列?
任务队列一般用于线程或计算机之间分配工作的一种机制
任务队列的输入是一个成为任务的工作单元, 有专门的职称(Worker)进行不断的监视任务队列, 进行执行新的任务工作。
Celery通过消息机制进行通信, 通常使用中间人(Broker)作为客户端和职程(Worker)调节。启动一个任务,客户端向消息发送一条消息,然后中间人(Broker)将消息传递给一个职程(Worker), 最后由职程(Worker)进行执行中间人(Broker)分配的任务。
Celery可以有多个职程(Worker)和中间人(Broker), 用来提高Celery的高可用性以及横向扩展能力
我们需要什么?
Celery需要消息中间件来进行发送和接收消息。RabbitMQ和Resid中间人的功能比较齐全,但也支持其他的实验性的解决方案,其中包括SQLite进行本地开发
Celery可以再一台机器上运行,也可以在多台机器上运行,甚至可以跨数据中心运行
高可用
如果出现丢失连接或连接失败, 职程(Worker)和客户端会自动重试,并且中间人通过主/主 主/从的方式来进行提高可用性
快速
单个Celery进行每分钟可以处理数以百万的任务,而且延迟仅为亚毫秒(使用RabbitMQ,librabbitmq在优化过后).
灵活
Celery的每个部分几乎都可以自定义扩展和单独使用,例如自定义连接池,序列化方式,压缩方式,日志记录方式,任务调度,生产者,消费者,中间人(Broker)等。
这篇关于Celery分布式任务队列的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-25Elevate Your Lead Generation Game with Maps Scraper AI
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能