搜索结果
查询Tags标签： Broker，共有 150条记录-
22第四章：07_消息发送重试机制
一、消息发送重试机制说明 Producer 对发送失败的消息进行重新发送的机制，称为消息发送重试机制，也称为消息重投机制。 对于消息重投，需要注意以下几点：生产者在发送消息时，若采用同步或异步发送方式，发送失败会重试，但 oneway 消息发送方式发送失败是没有重试机制…
2022/8/15 6:23:01 人评论 次浏览 -
RocketMQ
消息中间件常用消息中间件对比RocketMQ相比其他两种有一个不可替代的优势：支持事务消息作用异步解耦（提高效率）削峰填谷（缓解压力）分布式缓存同步 消息分发写磁盘方式RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复，又可以让存储的消息量超出内存的限制。…
2022/8/4 6:25:36 人评论 次浏览 -
kafka各个版本的特性
1. kafka-0.8.2 新特性 1.1 异步发送 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端…
2022/7/28 23:28:21 人评论 次浏览 -
Kafka学习(十五) Python Kafka Client 性能测试
一、前言由于工作原因使用到了 Kafka，而现有的代码并不能满足性能需求，所以需要开发高效读写 Kafka 的工具，本文是一个 Python Kafka Client 的性能测试记录，通过本次测试，可以知道选用什么第三方库的性能最高，选用什么编程模型开发出来的工具效率最高。二、第三方库…
2022/7/24 14:30:43 人评论 次浏览 -
RocketMQ
转自 https://blog.csdn.net/qq_21040559/article/details/122703715 1 介绍RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。 1.1 RocketMQ 特点支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型 …
2022/6/21 23:21:47 人评论 次浏览 -
Linux搭建MQTT Broker并测试本地和远程发布及订阅
前 言 1. MQTT介绍 1.1 什么是MQTT MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上，是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议，为此，它需要一个消息中间件 …
2022/4/24 7:13:24 人评论 次浏览 -
如何让Kafak尽可能不丢失消息
Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证 已提交，commit，若干个（可用配置设置） Broker 成功地接收到一条消息并写入到日志文件后，它们会告诉生产者程序这条消息已成功提交。 有限度，假如你的消息保存在 N 个 Kafka Broker 上，那么这个…
2022/4/10 6:15:31 人评论 次浏览 -
Kafka 生产消息降低网络io
一、Kafka消息 Kafka消息分为两层：消息集合（message set）以及消息（message） 一个消息集合中包含若干条日志项（record item），而日志项才是真正封装消息的地方。Kafka 底层的消息日志由一系列消息集合日志项组成。Kafka 通常不会直接操作具体的一条条消息，它总是在…
2022/4/10 6:15:28 人评论 次浏览 -
Java面试题之：Kafka里的生产者与消费者设计
Java面试题之：Kafka里的生产者与消费者设计 一、负载均衡（partition 会均衡分布到不同 broker 上）二、批量发送三、压缩（GZIP 或 Snappy）四、消费者设计一、负载均衡（partition 会均衡分布到不同 broker 上）由于消息 topic 由多个 partition 组成，且 partition 会…
2022/2/22 11:23:57 人评论 次浏览 -
RocketMQ(二) - NameServer路由元信息分析
RocketMQ(二) - NameServer路由元信息分析上一篇详细分析了 NameServer的启动流程 (不包括底层服务端的启动， 仅限于 NamesrvController层面的启动)。 这一篇 主要 针对NameServer在RocketMQ中的角色原理做介绍。我们知道 RocektMQ中的组件分为： producer、consumer、br…
2022/2/21 6:26:41 人评论 次浏览 -
生产者到topic
producer发布消息写入方式producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率，关于磁盘顺序写入）。消息路由producer 发送消息到 broker 时，会根据分区算法选择将其…
2022/2/16 23:43:21 人评论 次浏览 -
Celery分布式任务队列
Celery是一款非常简单,灵活, 可靠的分布式系统, 可用于处理大量消息, 并且提供了一整套操作此系统的一系列工具 Celery是一款消息队列工具, 可用于处理实时数据以及任务调度什么是任务队列? 任务队列一般用于线程或计算机之间分配工作的一种机制 任务队列的输入是一个成为…
2022/2/8 6:12:41 人评论 次浏览 -
在本机搭建集群环境：简便快速 不需要处理端口开放等防火墙设置前提条件：修改好JVM参数，比如将JVM的Xms等参数调小（默认4GB）。 在本机装好rocketMQ并成功运行（可以通过本地单机起nameserver服务，跑官方提供的demo验证）创建NameServer集群 复制原RocketMQ包 原有Roc…
2022/2/3 23:12:38 人评论 次浏览 -
Rocketmq源码解析-Producer部分之消息重试和延迟容错逻辑(2)
问题点 1.消息发送失败了怎么办(网络原因，broker挂掉)？发送端如何实现的高可用？ 2.消息队列是如何选择的，即producer向哪个消息队列里发送消息？ 3.为什么要单独设计一个broker故障延迟机制呢？ 生产者消息重试 生产者在发送消息的时候，3种通信模式默认都不进行重试（…
2022/2/2 17:14:05 人评论 次浏览 -
rocketmq安装部署 ，运行避坑（python3）
按照rocketmq官网的快速入门，进行linux上的安装：快速入门 - Apache RocketMQ 避坑： 1、rocketmq可执行命令的路径：xx/xx/rocketmq/rocketmq-all-4.9.2/distribution/target/rocketmq-4.9.2/rocketmq-4.9.2/bin//xx/xx为下载rocketmq时的存放路径否则会报错：apache.xx…
2022/1/18 17:11:03 人评论 次浏览
