一、起源:面向交易类场景的设计取向
1.1 从内部消息中间件到 Apache 顶级项目
RocketMQ 由阿里巴巴内部的消息中间件演进而来,早期用于承接电商交易链路中的异步解耦与流量削峰,其后开源并进入 Apache 基金会,成为 Apache 顶级项目。与由日志采集与流处理场景生长出来的消息系统不同,RocketMQ 的原始需求来自交易系统本身:请求路径短、响应时间敏感、涉及资金与库存等不可丢失且不可重复的数据。
这一出身决定了它的若干默认取舍:单机吞吐并非唯一目标,消息的可靠投递、可查询、可回溯与业务语义支持被放在同等位置;协议不追求跨厂商标准化,而是围绕自身存储模型定义了一套私有 Remoting 协议与客户端 API,以换取实现上的自由度。
1.2 交易类场景的约束
交易类场景对消息系统提出的约束可归纳为以下几点:
- 低延迟:下单、支付、库存扣减等链路的异步通知需要毫秒级到几十毫秒级完成,不接受为提升吞吐而引入的大批量攒批延迟
- 消息可查询与可回溯:出现资金差异或订单状态不一致时,需要按消息 ID、业务键或时间区间定位到具体消息,并查看其投递与消费轨迹
- 事务消息原生支持:本地数据库事务与消息发送需要达成最终一致,且不允许依赖消费端与生产端共享同一个事务
- 顺序消息能力:同一订单或同一账户的多次状态变更必须按发生顺序被消费
- 可预测的可靠性档位:刷盘方式与复制方式应可作为独立开关组合,由业务按可靠性要求选择,而不是只能接受固定策略
1.3 四点设计取向
对应上述约束,RocketMQ 在实现上形成了四点取向:
- 写入路径以顺序追加为核心:所有消息先写入单一的顺序日志文件,再异步构建可被消费的索引队列,从而以顺序写换取磁盘利用率与写入吞吐
- 路由与存储分离:元数据由无状态的 NameServer 承担,Broker 只负责存储与投递,NameServer 之间不做数据同步与选主,降低元数据层的运维复杂度
- 可靠性以“刷盘 + 复制”两个正交开关表达:同步刷盘与同步复制可分别开启,四种类别对应不同的吞吐与丢失窗口,由业务选择而非框架规定
- 业务语义内置:延迟消息、事务消息、消息查询、消费轨迹等功能由 Broker 直接提供,不需要依赖外部组件拼装
1.4 与日志型系统的分工
以 Kafka 为代表的日志型系统面向的是高吞吐、可重放的数据管道:日志采集、埋点、流式计算、数据同步。其设计重心是顺序追加的高吞吐写入、按位点的批量消费与长周期数据保留,单条消息的延迟与业务语义支持不是首要目标。
两者的分工可按数据性质划分:
| 数据性质 | 典型场景 | 选型倾向 | 原因 |
|---|---|---|---|
| 业务消息,要求不丢不重、可查询、可事务 | 订单状态变更、支付结果通知、库存扣减、积分发放 | RocketMQ | 内置事务消息、延迟消息、消息查询与消费轨迹 |
| 日志与事件流,要求高吞吐与长周期回放 | 应用日志采集、用户行为埋点、CDC 数据同步、流式计算输入 | Kafka | 分区并行写入与批量顺序读的吞吐优势,生态与流处理集成完善 |
| 复杂路由与协议互通 | 需要 Exchange 绑定、路由键匹配、多语言 AMQP 接入 | RabbitMQ | AMQP 模型的灵活路由与成熟的多语言客户端 |
两类系统并非互斥。同一架构中常见“业务消息走 RocketMQ、日志与埋点走 Kafka”的组合,此时需要注意二者在消费语义与保留策略上的差异,避免把日志型系统的使用习惯直接套用到业务消息上。
二、原理
2.1 架构与组件
RocketMQ 的运行时由 NameServer、Broker 与客户端三部分构成,客户端的生产端与消费端均通过 Remoting 协议与 NameServer、Broker 交互。
NameServer
- 定位:Topic 路由的注册中心,保存 Broker 上报的 Topic 与队列信息、Broker 存活状态
- 无状态:各 NameServer 之间不通信、不选主、不复制数据,彼此独立地接收 Broker 上报
- Broker 上报:Broker 启动后向配置中列出的全部 NameServer 注册,并周期性(约每 30 秒)上报心跳;NameServer 维护 Broker 存活表,对超过约 120 秒未上报的 Broker 从路由中剔除
- 客户端拉取:生产端与消费端周期性(约每 30 秒)从一台 NameServer 拉取所订阅 Topic 的路由,缓存在客户端本地
由“不通信”这一点可推出两个结论:
- 路由的最终一致依赖 Broker 向所有 NameServer 重复上报,而不是 NameServer 之间的同步;新增 NameServer 需要在 Broker 配置中补充地址,否则该实例上的路由不完整
- NameServer 短时全部不可用不会立即造成消息收发中断,客户端与 Broker 的已有连接与本地路由缓存仍可继续工作;但新 Topic 的路由无法获取,Broker 列表变更也无法感知
Broker
- 定位:消息的存储与投递主体,承担写入、索引构建、消费投递、消息查询、事务状态回查、消息过滤等职责
- 主从角色:同一 brokerName 下由 brokerId 区分实例,brokerId 为 0 的是 Master,大于 0 的是 Slave
- 版本差异:在 4.x 的主从模型下,Slave 默认只承担数据备份与读负载(是否允许消费者从 Slave 读由配置决定),不具备写入能力;在 5.x 以及 4.x 的 DLedger 模式下,支持通过选举产生新的 Master,实现自动主从切换
Topic 与消息队列
- Topic 是消息的逻辑分类,生产者向 Topic 发送、消费者按 Topic 订阅
- MessageQueue 是 Topic 下的物理队列,是存储与消费并行的基本单位;每个队列由 QueueId 标识,对应 CommitLog 上的一段消息序列与一组对应的消费索引
- 生产端从 Topic 的全部可写队列中选择一个投递,消费端按队列做负载分配;队列数量直接决定消费并行的上限
生产者组与消费者组
- 生产者组标识一类生产者的集合,普通消息场景下主要用于事务消息的状态回查(Broker 依据组名找到生产者实例发起回查),因此事务消息的生产者组应保证在运行的实例范围内唯一
- 消费者组是消费位点与重试、死信资源的归属单位;同一消费者组内的实例按队列分担消息,不同消费者组各自持有一份完整消费进度
元数据与路由刷新机制
- 生产端首次发送某 Topic 的消息时,若本地无路由缓存,则向 NameServer 请求该 Topic 的路由
- 路由信息包含队列列表、队列读写权限与所在 Broker 的地址;生产端据此选择队列,选择算法默认按轮询并在失败时规避上一次失败的 Broker
- 发送失败时,客户端会在重试次数允许范围内重新选择队列,优先避开刚刚失败的 Broker,从而在单个 Broker 故障时向其他 Broker 上的队列漂移
- 消费端根据订阅关系与路由信息做 Rebalance,将队列分配给组内实例;Broker 地址或队列数量变化都会触发重新分配
2.2 存储模型
CommitLog 顺序写
- 所有 Topic 的所有消息写入同一个 CommitLog 文件序列,写入方式为尾部追加
- 文件按固定大小分段(默认每段 1GB,由
mapedFileSizeCommitLog配置),写满即切换到下一段,文件名为起始物理偏移 - 顺序追加对机械盘与 SSD 都友好:写入集中在一个文件尾部,减少寻道与写放大;配合操作系统页缓存,写入先落在内存中再回写磁盘
- 单条消息在 CommitLog 中的物理位置即“文件起始偏移 + 段内偏移”,是该消息在存储层的唯一坐标
ConsumeQueue 索引
- 每个 Topic 的每个队列对应一个 ConsumeQueue 目录,其中按顺序存放定长索引条目,条目结构为“CommitLog 物理偏移(8 字节)+ 消息长度(4 字节)+ Tag 哈希值(8 字节)”,即每条 20 字节
- ConsumeQueue 由后台线程在消息写入 CommitLog 后异步构建,消费者按逻辑位点从 ConsumeQueue 读取条目,再依据物理偏移回到 CommitLog 取出完整消息
- 消费位点因此是“ConsumeQueue 中的条目序号”,而非 CommitLog 中的字节偏移;位点重置即改变该序号
- ConsumeQueue 的体积远小于 CommitLog(每条消息固定 20 字节),但条目数量与消息数量相同,长期保留会产生可观的文件数量
索引文件与按消息 ID 查询
消息查询存在两条路径:
- 按消息 ID 查询:消息 ID 由生产端生成,其中编码了 Broker 地址与消息在 CommitLog 中的物理偏移信息,Broker 解析后可直接定位到 CommitLog 的准确位置,不需要遍历索引;部分版本与部分客户端实现中消息 ID 不再包含物理偏移,此时按 ID 查询会退化为按唯一键走索引
- 按业务键查询:生产者发送时通过设置的 keys(唯一键)建立索引,Broker 将其写入每个 Broker 独有的 IndexFile。IndexFile 为定长结构文件,其中包含哈希槽与索引条目两部分,单文件可容纳约 2000 万条索引,写满后按时间滚动生成新文件并删除最旧文件
由此产生两点使用约束:
- keys 建立索引会占用额外的写放大量与内存映射,不宜把大字段或高基数的无序内容塞进 keys;索引文件有保留上限,超出后最早写入的索引先被覆盖,按 key 长时间回溯会查不到
- 按 key 查询需要指定 Topic 与时间区间,Broker 才会去匹配对应的 IndexFile,未指定区间的全量扫描代价高
页缓存与刷盘策略
消息写入时先写入内存映射文件,此时数据位于操作系统页缓存,尚未落盘。刷盘策略决定 Broker 何时向生产者返回写入成功:
| 刷盘方式 | 行为 | 吞吐 | 宕机丢失窗口 |
|---|---|---|---|
| 异步刷盘(ASYNC_FLUSH) | 写入页缓存即返回成功,由后台线程批量回写磁盘 | 高 | 操作系统或主机掉电时,页缓存中尚未回写的消息丢失 |
| 同步刷盘(SYNC_FLUSH) | 写入页缓存后提交刷盘请求,等待刷盘完成再返回成功;采用攒批方式,多个写入请求合并为一次刷盘 | 低,受磁盘 fsync 能力限制 | 已返回成功的消息不因进程崩溃丢失;主机掉电时的边界取决于磁盘自身缓存策略 |
页缓存的回写行为、脏页比例与 fsync 语义决定了“返回成功”与“数据真正落盘”之间的距离,理解这部分机制有助于判断异步刷盘下的真实丢失窗口,参见 页缓存与 IO 性能。
主从复制方式
| 复制方式 | 行为 | 可靠性 | 说明 |
|---|---|---|---|
| 异步复制(ASYNC_MASTER) | Master 写入成功即返回,后台将增量数据推送给 Slave | 存在复制延迟,Master 宕机可能丢失尚未同步的数据 | 吞吐与可用性较好 |
| 同步复制(SYNC_MASTER) | Master 等待至少一个 Slave 确认已接收数据后才返回成功 | 只要 Slave 数据完整即不丢已确认消息 | 写入延迟受 Slave 磁盘与网络影响,Slave 异常会拖慢或阻塞写入 |
刷盘方式与复制方式相互正交,能组合出四种档位。选择依据是业务能承受的丢失窗口与可接受的写入延迟:以可靠性优先的交易核心链路常取同步刷盘加同步复制;以吞吐优先的通知类链路常取异步刷盘加异步复制。
文件生命周期
- CommitLog 段文件与 ConsumeQueue、IndexFile 都由后台清理线程周期性检查
- 删除条件同时受保留时间(
fileReservedTime,默认 72 小时)与磁盘水位(diskMaxUsedSpaceRatio,默认 75%)约束:达到水位时清理会提前触发,越过水位后 Broker 会拒绝写入 - 清理以 CommitLog 段为单位,删除某段时对应的 ConsumeQueue 条目与索引文件一并失效;因此保留时间的下限实际上由最慢消费者的位点决定,若消费者长期落后于保留窗口,其未消费的消息会被删除,表现为消息凭空消失
2.3 消费者模型
集群消费与广播消费
- 集群消费(CLUSTERING,默认):同一消费者组内的实例按队列分配消息,一条消息在同一组内只被一个实例消费;消费位点由 Broker 统一保存
- 广播消费(BROADCASTING):组内每个实例都消费 Topic 的全部队列,即每台实例收到全量消息;消费位点保存在各实例本地文件中,实例重建会丢失进度
需要按“每个应用都要收到全量”设计时使用广播模式,但要清楚它没有重试与死信的组级兜底,且实例数量增加会线性放大总消费量。业务上的多订阅方需求应优先通过多个消费者组实现,而不是广播模式。
推与拉
- 推送模式:表面由 Broker 主动推送,实现上是客户端拉取线程在队列上发起长轮询,取到消息后交给消费线程池回调处理;对使用者屏蔽了位点管理,是最常用的方式
- 拉取模式:由应用自行控制从哪个队列、以什么位点、拉多少条消息,并在处理完成后回传位点。适合批量处理、按需回溯、与外部批处理系统集成的场景,代价是需要自行处理位点存储与队列遍历
批量参数与并发参数决定了单次拉取与并发的规模:单次拉取条数、批量消费条数与消费线程数上限之间存在制约关系,线程数超过队列数并不会提升并行度。
消费位点与重试队列
- 消费成功并提交位点后,该位点之前(不含)的消息不再投递;位点由客户端周期性上报给 Broker 持久化,因此异常退出时可能重复消费最后一批消息
- 并发消费失败时,消息被发送到该消费者组的重试主题
%RETRY%消费者组名,并按重试次数递增重试延迟:首次失败延迟较短,随后逐级拉长,直至达到最大重试次数 - 顺序消费失败时的处理不同:消息不进入重试主题,而是在当前队列上挂起重试,等待一段时间后重新消费同一条消息;这保证了顺序不被越过,但也意味着失败消息会持续占用当前队列
死信主题
- 并发消费的重试次数达到上限(4.x 默认为 16 次)后,消息被写入该消费者组的死信主题
%DLQ%消费者组名 - 死信主题不会自动消费,只作为落地证据,需要人工查询、修复与重投;使用
mqadmin可以查看死信主题中的消息内容 - 死信主题的堆积量是可靠性链路最直接的告警项:出现死信就意味着有业务消息在重试耗尽后仍未被正确处理
幂等要求
无论哪种消费模型,重复投递都无法完全避免:位点周期性上报带来重复、网络异常触发重投、并发消费下位点提交跨越了尚未处理完的消息。因此消费逻辑必须按业务唯一键实现幂等,常见做法是唯一约束(数据库唯一索引或去重表)与消费状态标记(缓存或状态表)配合,重复投递时以“已处理则直接确认”作为兜底。通用幂等手段的取舍(唯一约束与去重表、状态机与版本号、缓存去重、业务天然幂等)参见 消息可靠性与幂等设计。
2.4 顺序消息
分区顺序与全局顺序
- 分区顺序:同一队列内的消息严格按写入顺序被消费,不同队列之间无顺序关系。只要把需要保序的消息按业务键路由到同一队列,即可在保持并发的前提下获得局部顺序
- 全局顺序:整个 Topic 只有一条队列,所有消息严格有序,代价是消费完全串行、吞吐受单队列上限约束
顺序保证的三个条件
顺序不是由消费端单方面决定的,需要生产与消费两侧同时满足:
- 路由条件:同一业务键的消息必须写入同一队列。生产端使用按业务键选择队列的方式(按业务键取模或按业务键哈希),而不是默认的轮询选择
- 发送条件:同一业务键的连续消息在发送端不能并发乱序,即发送顺序与业务发生顺序一致;多线程发送同一业务键时需在上层串行化
- 消费条件:同一队列只能由单线程消费,且消费失败不得跳过当前消息。使用顺序消费的监听器时,客户端会为队列加锁并在 Rebalance 期间保证同一队列只被一个实例消费
并发消费对顺序的破坏
- 使用并发消费监听器时,同一队列的消息被多个线程并行处理,处理完成顺序与投递顺序无关
- Rebalance 期间队列发生迁移,前一个实例可能仍有在途消息未处理完,新实例已开始消费同一队列的后续消息
- 消费失败后跳过并重投到重试主题,会使后续消息先于失败消息被处理,即使后续重新投递也已破坏顺序
上述情形中,前两项需要在设计阶段取舍:要么接受偶发乱序并在业务侧按版本号或状态机做幂等收敛,要么使用顺序消费并接受吞吐与重试行为的约束。
队列扩容的影响
队列数量在创建 Topic 时确定,扩容后新队列不会自动承接老队列的历史消息。按业务键取模选择队列时,取模基数变化会导致同一个业务键的新消息落到不同队列,从而与该键的历史消息分属两个队列,跨队列无法保序。因此涉及顺序的业务 Topic 应提前规划足够的队列数,避免运行期扩容;确需扩容时,需在业务低峰期暂停该键的写入并在两侧处理完存量后再放开。
2.5 事务消息
半消息机制
- 生产者向 Broker 发送事务消息,消息先被写入事务半消息主题(
RMQ_SYS_TRANS_HALF_TOPIC),此时消息对消费者不可见 - 半消息写入成功后,Broker 向生产者返回发送成功,生产者开始执行本地数据库事务
- 生产者根据本地事务结果,向 Broker 提交二次确认:提交(COMMIT)则 Broker 将半消息还原到真实 Topic 并开始投递;回滚(ROLLBACK)则 Broker 直接丢弃该消息;状态未知(UNKNOWN)则等待回查
事务状态回查
- Broker 端由定时任务扫描长期处于未知状态的半消息,向该消息所属的生产者组发起回查请求
- 生产者收到回查后,查询本地事务的实际执行结果(通常是本地事务表或业务表状态),返回提交或回滚
- 回查存在次数上限与超时判定(4.x 默认为最长 15 次、单次回查超时约 6 秒、扫描间隔约 60 秒),超过上限仍无法确定状态的消息会被丢弃并留下日志记录,需要人工介入核对
- 若生产者进程在本地事务执行期间退出,重启后必须能通过回查恢复结论,因此本地事务结果必须持久化,不能只存在于内存
幂等要求
- 回查可能对同一条消息重复发起,回查逻辑必须幂等,重复执行不改变结论
- 生产者正常路径与回查路径可能并发执行,两者对同一本地事务的判定必须一致
- 消费者侧仍可能重复收到已提交的事务消息,消费逻辑的幂等要求与普通消息相同
可靠性边界
事务消息解决的是“本地事务与消息发送的最终一致”,它不保证消息一定被消费,也不承担消费者侧事务的原子性,更不等价于分布式事务的强一致方案;与本地消息表、TCC、最大努力通知等方案的对照与通用落地时序参见 事务消息与最终一致性。实现中需要明确以下边界:
- 提交确认阶段生产者与 Broker 之间的网络异常由回查兜底,回查依赖本地事务结果的可查询性
- 消息提交成功后投递失败由消费侧重试与幂等兜底
- 消息被丢弃(回查次数耗尽或生产者长期不可用)属于需要人工核对的异常态,应将该情形纳入监控
2.6 延迟消息
延迟级别与精度
4.x 的延迟消息以内置的固定延迟级别实现,默认提供从 1 秒到 2 小时的 18 个级别,可通过 Broker 配置项自定义这组级别。其实现路径为:
- 延迟消息不直接写入目标 Topic,而是按延迟级别写入内部延迟主题
SCHEDULE_TOPIC_XXXX下对应的队列,队列序号与延迟级别一一对应 - Broker 内每个延迟级别对应一个定时任务,按队列位点顺序扫描该级别的消息
- 到达投递时间的消息被还原为真实 Topic 的消息,重新写入 CommitLog 的普通队列,此时才对消费者可见
由此带来的精度与行为特征:
- 延迟时间只能是预设级别之一,不能指定任意时间点;例如只提供 1 分钟与 2 分钟级别时,90 秒的延迟需求只能向上取到 2 分钟
- 投递时间由扫描任务的推进速度决定,同一级别下堆积大量消息时,到期与真正投递之间存在额外延迟,实际延迟大于配置值
- 同一级别共用一个内部队列,不同业务使用同一级别时会相互影响。不同精度要求的业务应通过自定义延迟级别规划来隔离,而不是共用默认级别
定时消息的演进与限制
5.x 引入定时消息能力,支持指定任意时间点投递,内部通过时间轮结构组织待投递消息,精度由时间轮的刻度决定(秒级)。相较 4.x 的固定级别,其改进在于:
- 不再受级别数量限制,可按业务需要的具体时间点投递
- 大量不同时间点的消息不再集中到有限的几个内部队列,抖动来源从“级别内堆积”变为“时间轮刻度与堆积规模”
使用限制仍然存在:定时消息的存储与调度仍占用 Broker 资源,超长时间跨度的定时消息会长期占用存储并进入延迟投递的内部队列;定时任务的可靠性依赖 Broker 自身可用性,因此不适合作为唯一的任务调度手段,涉及资金或强时效的场景应保留业务侧的对账与补偿。
2.7 高可用与容灾
主从切换
- 4.x 的主从模型下,Slave 是数据副本与读负载承接方,Master 故障时不会自动提升;生产者会通过重试把消息发往其他 Broker 上的队列,消费者则可以切换到 Slave 继续读取(需显式开启从节点读取)
- 自动切换有两种实现路径:4.x 的 DLedger 模式与 5.x 的 Controller 模式,二者都基于 Raft 选举产生新的 Master。差别在于 DLedger 模式把提交日志复制到 Raft 组内,写入需要多数派确认;Controller 模式由独立的控制器组件管理主从关系与切换决策,数据复制仍走原有主从通道
副本与数据一致性边界
| 组合 | 副本与确认 | 一致性边界 |
|---|---|---|
| 单 Master 无 Slave | 单副本 | 节点故障即该 Broker 上的队列不可读写,数据依赖其他 Broker 上的队列分担 |
| 主从 + 异步复制 | 异步推送 | Master 故障时存在复制延迟窗口内的数据丢失 |
| 主从 + 同步复制 | Slave 确认后返回 | 已确认消息不丢;Slave 不可用会阻塞写入,可用性下降 |
| DLedger 或 Controller 多副本 | Raft 多数派确认 | 少数节点故障可自动切换;写延迟随副本数上升 |
需要区分“进程崩溃”与“主机掉电”两类故障:同步刷盘能覆盖进程崩溃,但主机掉电时的行为取决于页缓存回写与磁盘缓存策略;同步复制能覆盖 Master 进程崩溃,但主从同时掉电仍可能丢失处于复制在途的数据。任何单一开关都不能覆盖全部故障形态,副本数、机房分布与刷盘策略需要组合评估。
Broker 故障时的可用性表现
- NameServer 从存活表中剔除失联 Broker 后,客户端在下一次路由刷新时不再使用该 Broker 的队列;此前的发送失败由客户端重试机制兜底
- 该 Broker 上队列的消费会停滞,直到该 Broker 恢复或(开启自动切换时)副本提升为新 Master;消费组内其他队列上的消费不受影响
- 若整个集群只有一个 Master 且无副本,则该 Broker 故障期间 Topic 无可用队列,生产与消费同时中断
- 主从切换与集群层面的通用机制(检测方式、仲裁、隔离与切换代价)参见 高可用与集群,本文只说明 RocketMQ 特有的角色与数据边界
2.8 消息过滤
过滤发生在 Broker 端,目的是减少网络传输与客户端处理量。RocketMQ 支持按 Tag 与按属性(SQL92 表达式)两种过滤方式。
Tag 过滤
- 生产者在发送消息时设置一个 Tag 字符串,Tag 随消息一起写入 CommitLog,其哈希值被写入 ConsumeQueue 索引条目
- 消费者订阅时给出表达式,如
tagA、tagA || tagB - Broker 先从 ConsumeQueue 读取 Tag 哈希值做粗筛,命中后再读取消息做精确匹配;由于哈希值已在索引条目中,未命中时不需要读取 CommitLog,因此过滤代价低
- 限制:一条消息只能有一个 Tag,Tag 不适合表达多维度的业务筛选条件
SQL92 属性过滤
- 生产者通过自定义属性(user properties)携带筛选维度,消费者用类 SQL 表达式订阅,如
region = 'cn-east' AND amount > 100 - 该方式在 Broker 端解析表达式并读取消息属性进行判断,需要 Broker 显式开启属性过滤开关;属性位于消息体结构中,判断过程需要读取消息内容,相比 Tag 粗筛的代价更高
- 限制:仅支持对属性做布尔与数值比较,属性类型为字符串,数值比较需要在表达式中显式做类型转换;属性名不可与系统属性重名;表达式的可读性提升以额外的 Broker 计算开销为代价
选择依据
- 只有一个筛选维度且取值有限时用 Tag,代价最低
- 需要多维度组合筛选时用属性过滤,但应控制订阅表达式的复杂度与匹配比例;当过滤后命中的消息占比很低时,Broker 仍需扫描全部消息,应改为在 Topic 层面拆分
- 过滤比例长期偏低说明 Topic 划分粒度与业务访问模式不匹配,应优先调整 Topic 与队列规划,而不是加大过滤表达式复杂度
三、实现
3.1 部署要点
NameServer 与 Broker 的角色划分与数量
| 组件 | 数量建议 | 资源需求 | 说明 |
|---|---|---|---|
| NameServer | 至少 2 台,生产建议 3 台 | 轻量,2 核 4GB 足够 | 无状态,可与 Broker 混部但建议独立部署,避免 Broker 磁盘写满影响路由服务 |
| Broker | 按可用性目标确定 | 存储与内存密集,磁盘为容量瓶颈 | 常用 2 主 2 从(同机房)或 2 主 2 从跨机房;要求自动切换时使用 DLedger 或 Controller 模式的多副本部署 |
Broker 的部署数量取决于队列分布与副本策略:每个 Topic 的队列会分配到各 Master 上,Master 越少单个 Master 承担的队列与写入量越大;副本数越多可靠性越高,但写入确认链路更长。
存储目录与磁盘选择
- 存储根目录与各子目录应显式配置,避免使用默认路径:CommitLog 目录、ConsumeQueue 目录、索引文件目录建议分布在不同的物理盘或不同分区上
- CommitLog 为顺序写大文件,适合容量大、顺序写性能好的盘;ConsumeQueue 与索引文件为大量小文件写入,对随机写与文件数量更敏感;两者混在同一块盘上会互相干扰
- 不建议将 CommitLog 放在网络存储(NFS 等)上:顺序写优势丧失,页缓存行为不可控,且故障时影响面扩大
- 磁盘按容量与水位规划:可写入容量以
diskMaxUsedSpaceRatio为上限,实际规划应预留清理线程追不上写入速度的余量
块设备层与 IO 调度器的选择参见 块设备层与 IO 调度器。
JVM 与内存
- 堆内存不宜过大:消息数据主要由操作系统页缓存承载,堆过大会带来更长的垃圾回收停顿,反而增加写入延迟抖动;运行环境默认堆大小通常已足够,按实例规格在中等区间内调整
- 初始堆与最大堆设为相同值,避免运行期扩容带来的停顿
- 只有在明确需要时再开启写缓冲区池(写操作先在堆外缓冲区完成后异步刷盘),该选项与同步刷盘组合时收益有限
- 关闭显式垃圾回收或让其让位于低延迟配置,回收器选择以停顿可控为准
刷盘与复制模式的组合选择
| 组合 | 写入延迟 | 已确认消息的可靠性 | 适用场景 |
|---|---|---|---|
| 异步刷盘 + 异步复制 | 最低 | 进程崩溃即可能丢失页缓存中未回写的数据 | 通知、日志转发等允许少量丢失的链路 |
| 同步刷盘 + 异步复制 | 中,受磁盘 fsync 能力限制 | 单机进程崩溃不丢,主从切换存在复制延迟窗口 | 可靠性要求高但可容忍切换丢少量数据的业务 |
| 异步刷盘 + 同步复制 | 中,受从节点确认速度限制 | 主从同时掉电仍可能丢失 | 需要副本顺序一致但不要求刷盘确认的场景 |
| 同步刷盘 + 同步复制 | 最高 | 主从任一方故障不影响已确认消息 | 资金、库存等核心交易链路 |
操作系统参数与文件句柄
RocketMQ 依赖内存映射文件读写存储,相关的操作系统参数需要按存储文件数量调整:
# 内存映射区域数量上限:CommitLog、ConsumeQueue、索引文件均以映射方式打开
# 默认值通常不足,需按存储文件总量上调
sysctl -w vm.max_map_count=655360
# 脏页回写水位:影响异步刷盘下的回写节奏与写入抖动
sysctl -w vm.dirty_background_ratio=10
sysctl -w vm.dirty_ratio=30
# 尽量不使用交换分区,避免页缓存被换出造成写入延迟抖动
sysctl -w vm.swappiness=1
# 文件句柄上限:需覆盖存储文件、客户端连接与内部文件总量
ulimit -n 655360
# 持久化到配置文件,重启后保持
cat >> /etc/sysctl.d/90-rocketmq.conf <<'EOF'
vm.max_map_count=655360
vm.dirty_background_ratio=10
vm.dirty_ratio=30
vm.swappiness=1
EOF
sysctl --system
存储所在文件系统的挂载选项应关闭访问时间更新(noatime),避免读取操作产生额外写放大;SSD 上的 IO 调度器通常选择无调度或简单的队列调度。
Broker 配置示例
# /opt/rocketmq/conf/broker-a.conf
brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
brokerRole = SYNC_MASTER
flushDiskType = SYNC_FLUSH
namesrvAddr = 10.0.0.11:9876;10.0.0.12:9876;10.0.0.13:9876
# 存储目录分离
storePathRootDir = /data1/rocketmq/store
storePathCommitLog = /data1/rocketmq/store/commitlog
storePathConsumeQueue = /data2/rocketmq/store/consumequeue
storePathIndex = /data2/rocketmq/store/index
# 文件保留与磁盘水位
deleteWhen = 04
fileReservedTime = 72
diskMaxUsedSpaceRatio = 75
# 单段文件大小与消息大小上限
mapedFileSizeCommitLog = 1073741824
maxMessageSize = 4194304
# 关闭自动创建,避免主题与订阅关系被客户端误创建
autoCreateTopicEnable = false
autoCreateSubscriptionGroup = false
# 开启属性过滤(按需)
enablePropertyFilter = true
关闭自动创建后,新增 Topic 与消费者组必须显式通过管理工具创建,否则发送或订阅会因找不到主题与订阅关系而失败。这是生产环境应当保持的状态,代价是发布流程中需增加创建步骤。
集群规划示例
以峰值写入与保留时间估算容量后,可按以下形态规划一套中等规模集群:
- NameServer 3 台,独立部署于 2 核 4GB 的轻量节点
- Broker 2 主 2 从,Master 与 Slave 分置于 4 台 16 核 64GB 的存储型节点,每台配置独立的数据盘用于 CommitLog,另一块盘用于 ConsumeQueue 与索引
- 主从关系按同机房配对的异步复制起步,核心交易 Topic 的核心链路使用同步刷盘
- 需要自动切换的集群使用 3 副本的 DLedger 或 Controller 模式,此时写入延迟上升,需以压测结果校准队列数与实例数
3.2 主题与队列规划
队列数与并行度
- 队列数是消费并行的物理上限:同一消费者组内,实例数超过该 Topic 的队列数时,多余实例分配不到队列而空转
- 队列数同时决定生产的并行分散度:队列越多,单个队列的写入压力越小,但 Broker 需要维护的 ConsumeQueue 与索引文件数量成比例上升
- 估算方式为“目标峰值写入量 ÷ 单队列可承受写入量”,再向上取整到便于均分的数量;单队列可承受写入量随刷盘与复制策略变化明显,需以实际压测结果为准
- 涉及顺序消费的 Topic 需按业务键的分布规划队列数,并预留增长空间,避免运行期扩容破坏键与队列的映射关系
读写队列
Topic 的读队列数与写队列数可以分别设置(管理命令中对应 -r 与 -w)。二者不一致主要用于缩容:先把读队列数调小,使消费者不再从被裁撤的队列消费,待其消息消费完毕后再调小写队列数。若反过来先收缩写队列,被裁撤队列上的存量消息仍会被消费,但在途消息的处理顺序与位点可能错乱。
命名规范
- 系统主题与系统消费者组由 Broker 内部使用,命名以固定前缀标识,业务不得占用:
%RETRY%、%DLQ%前缀的主题由重试与死信机制创建,RMQ_SYS_前缀为主题与轨迹相关的系统资源 - 业务主题建议按“业务域_模块_用途”组织,并在元数据中记录负责人与保留要求;消费者组名应体现应用名与用途,因为重试与死信资源的名称由组名派生,组名混乱会直接反映为运维侧的资源混乱
消息保留时间与磁盘容量估算
容量估算按下式进行,其中冗余系数用于覆盖 ConsumeQueue、索引文件与文件分段余量:
所需磁盘容量 = 平均消息大小 × 日消息量 × 保留天数 × 副本数 × 冗余系数
以日均 5000 万条、平均消息 1KB、保留 3 天、2 副本、冗余系数 1.3 为例,CommitLog 数据量约为 5000 万 × 1KB ≈ 50GB/天,3 天约 150GB,乘副本数与冗余系数后约 390GB,单节点数据盘规划应在 500GB 以上并保留水位余量。估算结果需与清理策略对齐:保留时间过短会在消费者落后时造成消息被提前删除,过长则推高容量成本,取值应以最慢消费者的最大积压时长加上处置时间为下限。
3.3 客户端使用
生产端发送方式与选择依据
| 发送方式 | 结果反馈 | 吞吐 | 适用场景 |
|---|---|---|---|
| 同步发送 | 返回发送结果,可判断成功与失败 | 最低 | 核心业务消息,失败需要立即重试或告警 |
| 异步发送 | 通过回调返回结果,发送线程不阻塞 | 高 | 高并发且可接受回调处理结果的场景 |
| 单向发送 | 不返回结果,不保证送达 | 最高 | 日志、埋点等允许丢失的数据 |
异步发送需注意回调执行的线程资源:回调中不应执行阻塞操作,且需对失败结果进行记录与重试,否则异步模式会退化为“发送但不知结果”。单向发送不返回结果,不能用于需要确认送达的业务。
消费端并发与批量参数
| 参数 | 作用 | 取值方向 |
|---|---|---|
| 消费线程数下限与上限 | 并发消费的线程池规模 | 不超过该 Topic 的队列数,超出部分无实际并行收益 |
| 单次拉取条数 | 一次向 Broker 拉取的消息条数 | 业务处理耗时短时可调大,减少拉取次数 |
| 批量消费条数 | 一次回调交给业务的消息条数 | 调大需业务能处理批次内的失败与部分成功 |
| 并发消费位点跨度 | 限制位点提交的最大跨度 | 跨度过大时位点推进快于处理进度,异常退出会重复较多消息 |
| 消费超时 | 单条消息处理超时判定 | 需大于业务最慢处理耗时,避免正常慢请求被判为超时并触发重投 |
Spring 生态接入示例
rocketmq:
name-server: 10.0.0.11:9876;10.0.0.12:9876;10.0.0.13:9876
producer:
group: order-producer-group
send-message-timeout: 3000
retry-times-when-send-failed: 2
retry-times-when-send-async-failed: 2
consumer:
group: order-consumer-group
consume-thread-min: 20
consume-thread-max: 64
pull-batch-size: 32
import org.apache.rocketmq.spring.annotation.ConsumeMode;
import org.apache.rocketmq.spring.annotation.RocketMQMessageListener;
import org.apache.rocketmq.spring.annotation.MessageModel;
import org.apache.rocketmq.spring.core.RocketMQListener;
import org.springframework.stereotype.Component;
// 并发消费:同一队列的消息可能被多线程处理,业务需保证幂等
@Component
@RocketMQMessageListener(
topic = "order_status_change",
consumerGroup = "order-consumer-group",
selectorExpression = "PAID || SHIPPED",
messageModel = MessageModel.CLUSTERING,
consumeMode = ConsumeMode.CONCURRENTLY)
public class OrderStatusConsumer implements RocketMQListener<String> {
@Override
public void onMessage(String body) {
// 以业务唯一键做幂等判断与处理,重复投递直接返回
handleIdempotently(body);
}
}
顺序消息的代码结构要点
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.MessageQueueSelector;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageQueue;
// 生产端:按业务键选择队列,保证同一订单的消息进入同一队列
SendResult result = producer.send(message, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> queues, Message msg, Object arg) {
String orderId = (String) arg;
int index = Math.abs(orderId.hashCode()) % queues.size();
return queues.get(index);
}
}, orderId);
import org.apache.rocketmq.spring.annotation.ConsumeMode;
import org.apache.rocketmq.spring.annotation.RocketMQMessageListener;
import org.apache.rocketmq.spring.core.RocketMQListener;
import org.springframework.stereotype.Component;
// 消费端:顺序消费监听器,同一队列单线程处理
@Component
@RocketMQMessageListener(
topic = "order_status_change",
consumerGroup = "order-ordered-group",
consumeMode = ConsumeMode.ORDERLY)
public class OrderOrderedConsumer implements RocketMQListener<String> {
@Override
public void onMessage(String body) {
// 处理失败时抛出异常会挂起当前队列并重试同一条消息
// 需在上层限制重试次数并对持续失败的消息告警,避免队列长期停滞
process(body);
}
}
顺序消息的两侧配置必须成对:生产端按业务键选择队列,消费端使用顺序消费模式。仅配置其中一侧无法获得顺序保证。
事务消息的代码结构要点
import org.apache.rocketmq.client.producer.TransactionListener;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.client.producer.LocalTransactionState;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageExt;
// 生产端:发送半消息并执行本地事务
TransactionMQProducer producer = new TransactionMQProducer("order-tx-producer-group");
producer.setNamesrvAddr("10.0.0.11:9876");
producer.setTransactionListener(new TransactionListener() {
// 执行本地事务,返回提交、回滚或状态未知
@Override
public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
try {
// 本地事务与事务日志在同一数据库事务中提交,便于后续回查
executeLocalTransactionWithLog(msg, arg);
return LocalTransactionState.COMMIT_MESSAGE;
} catch (Exception e) {
return LocalTransactionState.UNKNOW;
}
}
// 事务状态回查:必须幂等,重复回查返回一致结论
@Override
public LocalTransactionState checkLocalTransaction(MessageExt msg) {
Boolean committed = queryLocalTransactionResult(msg.getTransactionId());
if (committed == null) {
return LocalTransactionState.UNKNOW;
}
return committed ? LocalTransactionState.COMMIT_MESSAGE
: LocalTransactionState.ROLLBACK_MESSAGE;
}
});
producer.start();
Message message = new Message("order_created", "PAID", orderId.getBytes());
producer.sendMessageInTransaction(message, orderId);
事务消息代码的三处关键点:本地事务结果必须落库以便回查;回查逻辑必须幂等;返回未知状态是正常路径而非异常,需要有回查兜底与超限后的告警。
3.4 常用运维命令
RocketMQ 的管理工具为 mqadmin,通过 -n 指定 NameServer 地址列表。
集群与主题管理
# 查看集群拓扑与主从关系,含主从同步偏移差值
sh mqadmin clusterList -n 10.0.0.11:9876
# 查看全部主题
sh mqadmin topicList -n 10.0.0.11:9876
# 查看主题的队列分布与所在 Broker
sh mqadmin topicRoute -n 10.0.0.11:9876 -t order_status_change
# 查看主题各队列的位点与堆积
sh mqadmin topicStatus -n 10.0.0.11:9876 -t order_status_change
# 创建主题:8 个读队列、8 个写队列
sh mqadmin updateTopic -n 10.0.0.11:9876 -c DefaultCluster \
-t order_status_change -r 8 -w 8
# 调整队列数(缩容时先减读队列,待存量消费完再减写队列)
sh mqadmin updateTopic -n 10.0.0.11:9876 -c DefaultCluster \
-t order_status_change -r 4 -w 8
高危 删除主题会同时删除该主题的所有队列、消费位点与索引,未消费的消息一并消失,且操作不可撤销。执行前必须确认该主题无在线生产与消费、位点已核对完毕、消息可接受丢失或已备份。兜底与回滚方式:操作前导出主题路由与队列配置(topicRoute、topicStatus 的输出存档),停止相关生产端与消费端;删除后若仍需该主题,用完全相同的名称与队列数重建(updateTopic),并核对重建后的队列数与原配置一致;若业务不允许丢失数据,应先新建主题并双写切换流量,确认新链路正常后再下线旧主题,而不是直接删除。
# 删除主题(仅在确认无业务使用且数据可丢失时执行)
sh mqadmin deleteTopic -n 10.0.0.11:9876 -c DefaultCluster -t order_status_change
消费进度查询与重置
# 查看消费者组的位点与堆积情况,-s 附带各队列的统计
sh mqadmin consumerProgress -n 10.0.0.11:9876 -g order-consumer-group -s
# 查看某个 Topic 在各消费者组上的订阅与堆积
sh mqadmin statsAll -n 10.0.0.11:9876 -t order_status_change
# 查看订阅关系
sh mqadmin consumerStatus -n 10.0.0.11:9876 -g order-consumer-group -s
高危 重置消费位点会改变消息的投递起点:位点前移会跳过消息(相当于丢弃),位点回退会导致大量消息重复投递并冲击下游。执行前必须确认消费逻辑具备幂等能力,评估回退区间内的消息量与下游承载能力,并在业务低峰期执行。兜底与回滚方式:操作前记录当前位点(保存 consumerProgress -s 的输出,包含各队列的当前位点与最大位点);误前移导致消息被跳过后无法通过位点恢复,只能用显式回退位点重放(可能造成大量重复),或从其他副本与备份中找回;误回退造成重复时,依靠消费端幂等收敛并通过 consumerProgress 观察堆积回落;确认异常时立即按记录的原始位点重新执行一次重置命令恢复原状。
# 按时间点重置位点:将位点回退或前移到指定时间
sh mqadmin resetOffsetByTime -n 10.0.0.11:9876 \
-g order-consumer-group -t order_status_change \
-s 1760000000000 -f false
# 仅重置到最新位点(跳过全部积压,风险高)
sh mqadmin resetOffsetByTime -n 10.0.0.11:9876 \
-g order-consumer-group -t order_status_change -s now
消息查询与轨迹
# 按消息 ID 查询,可定位到具体消息内容与所在队列
sh mqadmin queryMsgById -n 10.0.0.11:9876 -i 7F0000010B1A00000000A1B2C3D4E5F6
# 按业务唯一键查询,需指定 Topic 与时间区间
sh mqadmin queryMsgByKey -n 10.0.0.11:9876 \
-t order_status_change -k ORDER20260922001
# 按时间区间批量查看消息
sh mqadmin printMsg -n 10.0.0.11:9876 -t order_status_change \
-s "2026-09-22 10:00:00" -e "2026-09-22 10:30:00"
# 消息轨迹:Broker 需开启 traceTopicEnable
sh mqadmin queryMsgTraceById -n 10.0.0.11:9876 -i 7F0000010B1A00000000A1B2C3D4E5F6
sh mqadmin queryMsgTraceByTopicAndKey -n 10.0.0.11:9876 \
-t order_status_change -k ORDER20260922001
Broker 状态检查
# 查看 Broker 运行时状态:写入 TPS、刷盘耗时、页缓存与线程池队列水位
sh mqadmin brokerStatus -n 10.0.0.11:9876 -b 10.0.0.11:10911
# 查看 Broker 存储与运行配置
sh mqadmin getBrokerConfig -n 10.0.0.11:9876 -b 10.0.0.11:10911
# 查看指定 Broker 上的主题与队列
sh mqadmin topicStatus -n 10.0.0.11:9876 -t order_status_change
3.5 监控与告警
Broker 指标
| 指标类别 | 关注内容 | 判读要点 |
|---|---|---|
| 写入 | 写入 TPS、写入平均耗时与最大耗时 | 最大耗时突增通常对应用户侧发送超时,需同时核对刷盘与复制耗时 |
| 刷盘 | 刷盘耗时、刷盘队列积压 | 同步刷盘模式下刷盘耗时即写入延迟的主要来源 |
| 复制 | 主从偏移差值、复制发送失败次数 | 差值持续扩大说明从节点落后,切换时丢失窗口随之扩大 |
| 存储 | CommitLog 目录容量、磁盘使用率、文件清理频率 | 使用率接近水位上限后将触发拒写,是最高优先级的容量告警 |
| 线程池 | 发送线程池队列长度、消费拉取线程池队列长度 | 队列持续非空说明处理能力不足,继续增长会触发拒绝 |
| 内存与页缓存 | 堆使用、页缓存使用、脏页比例 | 页缓存不足会使顺序写退化为频繁回写,写入延迟上升 |
客户端指标
| 指标类别 | 关注内容 | 判读要点 |
|---|---|---|
| 生产 | 发送成功数、失败数、发送耗时分布 | 失败率与耗时上限共同反映发送链路健康度 |
| 消费 | 消费 TPS、消费耗时、消费失败数 | 失败数上升会直接推高重试主题堆积 |
| 堆积 | 各队列位点差值、按时间折算的积压时长 | 位点差值应同时看总量与最大值,单队列异常更能暴露个别消费者问题 |
| 重试与死信 | 重试主题与死信主题的消息量 | 死信消息量大于 0 即代表消息在重试耗尽后仍未处理成功 |
堆积与延迟告警
堆积告警不能只看瞬时值。写入高峰造成的堆积会在高峰后自行回落,而消费能力不足造成的堆积会持续增长,二者的处置方式完全不同。因此告警条件应包括:位点差值超过阈值且持续一段时间、位点差值在窗口内持续增长、以及按位点差值与消费 TPS 折算的积压时长超过业务可接受上限。
主从同步状态
主从偏移差值是判断副本可用性的核心指标:差值为 0 表示完全同步,差值持续非零且增长表示从节点落后。同步复制模式下该指标直接影响写入延迟;异步复制模式下该指标决定切换时的数据丢失窗口。该指标应在主从切换演练前作为前置检查项。
磁盘水位
磁盘使用率需要按内部水位配置(diskMaxUsedSpaceRatio)设置分级阈值:接近水位时预警,超过水位前必须处置,因为越过水位后 Broker 会拒绝写入并触发客户端发送失败。除总使用率外,还应观察 CommitLog 段文件的新增速度,用于判断容量耗尽的时间点。
告警设计
指标的阈值与持续时间取值方法、告警规则结构、抑制与静默用法、通知路由与分级方式参见 监控与告警,本文不重复其细节。在消息中间件场景中需额外明确三点:
- 磁盘水位与拒写告警的优先级应高于堆积告警:拒写会同时影响生产与消费,属于服务级故障;堆积仅影响消费进度
- 应配置抑制关系:Broker 不可用告警触发时,抑制由该 Broker 承载的消费组堆积告警,避免根因被大量派生告警淹没
- 死信消息与事务回查超限属于离散事件而非持续状态,其告警的持续时间应设为 0,确保事件发生即通知
3.6 故障排查
通用处置顺序
排查按“先确认影响面、再定位层次、最后处置”的顺序进行,避免在原因未明时执行重置位点、重启 Broker 等有副作用的操作:
- 确认现象范围:是全链路不可用,还是个别 Topic、个别消费者组、个别 Broker
- 确认时间线:现象开始时间与当时的变更(发布、扩容、配置调整、磁盘剩余变化)对应关系
- 区分生产侧与消费侧:发送失败属于写入链路,堆积属于消费链路,两者同时异常通常指向 Broker 整体
- 保护证据:保留 Broker 日志、客户端日志与相关指标曲线,再执行处置
消息发送超时
- 核对客户端侧的发送结果状态与耗时分布,判断超时发生在连接建立、写入等待还是响应等待
- 检查 NameServer 地址配置与可达性,确认路由能正常刷新
- 检查 Broker 日志中的拒绝类异常与线程池队列长度,判断是否为线程池打满导致拒绝
- 检查刷盘耗时与复制耗时,同步刷盘或同步复制模式下这两项直接决定写入等待上限
- 检查磁盘 IO 饱和度与脏页比例,写入抖动常常来自页缓存回写压力
# 客户端与 Broker 网络连通性
telnet 10.0.0.11 10911
# Broker 日志中的发送与刷盘异常
grep -Ei "RemotingTooMuchRequest|flush|disk|reject" \
/root/logs/rocketmqlogs/broker.log | tail -n 100
# 磁盘 IO 与队列深度
iostat -x 1 5
消费堆积
- 用消费进度命令确认堆积总量、最大单队列堆积与各队列的位点差值,判断是全部队列堆积还是个别队列
- 查看消费者组的消费 TPS 与消费耗时,区分“拉不到消息”与“处理不过来”
- 检查重试主题的消息量:若重试主题同步上涨,说明堆积由消费失败引起,应先处理业务异常而不是扩容
- 需要扩容时,先确认消费者实例数小于该 Topic 的队列数,队列数不足时扩容实例无效,需同步调整队列数
- 临时处置可通过提高并发线程数或优化处理逻辑中的阻塞调用,但要注意并发提升会放大下游压力
重试队列积压
重试主题堆积的根因是业务处理持续失败。排查路径为:按消息键或时间区间查询重试主题中的消息内容,确认失败的业务类型与错误码,先修复业务逻辑,再观察重试主题是否回落。重试延迟随次数递增,因此短期不回落属于预期;但若持续增长,说明新产生的失败消息多于重试成功的消息,需要在下游恢复前评估是否降级或限流。
主从不同步
- 用
clusterList查看主从偏移差值及其变化趋势 - 检查主从之间的网络带宽与延迟,大消息量下复制通道可能被业务网络挤占
- 检查从节点磁盘 IO 与磁盘剩余空间,从节点写入受限会直接反映为偏移差值扩大
- 检查同步复制模式下的写入延迟,若主节点因等待从节点确认而变慢,需要在可用性与延迟之间重新取舍
- 处理完成前不得执行切换操作,否则会扩大数据丢失窗口
高危 主从切换(手工停止 Master 以促使 Slave 接管、在 DLedger 或 Controller 模式下强制更换 Leader)会使该 Broker 上的队列在切换窗口内不可写,且切换时未同步到副本的数据将永久丢失,属于影响线上写入的操作。执行前必须确认:主从偏移差值、切换窗口内可接受的丢失量、生产端已具备向其他 Broker 队列漂移的能力、切换期间下游业务可接受写入延迟上升。兜底与回滚方式:操作前记录主从偏移差值与队列位点,导出 Broker 配置;窗口选择在业务低峰并提前通知业务方;切换后立即核对新 Master 的角色、副本偏移差值与生产端发送成功率,异常时按原配置回退角色并重启 Broker,或先摘除写入流量再由副本恢复;对 4.x 主从模式下不存在自动提升的部署,不得通过修改 brokerId 的方式强行提升副本,应改用其他 Broker 上的队列承接写入并等待原节点恢复。
磁盘写满
磁盘写满会直接导致 Broker 拒写。处置顺序为:立即确认剩余空间与水位设置,检查文件清理是否正常执行,排查异常写入来源(如某 Topic 写入量突增、消息体变大、索引文件膨胀)。
# 查看 CommitLog 与消费索引的目录占用
du -sh /data1/rocketmq/store/commitlog
du -sh /data2/rocketmq/store/consumequeue
du -sh /data2/rocketmq/store/index
# 查看文件清理相关日志
grep -Ei "clean|delete.*file|disk" /root/logs/rocketmqlogs/broker.log | tail -n 50
高危 直接删除 CommitLog 文件或以清空目录的方式释放空间,会破坏物理偏移与 ConsumeQueue、索引文件之间的对应关系,造成消费位点错乱、消息查询失效,甚至 Broker 启动失败。兜底与回滚方式:优先通过调低保留时间并等待清理线程自动回收(清理以整段文件为单位,是唯一安全的回收路径);空间已不足以支撑清理时,先停止生产端写入、暂停非核心 Topic 的写入,再按最旧的段文件顺序由清理机制回收;确需手工处置时,必须停止 Broker 后整体清理数据目录并重建(相当于清空存储),且需确认该 Broker 上的消息可由其他副本恢复,重建后核对主题队列与位点。任何情况下都应保留至少一份完整数据(其他副本或备份),并在操作前备份 Broker 配置文件。
事务消息长期未决
半消息长期处于未决状态通常有两个原因:生产者实例已下线导致回查无响应,或本地事务结果无法查询导致回查始终返回未知。排查步骤为:按事务 ID 查询 Broker 侧半消息状态与回查次数,核对生产者组的实例存活情况与回查日志,检查本地事务结果表的写入是否与消息发送在同一事务内。回查次数耗尽后消息会被丢弃,因此处置需要在超限前完成;确认本地事务已提交但消息被丢弃时,应通过业务补偿重发消息,而不是依赖原始事务消息恢复。
3.7 与 Kafka 和 RabbitMQ 的对照
| 维度 | RocketMQ | Kafka | RabbitMQ |
|---|---|---|---|
| 数据模型 | Topic 下分队列,队列对应 CommitLog 上的一段顺序日志与索引 | Topic 下分分区,分区为顺序追加日志 | Exchange 按绑定规则路由到队列,队列为独立存储单元 |
| 路由能力 | 队列选择由客户端算法决定,Broker 不做规则路由 | 分区选择由客户端决定 | Broker 侧按路由键与绑定规则路由,支持通配匹配 |
| 顺序保证 | 分区顺序为默认能力,全局顺序需单队列 | 单分区有序,全局有序需分区数为 1 | 单队列加单活跃消费者可实现有序 |
| 事务消息 | 原生半消息加状态回查,解决本地事务与发送的一致性 | 提供事务 API,需配置事务标识并依赖消费端位点提交 | AMQP 事务性能差,实际使用发布确认加手动确认替代 |
| 延迟消息 | 4.x 为固定延迟级别,5.x 支持任意时间点的定时消息 | 不原生支持,需借助外部调度或自建延时主题 | 依赖延迟插件或过期时间加死信队列组合实现 |
| 消息查询 | 内置按消息 ID 与业务键查询、按时间区间查看、消费轨迹 | 按位点与时间戳定位,按业务键查询需外部索引 | 无内置查询能力,依赖管理界面查看队列 |
| 消费模型 | 集群消费与广播消费,推模式封装长轮询,位点可重置 | 消费者组按分区分配,位点由客户端提交并可重置 | 推送消费为主,手动确认,预取数量控制流量 |
| 重试与死信 | 内置重试主题与死信主题,重试延迟按次数递增 | 无内置重试主题与死信队列,需自行实现 | 无内置重试队列,通过拒绝并重回队列或死信交换机实现 |
| 高可用 | NameServer 无状态加 Broker 主从,可选 DLedger 或 Controller 自动切换 | 分区多副本加领导者选举,依赖元数据组件或内部仲裁 | Erlang 集群加镜像队列或仲裁队列,基于 Raft |
| 运维复杂度 | 元数据层简单,存储与消费语义丰富,需理解刷盘与复制组合 | 依赖元数据组件与分区规划,分区再均衡与 ISR 行为需掌握 | 依赖 Erlang 运行时,队列类型与镜像策略选择较多 |
RabbitMQ 的模型细节、确认机制与集群形态参见 RabbitMQ 与 rabbitmq理论与实践手册,Kafka 侧的日志型模型、分区副本与事务机制参见 Kafka,跨产品的选型维度对照参见 消息中间件运维与治理。选型的一般判断是:以业务消息为主、需要事务消息与延迟消息、希望减少元数据组件依赖时倾向 RocketMQ;以高吞吐数据管道为主、生态集成要求高时倾向 Kafka;以复杂路由与多协议互通为主时倾向 RabbitMQ。
四、总结
- RocketMQ 的设计取向源自交易类场景:低延迟、消息可查询与可回溯、事务消息与顺序消息原生支持、刷盘与复制作为独立可选项;与面向日志与事件流的 Kafka 形成分工而非替代关系
- NameServer 无状态且彼此不通信,路由一致性依赖 Broker 向全部 NameServer 重复上报;NameServer 短时不可用不影响已有连接,但新路由无法获取
- 存储以 CommitLog 顺序追加为主干,ConsumeQueue 以 20 字节定长条目提供消费索引,索引文件支持按业务键查询;消息 ID 中的物理偏移信息使按 ID 查询可直接定位
- 刷盘(同步与异步)与复制(同步与异步)两个开关正交组合出四档可靠性,任何单一开关都不能覆盖进程崩溃与主机掉电两类故障
- 文件清理同时受保留时间与磁盘水位约束,保留窗口必须长于最慢消费者的积压时长,否则未消费消息会被提前删除
- 集群消费与广播消费的差异集中在位点归属与副本关系;消费失败进入组级重试主题并按次数递增延迟,重试耗尽后转入死信主题,死信消息量是可靠性的直接指标
- 顺序消息需要路由、发送、消费三个条件同时满足;并发消费、Rebalance、失败跳过与队列扩容都会破坏顺序,涉及顺序的 Topic 应在创建时预留队列数
- 事务消息通过半消息与状态回查实现本地事务与消息发送的最终一致,回查必须幂等、本地事务结果必须可查询;回查超限后的消息丢弃属需人工核对的异常态
- 延迟消息在 4.x 为固定级别并依赖内部扫描任务,精度受级别限制与级别内堆积影响;5.x 的定时消息支持任意时间点,但存储占用与调度依赖仍然存在
- 高可用形态从主从副本到 DLedger 或 Controller 自动切换逐级增强,写延迟随之上升;切换前必须记录主从偏移差值,同步复制模式下从节点异常会直接拖慢写入
- 部署的关键取舍集中在存储目录分离、堆内存不宜过大、句柄与内存映射参数足量、刷盘与复制组合按业务可靠性要求选择,以及关闭主题与订阅关系的自动创建
- 主题与队列规划的核心是队列数决定并行上限,涉及顺序业务不得运行期扩容;容量按消息大小、日消息量、保留天数与副本数估算并预留水位余量
- 生产端按可靠性要求选择同步、异步或单向发送,异步发送必须处理回调结果;顺序与事务消息的生产端与消费端配置必须成对,事务回查逻辑需幂等
- 运维围绕
mqadmin展开:集群与主题管理、消费进度查询与位点重置、消息与轨迹查询、Broker 状态检查;删除主题、重置位点、清空存储与主从切换属高危操作,执行前须确认影响范围并准备回滚路径 - 监控以写入耗时、刷盘与复制耗时、主从偏移差值、磁盘水位、线程池队列、消费位点差值与死信量为核心;磁盘水位与拒写告警优先级最高,并需为 Broker 不可用配置对堆积告警的抑制
- 故障排查遵循先确认影响面、再区分生产与消费链路、最后处置的顺序,处置前保留日志与指标证据;磁盘写满与事务消息未决的处置必须在保留数据完整性的前提下进行