一、起源
消息中间件把一次同步调用拆成"发送消息"与"消费消息"两段独立过程,两段之间存在网络、进程与磁盘三个可能失效的环节。可靠性问题的全部来源,都可以归入"消息在某一环节消失"与"同一消息被处理多次"这两类现象。
1.1 消息丢失的三种场景
生产端未落地
生产者调用发送接口并正常返回,并不意味着消息已被服务端接收。以下情况都会造成消息实际未到达:
- 数据写入本地发送缓冲区后,客户端进程退出或网络中断,缓冲区内容未送达服务端;
- 服务端进程存活但目标交换机不存在、绑定关系缺失或路由不到任何队列,消息在服务端被静默丢弃;
- 服务端接收了消息,但在写入磁盘前宕机,消息只存在于已丢失的内存中。
发送接口的返回值只反映本地调用结果,不反映服务端状态。生产端可靠性的起点是承认这一点。
服务端存储失效
消息到达服务端后仍需跨过存储环节:
- 持久化配置不完整,例如队列声明为持久化但消息本身按非持久模式投递,重启后消息消失;
- 消息写入页缓存即被确认,未刷盘时主机断电,页缓存内容丢失;
- 集群中主副本异步复制,主副本故障后从落后副本提升,已确认但未同步的消息发生回退。
消费端处理失败或确认丢失
消费端的问题分为两种表现:
- 业务处理抛出异常或进程被终止,而确认已在处理完成前发出,服务端删除消息,业务实际未完成;
- 业务处理已经成功,确认信号在返回途中丢失,服务端判定消息未处理并重新投递,形成重复。
1.2 重复为什么不可避免
消息投递语义可分为三类:
| 语义 | 行为 | 代价 |
|---|---|---|
| 至多一次(at-most-once) | 消息投递后即视为完成,不重试 | 允许丢失,不产生重复 |
| 至少一次(at-least-once) | 未收到确认即重投,直至确认 | 不丢失,允许重复 |
| 恰好一次(exactly-once) | 不丢失且不重复 | 需要发送端与接收端共享事务状态 |
"恰好一次"要成立,必须让"业务处理"与"确认信号"以及"消费位点推进"处于同一原子边界内。跨进程、跨网络的场景下,服务端无法确认消费端的业务是否真正完成,只能通过"收到确认"这一外部信号推断。确认信号一旦丢失,服务端只有两种选择:重投(产生重复)或丢弃(产生丢失)。
因此生产系统的现实选择是至少一次投递叠加消费端幂等,用幂等把重复的影响收敛为零。重复是设计前提,不是异常。
二、原理
2.1 可靠性的三个环节与各自的失败点
| 环节 | 目标 | 主要失败点 | 对应手段 |
|---|---|---|---|
| 生产 | 消息确实进入服务端并完成持久化 | 网络中断、路由失败、未刷盘、确认丢失 | 确认机制、重试、失败留痕、本地消息表或事务消息 |
| 存储 | 服务端重启或节点故障后消息仍可读 | 持久化未开启、刷盘策略过松、副本落后 | 队列与消息持久化、刷盘策略、同步复制副本、仲裁队列 |
| 消费 | 业务处理完成与确认在语义上对齐 | 提前确认、确认丢失、处理超时、重投 | 手动确认、确认时机后移、重试与死信、消费幂等 |
三个环节中,任何一环单独做足都无法覆盖其余环节。生产端确认不等于消费端处理成功,持久化不等于副本已同步。核对可靠性时必须逐环节确认,而不是只在生产端开启确认就算完成。
协议层如何承载确认、持久化与拒绝语义,参见 AMQP 协议完整详解 第五章;具体产品中的确认模式与死信配置参见 RabbitMQ 理论与实践手册 第二部分与 RabbitMQ 第六章。各产品在可靠性与投递语义上的能力差异与选型维度参见 消息中间件选型对比。
2.2 生产端:确认机制与同步等待的权衡
确认机制的作用是把"服务端是否接收并持久化"这一信息回传给生产端。按等待方式分为两类:
同步等待
发送后阻塞,直到收到该条消息的确认再发送下一条。
- 优点:单条消息的发送结果明确,异常可在当前调用栈内处理;
- 缺点:单条消息的往返时延叠加为总时延,吞吐量受往返时延上限约束;
- 适用:消息量小、对发送结果要求即时可知的场景。
异步回调
发送后立即返回,确认到达时由回调线程处理结果。
- 优点:不阻塞业务线程,吞吐量由服务端处理能力决定;
- 缺点:确认与业务上下文脱离,失败消息需要额外的重试通道与状态存储;
- 适用:高吞吐场景,需配合失败消息落库与定时重投。
批量发送的副作用
批量可以显著提高吞吐,但会改变故障的粒度与结果:
- 批量确认只说明整批中部分消息被接收,失败时无法从确认信息定位具体是哪一条;
- 批量重试会把整批中已成功的消息再次发送,直接制造重复;
- 批量发送与顺序语义冲突,同批次内多条消息可能被并发处理。
因此批量发送必须与幂等设计同时启用,且重试应下沉到单条粒度。
重试的副作用
重试本身会放大流量。当服务端因积压而响应变慢时,无上限的重试会让积压进一步恶化,形成正反馈。重试必须带次数上限、退避间隔与失败终态。
当"写入本地数据库"和"发送消息"必须同时成功或同时失败时,仅靠发送端重试无法保证一致,需要引入本地消息表或事务消息,这部分机制单独展开,参见 消息一致性:事务消息与最终一致性 第二章。
2.3 存储端:持久化、刷盘与副本
持久化对象
以持久化存储消息的系统为例,需要同时满足多个条件才构成真正的持久化,缺少任一项都会在重启后出现消息消失。以 AMQP 模型为例,队列声明、交换机声明与消息投递模式三者需同时为持久化,配置方法参见 AMQP 协议完整详解 第五章第五节。
刷盘策略
持久化的时点由刷盘策略决定:
| 策略 | 行为 | 数据损失边界 | 吞吐影响 |
|---|---|---|---|
| 每条消息刷盘 | 单条消息写入后立即落盘再确认 | 已确认消息不丢 | 吞吐受磁盘同步写限制 |
| 定时批量刷盘 | 按周期或按批大小落盘 | 崩溃时可丢失最近一个周期内已确认的消息 | 吞吐高,损失窗口与刷盘周期相关 |
| 依赖操作系统回写 | 只写页缓存,由内核决定回写时机 | 断电时损失窗口不可控 | 吞吐最高,可靠性最低 |
选择刷盘策略的本质是确定"可接受的数据损失窗口"。窗口为 0 只能选每条刷盘,窗口为秒级可选定时刷盘。
副本与同步复制的代价
副本解决单节点故障,但复制方式决定了故障转移时的数据边界:
- 异步复制:主副本确认后即返回,从副本异步追平。主副本故障时,未同步部分丢失,可靠性取决于复制延迟;
- 同步复制:主副本等待至少一个从副本确认接收后才返回。已确认的消息在故障转移后不丢,代价是每次写入都增加一个副本往返,写延迟上升,且可用性受从副本影响(从副本不可用时需降级为异步或阻塞);
- 多数派共识复制:日志需被多数节点确认,兼顾一致性与可用性,代价是节点数量要求与选举期间的服务抖动。
故障转移时的数据边界
故障转移不是无损操作。异步复制下,故障转移会使部分已确认消息回退,回退量等于故障时刻的复制延迟;同步复制下,若主副本在返回确认前故障,该条消息对生产端表现为失败,生产端重试后落在新主副本上,此时若原确认实际已生效则产生重复。无论哪种复制方式,"故障转移后可能出现丢或重"都需要在业务侧按幂等与对账兜底。
数据库侧的同构原理可对照主从复制的一致性模式与延迟来源,参见 mysql:主从同步原理 第 2.4 节与第 2.7 节。
2.4 消费端:确认时机与重复窗口
自动确认与手动确认
| 模式 | 确认时点 | 失败后果 | 适用 |
|---|---|---|---|
| 自动确认 | 消息投递到客户端即确认 | 处理中崩溃则消息已删除,永久丢失 | 可容忍丢失的非核心消息 |
| 手动确认 | 业务处理完成后由代码显式确认 | 处理中崩溃则消息重新投递,产生重复 | 核心业务消息 |
自动确认把确认时点放在业务处理之前,等价于至多一次语义,与可靠性目标相反。业务消息应统一采用手动确认。
确认时机与重复窗口
手动确认模式下,确认时机决定重复窗口的大小:
- 处理前确认:等价于自动确认,丢失风险最高;
- 处理后确认:业务完成即确认,若确认丢失则重复,重复窗口为"业务完成到确认送达";
- 事务提交后确认:业务数据库事务提交成功后再确认,避免"业务已提交但确认先到"的不一致,重复窗口略大于处理后确认。
确认时机越靠后,重复窗口越大,但丢失风险越低。可靠性优先时应选择事务提交后确认,并把重复交给幂等处理。
重复的具体来源
- 确认信号丢失或确认超时,服务端重新投递;
- 消费者处理超时被判定为失效,消息被重新分配给其他消费者;
- 消费组发生再平衡,未确认消息被重新分配;
- 生产端因未收到确认而重试,服务端收到两条内容相同的消息;
- 故障转移后从副本回退的消息被重新投递。
前四种来源在正常运行中也会发生,无法通过配置消除。
消费失败的重试与死信
消费失败的处理路径有三种,需按失败性质区分:
- 可恢复失败(下游超时、依赖不可用、锁冲突):原地重试或延迟重试,重试次数有上限;
- 不可恢复失败(消息格式错误、必填字段缺失、业务规则拒绝):不应重试,直接进入死信或终止处理,避免无效重试占用消费者;
- 未知失败:先按可恢复处理,达到次数上限后转入死信,等待人工判定。
原地立即重试(requeue 后立刻重投)容易形成热循环:同一条消息在被拒绝后立即回到队首,被同一消费者再次取出并再次失败,CPU 与网络被无效消耗,同时阻塞后续消息。重试应带延迟,并把次数上限与死信绑定。
2.5 幂等的实现手段
幂等指同一操作执行一次与执行多次对业务状态的影响相同。实现手段按依赖的组件分为四类。
数据库唯一键与去重表
利用唯一约束把"是否已处理"的判断下沉到数据库:
- 唯一键方案:把业务唯一标识直接设为业务表的唯一键,插入冲突即代表已处理;
- 去重表方案:独立的记录表,以"幂等键 + 消费方标识"为唯一键,先插入再处理,插入冲突即代表已处理。
优点:判断与写入在同一事务内,无并发竞态;缺点:每条消息多一次写入,去重表需要清理。
状态机与版本号
不判断"是否处理过",而判断"当前状态是否允许本次流转"。更新语句带上前置状态条件,影响行数为 0 即代表状态不匹配,拒绝本次操作:
UPDATE order_info
SET status = 'PAID', version = version + 1, update_time = NOW(3)
WHERE order_no = #{orderNo} AND status = 'UNPAID';
优点:无需额外表,天然覆盖乱序场景(旧消息携带的前置状态已不满足);缺点:要求业务存在明确的状态与合法的流转方向。
缓存去重与过期策略
以 Redis 一类缓存保存已处理的幂等键,处理前用 SET key value NX EX ttl 原子占位:
- 占位成功:首次处理;
- 占位失败:已在处理中或已处理,直接返回。
优点:写入开销低,适合高吞吐;缺点:缓存非持久、可能被淘汰或清空,且"占位成功但业务失败"会留下脏标记。缓存去重适合作为数据库唯一键的补充,不适合作为唯一防线。
业务天然幂等
某些操作本身重复执行不改变结果,无需额外机制:
- 赋值型更新(把状态置为固定值,而非累加);
- 查询与校验类操作;
- 以业务单号为主键的插入,重复插入被唯一键拦截。
天然幂等的判断标准是"操作是否可交换、可重复",累加、扣减、追加类操作都不满足。
幂等键的选择
幂等键决定去重的精度,选择原则:
| 幂等键 | 去重粒度 | 适用 | 注意 |
|---|---|---|---|
| 消息 ID | 单条消息 | 消息由本系统生产,ID 稳定 | 需生产端保证 ID 在重试后不变;跨系统转发的消息 ID 会变 |
| 业务单号 | 单笔业务 | 同一业务可能由多条消息驱动 | 需区分同一单号下的不同动作 |
| 业务单号 + 动作类型 | 单笔业务的一次动作 | 通用做法 | 动作类型需稳定且有限 |
| 业务单号 + 动作 + 业务版本 | 一次动作的一个版本 | 允许同一动作多次合法发生(如多次退款) | 版本需由业务状态生成 |
生产端重试时必须复用同一个幂等键。若每次重试都生成新的消息 ID,去重表会把重试识别为新消息,幂等失效。
2.6 顺序与幂等的关系
顺序与幂等是两个独立维度,容易混淆:
- 顺序投递不保证不重复。分区有序只约束同分区内的相对顺序,不消除重投;
- 幂等不保证顺序正确。若同一业务的两条消息乱序到达,基于"是否处理过"的布尔标识会接受两条消息,产生错误结果;
- 乱序场景下的幂等应基于状态或版本,而非布尔标识。带前置状态条件的更新语句可以拒绝乱序到达的旧消息:新模式收到的前置状态已不存在,更新影响行数为 0,操作被拒绝。
并发消费对幂等的影响
"先查询判断、再执行业务"是常见的幂等写法,但在并发消费下存在竞态:
- 两条相同消息被两个消费者线程同时取出;
- 两个线程同时执行查询,都得到"未处理";
- 两个线程都执行业务,产生两次处理。
消除竞态的方式有两种:
- 依赖数据库唯一约束,把并发冲突交给数据库串行化,冲突方捕获异常并按"已处理"处理;
- 依赖原子操作(带前置状态条件的更新语句、缓存
NX占位),把判断与写入合并为一次原子操作。
单纯依赖应用层查询判断无法避免竞态,因为查询与写入之间存在时间窗口。
2.7 重试策略设计
重试次数与退避
- 次数上限:必须设置。无上限重试在依赖持续不可用时会造成流量自激;
- 退避策略:固定间隔、线性增长、指数增长。指数退避可避免对正在恢复的依赖形成持续冲击;
- 抖动:在退避间隔上叠加随机扰动,避免大量消息在同一时刻集中重试形成尖峰;
- 上限封顶:指数退避需设置最大间隔,防止间隔增长到业务不可接受的量级。
重试参数应作为可调整的配置项而非硬编码,便于按实际故障恢复时间调整。
重试与死信的分工
| 失败性质 | 处理位置 | 手段 |
|---|---|---|
| 瞬时失败 | 消费端内部 | 延迟重试,次数有限 |
| 持续失败但可恢复 | 重试队列 | 延迟队列或多级重试队列,逐级延长间隔 |
| 不可恢复失败 | 死信队列 | 不重试,转人工或归档 |
| 重试耗尽 | 死信队列 | 落库留痕,进入人工补偿流程 |
重试队列与死信队列的职责差异:重试队列是自动路径的一部分,死信队列是自动路径的终点。把两者混用会导致无法区分"还在自动重试"与"需要人工介入"。
毒消息的识别与隔离
毒消息指每次处理都失败的特定消息,常见来源是格式非法、字段缺失、引用了不存在的业务实体。
识别依据:
- 同一条消息(同一幂等键)连续失败次数达到阈值;
- 失败异常类型稳定且属于业务校验类异常,而非超时类异常;
- 失败耗时极短,说明在进入业务逻辑前即被拒绝。
隔离手段:将毒消息转入独立的死信队列或隔离队列,避免其反复占用正常消费通道。隔离后需要可观测,隔离量增长属于需要处理的信号,而不是可以忽略的噪声。
三、实现
3.1 可靠性核对清单
以下清单按环节分组,用于投产前逐项核对与线上定期巡检。
生产端
| 检查项 | 核对要点 |
|---|---|
| 确认机制是否开启 | 确认模式为异步或同步已启用,而非默认关闭状态 |
| 确认回调是否落地 | 确认失败时的处理路径存在(落库或告警),而非仅打印日志 |
| 路由失败是否可发现 | 开启了未路由消息的返回机制,且返回值被处理 |
| 消息是否持久化 | 消息投递模式为持久化,且目标队列与交换机均为持久化 |
| 幂等键是否稳定 | 重试时复用同一幂等键,不重新生成 |
| 重试是否有上限 | 次数上限、退避间隔、终止后的处理路径均已配置 |
| 批量发送是否与幂等共存 | 批量重试可能重复,确认消费端已有去重能力 |
| 发送失败是否留痕 | 失败消息进入本地表或本地消息表,可在无人工介入下重投 |
服务端
| 检查项 | 核对要点 |
|---|---|
| 持久化配置 | 队列、交换机、消息三者均为持久化 |
| 刷盘策略 | 刷盘周期与可接受的数据损失窗口一致 |
| 副本配置 | 副本数量与故障转移后的数据边界已确认 |
| 复制方式 | 异步复制下已确认消息仍可能在故障转移时回退,业务侧是否容忍 |
| 存储容量 | 磁盘水位告警已配置,避免写满后拒绝写入导致消息被丢弃 |
| 队列长度上限 | 队列最大长度与溢出策略明确,溢出时进入死信而非静默丢弃 |
| 死信绑定 | 正常队列已绑定死信交换机与路由键 |
| 集群状态 | 节点数量、仲裁队列或镜像策略、脑裂防护配置已核对 |
消费端
| 检查项 | 核对要点 |
|---|---|
| 确认模式 | 手动确认为主,自动确认仅用于可丢失消息 |
| 确认时机 | 确认为业务事务提交之后发出 |
| 异常路径 | 异常分支不会漏掉确认,避免消息被长期挂起 |
| 幂等实现 | 幂等键唯一约束或状态条件更新已生效,可承受并发 |
| 并发与顺序 | prefetch、并发线程数与消息顺序要求是否兼容 |
| 重试配置 | 延迟重试、次数上限、死信兜底均已配置 |
| 死信消费者 | 死信队列有消费者或有人工处理流程,避免死信无限堆积 |
| 重复消费可观测 | 去重命中有统计,命中量异常增长可被发现 |
积压、死信量与重复命中的监控与阈值设置,参见 linux: 监控与告警 第 2.5 节与第 3.2 节,告警分级策略参见 SLO 与告警设计。
3.2 去重表方案的完整设计
表结构与唯一索引
CREATE TABLE message_dedup (
id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
idempotent_key VARCHAR(128) NOT NULL COMMENT '幂等键:业务单号+动作,或稳定的消息ID',
consumer_group VARCHAR(64) NOT NULL COMMENT '消费方标识,同一消息被多方消费时区分',
status TINYINT NOT NULL DEFAULT 0 COMMENT '0 处理中 1 处理成功 2 处理失败待补偿',
biz_ref VARCHAR(128) DEFAULT NULL COMMENT '业务关联信息,便于排查',
create_time DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
update_time DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3),
PRIMARY KEY (id),
UNIQUE KEY uk_key_group (idempotent_key, consumer_group),
KEY idx_status_time (status, update_time)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '消息消费去重表';
唯一键由"幂等键 + 消费方标识"构成。加入消费方标识的原因是:同一条消息可能被多个业务方消费,各方的处理相互独立,不应互相阻挡。
写入与判断顺序
正确顺序是先插入占位,再执行业务,最后标记成功:
@Transactional(rollbackFor = Exception.class)
public void consume(BizMessage msg) {
try {
dedupMapper.insert(msg.getIdempotentKey(), CONSUMER_GROUP);
} catch (DuplicateKeyException e) {
// 唯一键冲突:已在处理中或已处理完成
DedupRecord record = dedupMapper.select(msg.getIdempotentKey(), CONSUMER_GROUP);
if (record != null && record.getStatus() == STATUS_SUCCESS) {
// 已成功处理,本次为重复投递,直接返回,由外层确认
return;
}
// 处理中或待补偿:本次不做重复处理,交由重试或人工处理
throw new IllegalStateException("重复消费被拒绝,等待前次处理结果");
}
doBiz(msg);
dedupMapper.markSuccess(msg.getIdempotentKey(), CONSUMER_GROUP);
}
事务边界
去重表的插入、业务表的写入、状态标记必须处于同一数据库事务:
- 若去重占位与业务写入不在同一事务,业务回滚后占位仍在,重投会被误判为重复,消息永久丢失;
- 若占位与业务在同一事务,业务回滚时占位一并回滚,重投可正常重新处理。
当业务写入跨库或跨服务,无法与去重表共用同一事务时,应退化为"占位 + 业务状态校验"的双重判断,并接受更长的处理窗口。
清理策略
去重表会持续增长,需按幂等键的有效期清理:
- 保留期应大于"消息可能被重投的最大时间跨度",即重试队列的最大存活时间加上死信人工处理周期;
- 清理方式优先按时间分区后整分区丢弃,避免大批量删除造成锁与主从延迟;
- 单表内删除时按主键分段批量删除,控制单批行数与执行频率,避免长事务;
-- 按分区丢弃(推荐):一次性移除过期分区,代价与分区大小相关
ALTER TABLE message_dedup DROP PARTITION p2026_08;
-- 无分区时按主键分段删除,控制单批规模
DELETE FROM message_dedup
WHERE status = 1 AND update_time < DATE_SUB(NOW(), INTERVAL 30 DAY)
ORDER BY id LIMIT 2000;
高危 提醒:清理去重表记录等价于放弃对应消息的去重能力,被清理的记录一旦遇到延迟重投,会被当作新消息处理两次。兜底方式:清理前确认保留期确实覆盖重试与死信的最大存活时间,同时确认业务表本身具备兜底约束(业务唯一键或状态条件更新);删除操作先在从库或离线副本上验证影响行数,再在主库分批执行。
3.3 Redis 去重方案的设计
键设计
dedup:{consumerGroup}:{idempotentKey}
- 前缀用于隔离环境与消费方,避免不同业务共用键空间后互相干扰;
- 键值存放处理状态,例如
P表示处理中、S表示处理成功,便于区分"占用中"与"已完成"两种重复情形; - 键数量与幂等键基数一致,需在键中加入消费方维度,避免多消费方互相阻挡。
占位与过期
public boolean tryAcquire(String group, String key, Duration ttl) {
Boolean ok = redis.opsForValue()
.setIfAbsent("dedup:" + group + ":" + key, "P", ttl);
return Boolean.TRUE.equals(ok);
}
过期时间按下式确定:
TTL > 消息最大重投时间跨度 + 重试队列最大存活时间 + 安全余量
TTL 过短会漏判:原记录过期后,迟到的重投被当作新消息。TTL 过长会误判:业务合法地重复执行同一动作(如用户二次下单使用同一幂等键)时被错误拒绝。
误判与漏判的边界
| 情形 | 后果 | 规避方式 |
|---|---|---|
| 占位成功但业务失败 | 标记残留,重投被误判为重复,消息实际未处理 | 失败时主动删除占位键;配合业务状态校验兜底 |
| 业务成功但标记写入失败 | 重投时被当作新消息,重复处理 | 以数据库唯一约束为最终防线 |
| 键被淘汰或缓存被清空 | 漏判,重复处理 | 不作为唯一防线 |
| 主从切换导致占位丢失 | 漏判,重复处理 | 使用强一致写入或改用数据库去重 |
| TTL 小于重投跨度 | 漏判,重复处理 | 按最大重投跨度设置 TTL |
结论:缓存去重适合作为性能优化层,用于在高吞吐下拦截绝大部分重复;最终正确性必须由数据库唯一约束或状态条件更新保证。两者叠加的设计是"缓存拦截重复、数据库兜底正确性"。
高危 提醒:清除去重键前缀(例如按模式批量删除)会在瞬间失去全部去重能力,此时任何重投都会直达业务层。兜底方式:删除前先确认业务侧唯一约束已生效;如需清理,按业务维度分批删除并避开重投高峰;生产环境优先使用带过期时间的自然淘汰,不使用按模式批量删除。
3.4 状态机幂等的设计
状态流转与非法转移拒绝
状态机幂等的核心是把幂等条件写入更新语句,让数据库判定本次流转是否合法:
-- 支付成功:仅允许从"待支付"流转到"已支付"
UPDATE order_info
SET status = 'PAID', pay_time = #{payTime}, update_time = NOW(3)
WHERE order_no = #{orderNo} AND status = 'UNPAID';
public void handlePaid(PaidMessage msg) {
int updated = orderMapper.markPaid(msg.getOrderNo(), msg.getPayTime());
if (updated == 0) {
// 影响行数为 0:前置状态不满足,说明已处理或状态非法
Order order = orderMapper.selectByNo(msg.getOrderNo());
if (order != null && OrderStatus.PAID == order.getStatus()) {
return; // 已支付,本次为重复消息,按成功处理
}
throw new IllegalStateException(
"状态流转被拒绝,当前状态=" + (order == null ? "不存在" : order.getStatus()));
}
}
设计要点:
- 每个合法流转对应一条带前置状态条件的更新语句,前置状态唯一;
- 影响行数为 0 时需查询当前状态,区分"重复到达"与"状态非法",两者处理方式不同;
- 非法转移必须以异常形式暴露,不能静默忽略,否则状态异常无法被发现;
- 状态变更与业务副作用(扣款、发券)应在同一事务内,或通过后续补偿对齐。
与顺序问题的结合
状态机天然处理乱序:旧消息携带的前置状态在当前记录中已不存在,更新影响行数为 0,被拒绝。这要求状态流转是单调推进的,且每条消息只允许触发一次特定的流转。若存在可回退的状态(如取消后恢复),需要引入版本号或时间戳比较,避免旧消息覆盖新状态。
状态流转图可用如下形式表达合法路径:
UNPAID ──支付成功──> PAID ──发货──> SHIPPED ──签收──> FINISHED
│ │
└──取消──> CANCELED └──退款──> REFUNDING ──> REFUNDED
任何未出现在图中的转移(如 FINISHED 回到 UNPAID)都应在代码层被拒绝。
3.5 消息积压的定位与处置
积压判定指标
单看队列长度无法判断是否存在问题,需要结合生产速率与消费速率:
| 指标 | 含义 | 判读 |
|---|---|---|
| 就绪消息数 | 等待投递的消息总量 | 持续上升即生产大于消费 |
| 未确认消息数 | 已投递未确认的消息数 | 持续接近 prefetch 上限说明消费端处理慢或阻塞 |
| 生产速率 | 单位时间入队消息数 | 与消费速率比较得出净增长 |
| 消费速率 | 单位时间确认消息数 | 下降说明消费能力受损 |
| 消费端处理耗时 | 单条消息处理时间 | 上升通常是下游依赖变慢 |
| 死信增长速率 | 单位时间进入死信的消息数 | 非零增长说明存在持续性失败 |
| 消费者数量 | 在线消费者实例数 | 与预期不符说明实例掉线或再平衡异常 |
判定积压是否成问题的依据是"耗尽时间",而不是绝对长度:积压量除以净增长速率得到预计耗尽时间,该时间与业务容忍窗口比较后决定处置级别。指标采集与告警阈值设置参见 linux: 监控与告警 第 1.2 节与第 3.2 节。
扩消费者与限流
- 扩容消费者的前提是消息可并发处理。若消息要求严格顺序,增加消费者不会提升吞吐,只会造成重平衡与乱序;
- 消费者数量增加会提高对下游依赖的并发压力,可能把瓶颈转移到数据库或下游接口,扩容前需确认下游容量;
- 消费端限流(prefetch 或并发线程数)用于保护消费端自身,取值过小会限制吞吐,过大则在大消息场景下造成内存压力。取值依据是单条消息的处理耗时与可用内存,而非固定值。
批量消费
批量消费通过减少确认与网络往返提升吞吐,代价是:
- 单批失败时重试粒度变粗,整批重投会放大重复量,要求幂等实现更严格;
- 单批处理时间变长,确认延迟增加,故障时的重复窗口变大;
- 批大小需与下游批量写入能力匹配,超出后会退化为逐条处理。
临时转存与补偿
当积压量已超出队列的存储与消费能力,且无法在短时间内消化时,可采用转存:
- 由临时消费者快速拉取消息并写入能够承载高吞吐的存储(如对象存储、日志存储或大容量表),确认原消息;
- 由独立的补偿任务从转存位置读出并逐条重放,重放时同样需要幂等;
- 转存路径与新消息路径需区分,避免重放消息与实时消息争抢同一资源。
转存属于应急手段,会引入新的中间状态,必须记录转存批次与偏移量,确保可核对、可重放、可终止。
高危 提醒:清空堆积队列(purge)会永久删除其中全部消息,且不可恢复。兜底方式:清空前先落盘导出(消费端转存或服务端导出消息),核对导出条数与队列长度一致后再清空;若消息可重建,需确认上游能重发;执行前确认清空的是目标队列而非同名队列,清空范围用队列名精确指定,不使用模式匹配。
堆积期间的监控项
除常规队列指标外,堆积期间需额外关注:
- 消费端内存与线程池队列长度,避免积压在应用内部转移为内存积压;
- 下游依赖的成功率与响应时间,避免扩容后把下游打挂;
- 服务端磁盘水位与内存水位,堆积会同时消耗两者;
- 死信与隔离队列的增长量,区分"暂时慢"与"持续失败";
- 生产端的发送失败率与确认超时率,堆积导致的流控会反向影响生产端。
积压的容量规划、告警分级与应急处置的运维侧做法参见 消息中间件运维与治理 第三章。
3.6 延迟消息与定时消息的通用实现思路
延迟消息指消息投递后延迟一段时间才可被消费,定时消息指在指定时刻才可被消费。二者本质相同:把"可见时间"作为消息的属性。
方案一:定时表轮询
在业务库中建立待处理任务表,由定时任务按到期时间扫描并投递。
CREATE TABLE delayed_task (
id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
task_type VARCHAR(64) NOT NULL,
biz_id VARCHAR(64) NOT NULL,
payload TEXT NOT NULL,
execute_time DATETIME(3) NOT NULL COMMENT '可见时间',
status TINYINT NOT NULL DEFAULT 0 COMMENT '0 待处理 1 已投递 2 已取消',
retry_count INT NOT NULL DEFAULT 0,
create_time DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
PRIMARY KEY (id),
UNIQUE KEY uk_type_biz (task_type, biz_id),
KEY idx_status_time (status, execute_time)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '延迟任务表';
轮询流程:
定时触发(如每秒一次)
→ SELECT ... WHERE status = 0 AND execute_time <= NOW() ORDER BY execute_time LIMIT N
→ 逐条投递到消息队列
→ 投递成功后标记 status = 1
→ 投递失败保留 status = 0,等待下一轮
要点:扫描条件必须命中 (status, execute_time) 索引,避免全表扫描;用"先更新状态为处理中再投递"或乐观锁避免多实例重复投递;批量大小与扫描频率需按到期任务量调整。
优点:实现简单、可查询可修改(取消或改期只需更新记录)、时间精度可控。缺点:依赖数据库轮询,时间精度受扫描间隔限制;待处理任务量大时扫描与更新压力集中在业务库;需要业务库承担任务存储。
方案二:延迟队列
由消息中间件保存消息并在到期后投递。
投递路径:
生产端 → 延迟交换机/延迟队列(设置延迟时长)→ 到期 → 目标队列 → 消费端
要点:延迟时长可按消息维度设置;不同延迟时长若映射到同一延迟队列,队列内消息的到期顺序与入队顺序不一致;固定延迟时长的场景可以用"延迟队列不设消费者 + 过期后转死信"的方式实现,该方式下延迟时长由队列统一决定,无法按消息区分。
具体产品的延迟实现方式与配置参见 RabbitMQ 理论与实践手册 第 2.5 节。
方案三:定时扫描业务数据
不额外存储任务,直接按业务数据的时间字段扫描。例如扫描"创建时间早于 30 分钟且状态仍为待支付"的订单。
要点:需要业务字段上有合适的索引;扫描条件与业务状态耦合,业务规则变化时需同步调整扫描逻辑;无法表达"取消定时"之外的复杂改期需求,改期通过更新业务字段实现。
代价对比
| 方案 | 时间精度 | 时间可变性 | 存储成本 | 对业务库的压力 | 适用场景 |
|---|---|---|---|---|---|
| 定时表轮询 | 受扫描间隔限制 | 可随时取消与改期 | 任务表随任务量增长,需清理 | 扫描与状态更新压力 | 需要取消/改期、任务量可控 |
| 延迟队列 | 较高,接近到期即投递 | 一般不可改期,取消需业务侧拦截 | 由消息服务端承担 | 无 | 延迟时长固定且无需改期 |
| 定时扫描业务数据 | 受扫描间隔限制 | 通过更新业务字段实现 | 无额外存储 | 与业务查询争用资源 | 延迟规则简单、可从事务数据推导 |
三者的选择依据是"是否需要取消与改期"以及"延迟时长是否按消息变化"。需要取消与改期的场景,定时表方案最直接;无需改期且时长固定的场景,延迟队列的实现成本最低。
定时任务本身的调度方式与可靠性(漏执行、重复执行、时钟漂移)参见 定时任务与定时器。
3.7 死信与人工补偿
死信来源分类
| 来源 | 产生原因 | 处理方式 |
|---|---|---|
| 消费失败达到重试上限 | 依赖持续不可用或业务逻辑缺陷 | 落库留痕,修复后重投 |
| 消息格式非法 | 生产端与消费端协议不一致、字段缺失 | 修复消息或补齐字段后重投,或直接归档 |
| 消息过期 | 消息在队列中等待超过有效期 | 判断业务是否仍需处理,多数可直接归档 |
| 队列长度溢出 | 消费能力不足导致队列达到上限 | 通常需先解决积压,再判断溢出消息是否仍需处理 |
| 消息被显式拒绝且不重回队列 | 消费端判定为不可恢复失败 | 转人工判定 |
处理台与重投流程
死信处理需要一套可追溯的流程,最小实现包含:
- 死信落库:记录消息体、原始队列、失败原因、失败次数、首次失败时间与最近失败时间;
- 查询与筛选:按来源、时间、失败原因筛选,支持按业务单号定位;
- 重投:重投时复用原幂等键,确保重投不会造成重复业务效果;重投应进入原队列,而非其他队列;
- 终止与归档:确认无需处理的消息标记为归档,保留记录但不再进入流程;
- 权限:重投与归档操作记录操作人与操作时间,操作日志的留存与审计参见 日志查询与审计。
高危 提醒:批量重投会把积压瞬间转回正常链路,若原失败原因未修复,会造成二次积压并可能击穿下游;同时若幂等键复用不当,会直接产生重复业务。兜底方式:重投前先确认失败原因已修复,先用单条或小批量验证业务效果;重投设置速率上限;保留原始死信记录直到确认重投成功;重投与删除死信记录分开执行,不合并为一个动作。
高危 提醒:删除死信队列中的消息会丢失全部失败现场,事后无法复盘与重投。兜底方式:删除前必须完成落库或归档,并校验归档条数与消息条数一致;生产环境禁止直接清空死信队列,仅允许标记归档后由清理任务按保留期删除。
审计与对账
死信处理的审计要求:
- 每条死信从产生到归档的全过程可追溯:谁、在何时、做了什么、结果如何;
- 重投动作记录原消息 ID 与幂等键,便于与业务表核对;
- 定期对账:死信归档量与业务侧失败量比较,差值需可解释;
- 死信总量、未处理量、处理时长作为常态指标纳入监控,避免死信队列成为无人管理的黑盒。
3.8 验证与演练
幂等与重复消费的注入测试
幂等实现必须在有重复输入的条件下验证,仅靠代码审查无法确认。测试方法:
- 同一消息重复投递:对同一幂等键连续投递 2 至 3 次,核对业务表只产生一条记录、状态只推进一次;
- 并发重复投递:多个消费者线程同时投递同一幂等键,核对无并发竞态(业务侧无重复扣减、去重表无重复行);
- 超长间隔重复投递:在超过缓存 TTL 后再次投递,核对数据库唯一约束或状态条件更新仍能拦截;
- 乱序投递:把同一业务的多条消息按逆序投递,核对状态机拒绝旧消息而不是把状态回退;
- 缓存与数据库不一致:手动清除去重缓存后重复投递,核对数据库层兜底生效。
故障注入与恢复验证
| 注入点 | 注入方式 | 期望结果 |
|---|---|---|
| 生产端网络 | 发送后立即断网或阻断确认回包 | 消息被重试并最终到达,消费端只处理一次 |
| 服务端刷盘前 | 在确认返回前终止服务端进程 | 未确认消息由生产端重投,已确认消息不丢 |
| 副本落后 | 暂停从副本复制后终止主副本 | 故障转移后核对消息回退量与复制延迟一致,业务侧可容忍 |
| 消费端处理中 | 处理业务后、确认前终止消费进程 | 消息重新投递,幂等生效,无重复业务效果 |
| 消费端异常 | 注入业务异常使消息反复失败 | 重试达到上限后进入死信,正常队列不被阻塞 |
| 下游依赖 | 使下游持续超时 | 消费速率下降并触发积压告警,不产生丢失 |
演练过程需与变更流程结合,注入动作、影响范围、回滚方式在演练前明确记录,演练结论用于修正核对清单与告警阈值。故障注入的组织与复盘方法参见 变更与发布管理,历史故障的处置经验参见 故障案例库。性能类参数(prefetch、并发数、批大小)的取值需通过压测与基线对比确定,参见 性能测试与基线。
四、总结
- 消息可靠性由生产、存储、消费三个环节共同决定,任一环节单独做足都无法覆盖其余环节
- 丢失去向可归为三类:生产端未落地、服务端存储失效、消费端处理失败或确认丢失
- "恰好一次"在跨进程条件下无法由单方保证,工程上采用"至少一次投递 + 消费端幂等",重复是设计前提
- 生产端可靠性由确认机制承载,同步与异步的取舍是延迟与吞吐的取舍;批量与重试会制造重复,必须与幂等共存
- 存储端可靠性由持久化、刷盘策略与副本共同决定,刷盘策略本质是选择可接受的数据损失窗口
- 消费端可靠性的关键是确认时机后移到业务事务提交之后,代价是重复窗口扩大,由幂等承担
- 幂等实现按依赖组件分为唯一键与去重表、状态机与版本号、缓存去重、业务天然幂等四类;缓存负责拦截、数据库负责正确性
- 乱序场景下的幂等必须基于状态或版本,而非布尔标识;并发场景下必须依赖唯一约束或原子操作,避免先查后写的竞态
- 重试必须有次数上限、退避与抖动,并与死信分工:重试是自动路径,死信是自动路径的终点
- 积压判定依据是耗尽时间而非绝对长度,处置手段包括扩容、限流、批量消费与临时转存,转存需保留批次偏移量
- 延迟消息有三类通用实现:定时表轮询、延迟队列、定时扫描业务数据,选择依据是否需要取消与改期
- 死信必须有落库、重投、归档与审计的完整流程,批量重投与删除死信属于高危操作,需先归档并验证
- 幂等与可靠性的验证依赖重复注入与故障注入,仅靠代码审查无法确认