一、起源

消息中间件把一次同步调用拆成"发送消息"与"消费消息"两段独立过程,两段之间存在网络、进程与磁盘三个可能失效的环节。可靠性问题的全部来源,都可以归入"消息在某一环节消失"与"同一消息被处理多次"这两类现象。

1.1 消息丢失的三种场景

生产端未落地

生产者调用发送接口并正常返回,并不意味着消息已被服务端接收。以下情况都会造成消息实际未到达:

  1. 数据写入本地发送缓冲区后,客户端进程退出或网络中断,缓冲区内容未送达服务端;
  2. 服务端进程存活但目标交换机不存在、绑定关系缺失或路由不到任何队列,消息在服务端被静默丢弃;
  3. 服务端接收了消息,但在写入磁盘前宕机,消息只存在于已丢失的内存中。

发送接口的返回值只反映本地调用结果,不反映服务端状态。生产端可靠性的起点是承认这一点。

服务端存储失效

消息到达服务端后仍需跨过存储环节:

  1. 持久化配置不完整,例如队列声明为持久化但消息本身按非持久模式投递,重启后消息消失;
  2. 消息写入页缓存即被确认,未刷盘时主机断电,页缓存内容丢失;
  3. 集群中主副本异步复制,主副本故障后从落后副本提升,已确认但未同步的消息发生回退。

消费端处理失败或确认丢失

消费端的问题分为两种表现:

  1. 业务处理抛出异常或进程被终止,而确认已在处理完成前发出,服务端删除消息,业务实际未完成;
  2. 业务处理已经成功,确认信号在返回途中丢失,服务端判定消息未处理并重新投递,形成重复。

1.2 重复为什么不可避免

消息投递语义可分为三类:

语义 行为 代价
至多一次(at-most-once) 消息投递后即视为完成,不重试 允许丢失,不产生重复
至少一次(at-least-once) 未收到确认即重投,直至确认 不丢失,允许重复
恰好一次(exactly-once) 不丢失且不重复 需要发送端与接收端共享事务状态

"恰好一次"要成立,必须让"业务处理"与"确认信号"以及"消费位点推进"处于同一原子边界内。跨进程、跨网络的场景下,服务端无法确认消费端的业务是否真正完成,只能通过"收到确认"这一外部信号推断。确认信号一旦丢失,服务端只有两种选择:重投(产生重复)或丢弃(产生丢失)。

因此生产系统的现实选择是至少一次投递叠加消费端幂等,用幂等把重复的影响收敛为零。重复是设计前提,不是异常。

二、原理

2.1 可靠性的三个环节与各自的失败点

环节 目标 主要失败点 对应手段
生产 消息确实进入服务端并完成持久化 网络中断、路由失败、未刷盘、确认丢失 确认机制、重试、失败留痕、本地消息表或事务消息
存储 服务端重启或节点故障后消息仍可读 持久化未开启、刷盘策略过松、副本落后 队列与消息持久化、刷盘策略、同步复制副本、仲裁队列
消费 业务处理完成与确认在语义上对齐 提前确认、确认丢失、处理超时、重投 手动确认、确认时机后移、重试与死信、消费幂等

三个环节中,任何一环单独做足都无法覆盖其余环节。生产端确认不等于消费端处理成功,持久化不等于副本已同步。核对可靠性时必须逐环节确认,而不是只在生产端开启确认就算完成。

协议层如何承载确认、持久化与拒绝语义,参见 AMQP 协议完整详解 第五章;具体产品中的确认模式与死信配置参见 RabbitMQ 理论与实践手册 第二部分与 RabbitMQ 第六章。各产品在可靠性与投递语义上的能力差异与选型维度参见 消息中间件选型对比。

2.2 生产端:确认机制与同步等待的权衡

确认机制的作用是把"服务端是否接收并持久化"这一信息回传给生产端。按等待方式分为两类:

同步等待

发送后阻塞,直到收到该条消息的确认再发送下一条。

  • 优点:单条消息的发送结果明确,异常可在当前调用栈内处理;
  • 缺点:单条消息的往返时延叠加为总时延,吞吐量受往返时延上限约束;
  • 适用:消息量小、对发送结果要求即时可知的场景。

异步回调

发送后立即返回,确认到达时由回调线程处理结果。

  • 优点:不阻塞业务线程,吞吐量由服务端处理能力决定;
  • 缺点:确认与业务上下文脱离,失败消息需要额外的重试通道与状态存储;
  • 适用:高吞吐场景,需配合失败消息落库与定时重投。

批量发送的副作用

批量可以显著提高吞吐,但会改变故障的粒度与结果:

  1. 批量确认只说明整批中部分消息被接收,失败时无法从确认信息定位具体是哪一条;
  2. 批量重试会把整批中已成功的消息再次发送,直接制造重复;
  3. 批量发送与顺序语义冲突,同批次内多条消息可能被并发处理。

因此批量发送必须与幂等设计同时启用,且重试应下沉到单条粒度。

重试的副作用

重试本身会放大流量。当服务端因积压而响应变慢时,无上限的重试会让积压进一步恶化,形成正反馈。重试必须带次数上限、退避间隔与失败终态。

当"写入本地数据库"和"发送消息"必须同时成功或同时失败时,仅靠发送端重试无法保证一致,需要引入本地消息表或事务消息,这部分机制单独展开,参见 消息一致性:事务消息与最终一致性 第二章。

2.3 存储端:持久化、刷盘与副本

持久化对象

以持久化存储消息的系统为例,需要同时满足多个条件才构成真正的持久化,缺少任一项都会在重启后出现消息消失。以 AMQP 模型为例,队列声明、交换机声明与消息投递模式三者需同时为持久化,配置方法参见 AMQP 协议完整详解 第五章第五节。

刷盘策略

持久化的时点由刷盘策略决定:

策略 行为 数据损失边界 吞吐影响
每条消息刷盘 单条消息写入后立即落盘再确认 已确认消息不丢 吞吐受磁盘同步写限制
定时批量刷盘 按周期或按批大小落盘 崩溃时可丢失最近一个周期内已确认的消息 吞吐高,损失窗口与刷盘周期相关
依赖操作系统回写 只写页缓存,由内核决定回写时机 断电时损失窗口不可控 吞吐最高,可靠性最低

选择刷盘策略的本质是确定"可接受的数据损失窗口"。窗口为 0 只能选每条刷盘,窗口为秒级可选定时刷盘。

副本与同步复制的代价

副本解决单节点故障,但复制方式决定了故障转移时的数据边界:

  1. 异步复制:主副本确认后即返回,从副本异步追平。主副本故障时,未同步部分丢失,可靠性取决于复制延迟;
  2. 同步复制:主副本等待至少一个从副本确认接收后才返回。已确认的消息在故障转移后不丢,代价是每次写入都增加一个副本往返,写延迟上升,且可用性受从副本影响(从副本不可用时需降级为异步或阻塞);
  3. 多数派共识复制:日志需被多数节点确认,兼顾一致性与可用性,代价是节点数量要求与选举期间的服务抖动。

故障转移时的数据边界

故障转移不是无损操作。异步复制下,故障转移会使部分已确认消息回退,回退量等于故障时刻的复制延迟;同步复制下,若主副本在返回确认前故障,该条消息对生产端表现为失败,生产端重试后落在新主副本上,此时若原确认实际已生效则产生重复。无论哪种复制方式,"故障转移后可能出现丢或重"都需要在业务侧按幂等与对账兜底。

数据库侧的同构原理可对照主从复制的一致性模式与延迟来源,参见 mysql:主从同步原理 第 2.4 节与第 2.7 节。

2.4 消费端:确认时机与重复窗口

自动确认与手动确认

模式 确认时点 失败后果 适用
自动确认 消息投递到客户端即确认 处理中崩溃则消息已删除,永久丢失 可容忍丢失的非核心消息
手动确认 业务处理完成后由代码显式确认 处理中崩溃则消息重新投递,产生重复 核心业务消息

自动确认把确认时点放在业务处理之前,等价于至多一次语义,与可靠性目标相反。业务消息应统一采用手动确认。

确认时机与重复窗口

手动确认模式下,确认时机决定重复窗口的大小:

  1. 处理前确认:等价于自动确认,丢失风险最高;
  2. 处理后确认:业务完成即确认,若确认丢失则重复,重复窗口为"业务完成到确认送达";
  3. 事务提交后确认:业务数据库事务提交成功后再确认,避免"业务已提交但确认先到"的不一致,重复窗口略大于处理后确认。

确认时机越靠后,重复窗口越大,但丢失风险越低。可靠性优先时应选择事务提交后确认,并把重复交给幂等处理。

重复的具体来源

  1. 确认信号丢失或确认超时,服务端重新投递;
  2. 消费者处理超时被判定为失效,消息被重新分配给其他消费者;
  3. 消费组发生再平衡,未确认消息被重新分配;
  4. 生产端因未收到确认而重试,服务端收到两条内容相同的消息;
  5. 故障转移后从副本回退的消息被重新投递。

前四种来源在正常运行中也会发生,无法通过配置消除。

消费失败的重试与死信

消费失败的处理路径有三种,需按失败性质区分:

  1. 可恢复失败(下游超时、依赖不可用、锁冲突):原地重试或延迟重试,重试次数有上限;
  2. 不可恢复失败(消息格式错误、必填字段缺失、业务规则拒绝):不应重试,直接进入死信或终止处理,避免无效重试占用消费者;
  3. 未知失败:先按可恢复处理,达到次数上限后转入死信,等待人工判定。

原地立即重试(requeue 后立刻重投)容易形成热循环:同一条消息在被拒绝后立即回到队首,被同一消费者再次取出并再次失败,CPU 与网络被无效消耗,同时阻塞后续消息。重试应带延迟,并把次数上限与死信绑定。

2.5 幂等的实现手段

幂等指同一操作执行一次与执行多次对业务状态的影响相同。实现手段按依赖的组件分为四类。

数据库唯一键与去重表

利用唯一约束把"是否已处理"的判断下沉到数据库:

  • 唯一键方案:把业务唯一标识直接设为业务表的唯一键,插入冲突即代表已处理;
  • 去重表方案:独立的记录表,以"幂等键 + 消费方标识"为唯一键,先插入再处理,插入冲突即代表已处理。

优点:判断与写入在同一事务内,无并发竞态;缺点:每条消息多一次写入,去重表需要清理。

状态机与版本号

不判断"是否处理过",而判断"当前状态是否允许本次流转"。更新语句带上前置状态条件,影响行数为 0 即代表状态不匹配,拒绝本次操作:

UPDATE order_info
SET status = 'PAID', version = version + 1, update_time = NOW(3)
WHERE order_no = #{orderNo} AND status = 'UNPAID';

优点:无需额外表,天然覆盖乱序场景(旧消息携带的前置状态已不满足);缺点:要求业务存在明确的状态与合法的流转方向。

缓存去重与过期策略

以 Redis 一类缓存保存已处理的幂等键,处理前用 SET key value NX EX ttl 原子占位:

  • 占位成功:首次处理;
  • 占位失败:已在处理中或已处理,直接返回。

优点:写入开销低,适合高吞吐;缺点:缓存非持久、可能被淘汰或清空,且"占位成功但业务失败"会留下脏标记。缓存去重适合作为数据库唯一键的补充,不适合作为唯一防线。

业务天然幂等

某些操作本身重复执行不改变结果,无需额外机制:

  1. 赋值型更新(把状态置为固定值,而非累加);
  2. 查询与校验类操作;
  3. 以业务单号为主键的插入,重复插入被唯一键拦截。

天然幂等的判断标准是"操作是否可交换、可重复",累加、扣减、追加类操作都不满足。

幂等键的选择

幂等键决定去重的精度,选择原则:

幂等键 去重粒度 适用 注意
消息 ID 单条消息 消息由本系统生产,ID 稳定 需生产端保证 ID 在重试后不变;跨系统转发的消息 ID 会变
业务单号 单笔业务 同一业务可能由多条消息驱动 需区分同一单号下的不同动作
业务单号 + 动作类型 单笔业务的一次动作 通用做法 动作类型需稳定且有限
业务单号 + 动作 + 业务版本 一次动作的一个版本 允许同一动作多次合法发生(如多次退款) 版本需由业务状态生成

生产端重试时必须复用同一个幂等键。若每次重试都生成新的消息 ID,去重表会把重试识别为新消息,幂等失效。

2.6 顺序与幂等的关系

顺序与幂等是两个独立维度,容易混淆:

  1. 顺序投递不保证不重复。分区有序只约束同分区内的相对顺序,不消除重投;
  2. 幂等不保证顺序正确。若同一业务的两条消息乱序到达,基于"是否处理过"的布尔标识会接受两条消息,产生错误结果;
  3. 乱序场景下的幂等应基于状态或版本,而非布尔标识。带前置状态条件的更新语句可以拒绝乱序到达的旧消息:新模式收到的前置状态已不存在,更新影响行数为 0,操作被拒绝。

并发消费对幂等的影响

"先查询判断、再执行业务"是常见的幂等写法,但在并发消费下存在竞态:

  1. 两条相同消息被两个消费者线程同时取出;
  2. 两个线程同时执行查询,都得到"未处理";
  3. 两个线程都执行业务,产生两次处理。

消除竞态的方式有两种:

  1. 依赖数据库唯一约束,把并发冲突交给数据库串行化,冲突方捕获异常并按"已处理"处理;
  2. 依赖原子操作(带前置状态条件的更新语句、缓存 NX 占位),把判断与写入合并为一次原子操作。

单纯依赖应用层查询判断无法避免竞态,因为查询与写入之间存在时间窗口。

2.7 重试策略设计

重试次数与退避

  • 次数上限:必须设置。无上限重试在依赖持续不可用时会造成流量自激;
  • 退避策略:固定间隔、线性增长、指数增长。指数退避可避免对正在恢复的依赖形成持续冲击;
  • 抖动:在退避间隔上叠加随机扰动,避免大量消息在同一时刻集中重试形成尖峰;
  • 上限封顶:指数退避需设置最大间隔,防止间隔增长到业务不可接受的量级。

重试参数应作为可调整的配置项而非硬编码,便于按实际故障恢复时间调整。

重试与死信的分工

失败性质 处理位置 手段
瞬时失败 消费端内部 延迟重试,次数有限
持续失败但可恢复 重试队列 延迟队列或多级重试队列,逐级延长间隔
不可恢复失败 死信队列 不重试,转人工或归档
重试耗尽 死信队列 落库留痕,进入人工补偿流程

重试队列与死信队列的职责差异:重试队列是自动路径的一部分,死信队列是自动路径的终点。把两者混用会导致无法区分"还在自动重试"与"需要人工介入"。

毒消息的识别与隔离

毒消息指每次处理都失败的特定消息,常见来源是格式非法、字段缺失、引用了不存在的业务实体。

识别依据:

  1. 同一条消息(同一幂等键)连续失败次数达到阈值;
  2. 失败异常类型稳定且属于业务校验类异常,而非超时类异常;
  3. 失败耗时极短,说明在进入业务逻辑前即被拒绝。

隔离手段:将毒消息转入独立的死信队列或隔离队列,避免其反复占用正常消费通道。隔离后需要可观测,隔离量增长属于需要处理的信号,而不是可以忽略的噪声。

三、实现

3.1 可靠性核对清单

以下清单按环节分组,用于投产前逐项核对与线上定期巡检。

生产端

检查项 核对要点
确认机制是否开启 确认模式为异步或同步已启用,而非默认关闭状态
确认回调是否落地 确认失败时的处理路径存在(落库或告警),而非仅打印日志
路由失败是否可发现 开启了未路由消息的返回机制,且返回值被处理
消息是否持久化 消息投递模式为持久化,且目标队列与交换机均为持久化
幂等键是否稳定 重试时复用同一幂等键,不重新生成
重试是否有上限 次数上限、退避间隔、终止后的处理路径均已配置
批量发送是否与幂等共存 批量重试可能重复,确认消费端已有去重能力
发送失败是否留痕 失败消息进入本地表或本地消息表,可在无人工介入下重投

服务端

检查项 核对要点
持久化配置 队列、交换机、消息三者均为持久化
刷盘策略 刷盘周期与可接受的数据损失窗口一致
副本配置 副本数量与故障转移后的数据边界已确认
复制方式 异步复制下已确认消息仍可能在故障转移时回退,业务侧是否容忍
存储容量 磁盘水位告警已配置,避免写满后拒绝写入导致消息被丢弃
队列长度上限 队列最大长度与溢出策略明确,溢出时进入死信而非静默丢弃
死信绑定 正常队列已绑定死信交换机与路由键
集群状态 节点数量、仲裁队列或镜像策略、脑裂防护配置已核对

消费端

检查项 核对要点
确认模式 手动确认为主,自动确认仅用于可丢失消息
确认时机 确认为业务事务提交之后发出
异常路径 异常分支不会漏掉确认,避免消息被长期挂起
幂等实现 幂等键唯一约束或状态条件更新已生效,可承受并发
并发与顺序 prefetch、并发线程数与消息顺序要求是否兼容
重试配置 延迟重试、次数上限、死信兜底均已配置
死信消费者 死信队列有消费者或有人工处理流程,避免死信无限堆积
重复消费可观测 去重命中有统计,命中量异常增长可被发现

积压、死信量与重复命中的监控与阈值设置,参见 linux: 监控与告警 第 2.5 节与第 3.2 节,告警分级策略参见 SLO 与告警设计。

3.2 去重表方案的完整设计

表结构与唯一索引

CREATE TABLE message_dedup (
  id             BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
  idempotent_key VARCHAR(128)    NOT NULL COMMENT '幂等键:业务单号+动作,或稳定的消息ID',
  consumer_group VARCHAR(64)     NOT NULL COMMENT '消费方标识,同一消息被多方消费时区分',
  status         TINYINT         NOT NULL DEFAULT 0 COMMENT '0 处理中 1 处理成功 2 处理失败待补偿',
  biz_ref        VARCHAR(128)    DEFAULT NULL COMMENT '业务关联信息,便于排查',
  create_time    DATETIME(3)     NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
  update_time    DATETIME(3)     NOT NULL DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3),
  PRIMARY KEY (id),
  UNIQUE KEY uk_key_group (idempotent_key, consumer_group),
  KEY idx_status_time (status, update_time)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '消息消费去重表';

唯一键由"幂等键 + 消费方标识"构成。加入消费方标识的原因是:同一条消息可能被多个业务方消费,各方的处理相互独立,不应互相阻挡。

写入与判断顺序

正确顺序是先插入占位,再执行业务,最后标记成功:

@Transactional(rollbackFor = Exception.class)
public void consume(BizMessage msg) {
    try {
        dedupMapper.insert(msg.getIdempotentKey(), CONSUMER_GROUP);
    } catch (DuplicateKeyException e) {
        // 唯一键冲突:已在处理中或已处理完成
        DedupRecord record = dedupMapper.select(msg.getIdempotentKey(), CONSUMER_GROUP);
        if (record != null && record.getStatus() == STATUS_SUCCESS) {
            // 已成功处理,本次为重复投递,直接返回,由外层确认
            return;
        }
        // 处理中或待补偿:本次不做重复处理,交由重试或人工处理
        throw new IllegalStateException("重复消费被拒绝,等待前次处理结果");
    }
    doBiz(msg);
    dedupMapper.markSuccess(msg.getIdempotentKey(), CONSUMER_GROUP);
}

事务边界

去重表的插入、业务表的写入、状态标记必须处于同一数据库事务:

  1. 若去重占位与业务写入不在同一事务,业务回滚后占位仍在,重投会被误判为重复,消息永久丢失;
  2. 若占位与业务在同一事务,业务回滚时占位一并回滚,重投可正常重新处理。

当业务写入跨库或跨服务,无法与去重表共用同一事务时,应退化为"占位 + 业务状态校验"的双重判断,并接受更长的处理窗口。

清理策略

去重表会持续增长,需按幂等键的有效期清理:

  1. 保留期应大于"消息可能被重投的最大时间跨度",即重试队列的最大存活时间加上死信人工处理周期;
  2. 清理方式优先按时间分区后整分区丢弃,避免大批量删除造成锁与主从延迟;
  3. 单表内删除时按主键分段批量删除,控制单批行数与执行频率,避免长事务;
-- 按分区丢弃(推荐):一次性移除过期分区,代价与分区大小相关
ALTER TABLE message_dedup DROP PARTITION p2026_08;

-- 无分区时按主键分段删除,控制单批规模
DELETE FROM message_dedup
WHERE status = 1 AND update_time < DATE_SUB(NOW(), INTERVAL 30 DAY)
ORDER BY id LIMIT 2000;

高危 提醒:清理去重表记录等价于放弃对应消息的去重能力,被清理的记录一旦遇到延迟重投,会被当作新消息处理两次。兜底方式:清理前确认保留期确实覆盖重试与死信的最大存活时间,同时确认业务表本身具备兜底约束(业务唯一键或状态条件更新);删除操作先在从库或离线副本上验证影响行数,再在主库分批执行。

3.3 Redis 去重方案的设计

键设计

dedup:{consumerGroup}:{idempotentKey}
  • 前缀用于隔离环境与消费方,避免不同业务共用键空间后互相干扰;
  • 键值存放处理状态,例如 P 表示处理中、S 表示处理成功,便于区分"占用中"与"已完成"两种重复情形;
  • 键数量与幂等键基数一致,需在键中加入消费方维度,避免多消费方互相阻挡。

占位与过期

public boolean tryAcquire(String group, String key, Duration ttl) {
    Boolean ok = redis.opsForValue()
            .setIfAbsent("dedup:" + group + ":" + key, "P", ttl);
    return Boolean.TRUE.equals(ok);
}

过期时间按下式确定:

TTL > 消息最大重投时间跨度 + 重试队列最大存活时间 + 安全余量

TTL 过短会漏判:原记录过期后,迟到的重投被当作新消息。TTL 过长会误判:业务合法地重复执行同一动作(如用户二次下单使用同一幂等键)时被错误拒绝。

误判与漏判的边界

情形 后果 规避方式
占位成功但业务失败 标记残留,重投被误判为重复,消息实际未处理 失败时主动删除占位键;配合业务状态校验兜底
业务成功但标记写入失败 重投时被当作新消息,重复处理 以数据库唯一约束为最终防线
键被淘汰或缓存被清空 漏判,重复处理 不作为唯一防线
主从切换导致占位丢失 漏判,重复处理 使用强一致写入或改用数据库去重
TTL 小于重投跨度 漏判,重复处理 按最大重投跨度设置 TTL

结论:缓存去重适合作为性能优化层,用于在高吞吐下拦截绝大部分重复;最终正确性必须由数据库唯一约束或状态条件更新保证。两者叠加的设计是"缓存拦截重复、数据库兜底正确性"。

高危 提醒:清除去重键前缀(例如按模式批量删除)会在瞬间失去全部去重能力,此时任何重投都会直达业务层。兜底方式:删除前先确认业务侧唯一约束已生效;如需清理,按业务维度分批删除并避开重投高峰;生产环境优先使用带过期时间的自然淘汰,不使用按模式批量删除。

3.4 状态机幂等的设计

状态流转与非法转移拒绝

状态机幂等的核心是把幂等条件写入更新语句,让数据库判定本次流转是否合法:

-- 支付成功:仅允许从"待支付"流转到"已支付"
UPDATE order_info
SET status = 'PAID', pay_time = #{payTime}, update_time = NOW(3)
WHERE order_no = #{orderNo} AND status = 'UNPAID';
public void handlePaid(PaidMessage msg) {
    int updated = orderMapper.markPaid(msg.getOrderNo(), msg.getPayTime());
    if (updated == 0) {
        // 影响行数为 0:前置状态不满足,说明已处理或状态非法
        Order order = orderMapper.selectByNo(msg.getOrderNo());
        if (order != null && OrderStatus.PAID == order.getStatus()) {
            return; // 已支付,本次为重复消息,按成功处理
        }
        throw new IllegalStateException(
                "状态流转被拒绝,当前状态=" + (order == null ? "不存在" : order.getStatus()));
    }
}

设计要点:

  1. 每个合法流转对应一条带前置状态条件的更新语句,前置状态唯一;
  2. 影响行数为 0 时需查询当前状态,区分"重复到达"与"状态非法",两者处理方式不同;
  3. 非法转移必须以异常形式暴露,不能静默忽略,否则状态异常无法被发现;
  4. 状态变更与业务副作用(扣款、发券)应在同一事务内,或通过后续补偿对齐。

与顺序问题的结合

状态机天然处理乱序:旧消息携带的前置状态在当前记录中已不存在,更新影响行数为 0,被拒绝。这要求状态流转是单调推进的,且每条消息只允许触发一次特定的流转。若存在可回退的状态(如取消后恢复),需要引入版本号或时间戳比较,避免旧消息覆盖新状态。

状态流转图可用如下形式表达合法路径:

UNPAID ──支付成功──> PAID ──发货──> SHIPPED ──签收──> FINISHED
   │                    │
   └──取消──> CANCELED   └──退款──> REFUNDING ──> REFUNDED

任何未出现在图中的转移(如 FINISHED 回到 UNPAID)都应在代码层被拒绝。

3.5 消息积压的定位与处置

积压判定指标

单看队列长度无法判断是否存在问题,需要结合生产速率与消费速率:

指标 含义 判读
就绪消息数 等待投递的消息总量 持续上升即生产大于消费
未确认消息数 已投递未确认的消息数 持续接近 prefetch 上限说明消费端处理慢或阻塞
生产速率 单位时间入队消息数 与消费速率比较得出净增长
消费速率 单位时间确认消息数 下降说明消费能力受损
消费端处理耗时 单条消息处理时间 上升通常是下游依赖变慢
死信增长速率 单位时间进入死信的消息数 非零增长说明存在持续性失败
消费者数量 在线消费者实例数 与预期不符说明实例掉线或再平衡异常

判定积压是否成问题的依据是"耗尽时间",而不是绝对长度:积压量除以净增长速率得到预计耗尽时间,该时间与业务容忍窗口比较后决定处置级别。指标采集与告警阈值设置参见 linux: 监控与告警 第 1.2 节与第 3.2 节。

扩消费者与限流

  • 扩容消费者的前提是消息可并发处理。若消息要求严格顺序,增加消费者不会提升吞吐,只会造成重平衡与乱序;
  • 消费者数量增加会提高对下游依赖的并发压力,可能把瓶颈转移到数据库或下游接口,扩容前需确认下游容量;
  • 消费端限流(prefetch 或并发线程数)用于保护消费端自身,取值过小会限制吞吐,过大则在大消息场景下造成内存压力。取值依据是单条消息的处理耗时与可用内存,而非固定值。

批量消费

批量消费通过减少确认与网络往返提升吞吐,代价是:

  1. 单批失败时重试粒度变粗,整批重投会放大重复量,要求幂等实现更严格;
  2. 单批处理时间变长,确认延迟增加,故障时的重复窗口变大;
  3. 批大小需与下游批量写入能力匹配,超出后会退化为逐条处理。

临时转存与补偿

当积压量已超出队列的存储与消费能力,且无法在短时间内消化时,可采用转存:

  1. 由临时消费者快速拉取消息并写入能够承载高吞吐的存储(如对象存储、日志存储或大容量表),确认原消息;
  2. 由独立的补偿任务从转存位置读出并逐条重放,重放时同样需要幂等;
  3. 转存路径与新消息路径需区分,避免重放消息与实时消息争抢同一资源。

转存属于应急手段,会引入新的中间状态,必须记录转存批次与偏移量,确保可核对、可重放、可终止。

高危 提醒:清空堆积队列(purge)会永久删除其中全部消息,且不可恢复。兜底方式:清空前先落盘导出(消费端转存或服务端导出消息),核对导出条数与队列长度一致后再清空;若消息可重建,需确认上游能重发;执行前确认清空的是目标队列而非同名队列,清空范围用队列名精确指定,不使用模式匹配。

堆积期间的监控项

除常规队列指标外,堆积期间需额外关注:

  1. 消费端内存与线程池队列长度,避免积压在应用内部转移为内存积压;
  2. 下游依赖的成功率与响应时间,避免扩容后把下游打挂;
  3. 服务端磁盘水位与内存水位,堆积会同时消耗两者;
  4. 死信与隔离队列的增长量,区分"暂时慢"与"持续失败";
  5. 生产端的发送失败率与确认超时率,堆积导致的流控会反向影响生产端。

积压的容量规划、告警分级与应急处置的运维侧做法参见 消息中间件运维与治理 第三章。

3.6 延迟消息与定时消息的通用实现思路

延迟消息指消息投递后延迟一段时间才可被消费,定时消息指在指定时刻才可被消费。二者本质相同:把"可见时间"作为消息的属性。

方案一:定时表轮询

在业务库中建立待处理任务表,由定时任务按到期时间扫描并投递。

CREATE TABLE delayed_task (
  id            BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
  task_type     VARCHAR(64)     NOT NULL,
  biz_id        VARCHAR(64)     NOT NULL,
  payload       TEXT            NOT NULL,
  execute_time  DATETIME(3)     NOT NULL COMMENT '可见时间',
  status        TINYINT         NOT NULL DEFAULT 0 COMMENT '0 待处理 1 已投递 2 已取消',
  retry_count   INT             NOT NULL DEFAULT 0,
  create_time   DATETIME(3)     NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
  PRIMARY KEY (id),
  UNIQUE KEY uk_type_biz (task_type, biz_id),
  KEY idx_status_time (status, execute_time)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '延迟任务表';
轮询流程:
定时触发(如每秒一次)
  → SELECT ... WHERE status = 0 AND execute_time <= NOW() ORDER BY execute_time LIMIT N
  → 逐条投递到消息队列
  → 投递成功后标记 status = 1
  → 投递失败保留 status = 0,等待下一轮

要点:扫描条件必须命中 (status, execute_time) 索引,避免全表扫描;用"先更新状态为处理中再投递"或乐观锁避免多实例重复投递;批量大小与扫描频率需按到期任务量调整。

优点:实现简单、可查询可修改(取消或改期只需更新记录)、时间精度可控。缺点:依赖数据库轮询,时间精度受扫描间隔限制;待处理任务量大时扫描与更新压力集中在业务库;需要业务库承担任务存储。

方案二:延迟队列

由消息中间件保存消息并在到期后投递。

投递路径:
生产端 → 延迟交换机/延迟队列(设置延迟时长)→ 到期 → 目标队列 → 消费端

要点:延迟时长可按消息维度设置;不同延迟时长若映射到同一延迟队列,队列内消息的到期顺序与入队顺序不一致;固定延迟时长的场景可以用"延迟队列不设消费者 + 过期后转死信"的方式实现,该方式下延迟时长由队列统一决定,无法按消息区分。

具体产品的延迟实现方式与配置参见 RabbitMQ 理论与实践手册 第 2.5 节。

方案三:定时扫描业务数据

不额外存储任务,直接按业务数据的时间字段扫描。例如扫描"创建时间早于 30 分钟且状态仍为待支付"的订单。

要点:需要业务字段上有合适的索引;扫描条件与业务状态耦合,业务规则变化时需同步调整扫描逻辑;无法表达"取消定时"之外的复杂改期需求,改期通过更新业务字段实现。

代价对比

方案 时间精度 时间可变性 存储成本 对业务库的压力 适用场景
定时表轮询 受扫描间隔限制 可随时取消与改期 任务表随任务量增长,需清理 扫描与状态更新压力 需要取消/改期、任务量可控
延迟队列 较高,接近到期即投递 一般不可改期,取消需业务侧拦截 由消息服务端承担 无 延迟时长固定且无需改期
定时扫描业务数据 受扫描间隔限制 通过更新业务字段实现 无额外存储 与业务查询争用资源 延迟规则简单、可从事务数据推导

三者的选择依据是"是否需要取消与改期"以及"延迟时长是否按消息变化"。需要取消与改期的场景,定时表方案最直接;无需改期且时长固定的场景,延迟队列的实现成本最低。

定时任务本身的调度方式与可靠性(漏执行、重复执行、时钟漂移)参见 定时任务与定时器。

3.7 死信与人工补偿

死信来源分类

来源 产生原因 处理方式
消费失败达到重试上限 依赖持续不可用或业务逻辑缺陷 落库留痕,修复后重投
消息格式非法 生产端与消费端协议不一致、字段缺失 修复消息或补齐字段后重投,或直接归档
消息过期 消息在队列中等待超过有效期 判断业务是否仍需处理,多数可直接归档
队列长度溢出 消费能力不足导致队列达到上限 通常需先解决积压,再判断溢出消息是否仍需处理
消息被显式拒绝且不重回队列 消费端判定为不可恢复失败 转人工判定

处理台与重投流程

死信处理需要一套可追溯的流程,最小实现包含:

  1. 死信落库:记录消息体、原始队列、失败原因、失败次数、首次失败时间与最近失败时间;
  2. 查询与筛选:按来源、时间、失败原因筛选,支持按业务单号定位;
  3. 重投:重投时复用原幂等键,确保重投不会造成重复业务效果;重投应进入原队列,而非其他队列;
  4. 终止与归档:确认无需处理的消息标记为归档,保留记录但不再进入流程;
  5. 权限:重投与归档操作记录操作人与操作时间,操作日志的留存与审计参见 日志查询与审计。

高危 提醒:批量重投会把积压瞬间转回正常链路,若原失败原因未修复,会造成二次积压并可能击穿下游;同时若幂等键复用不当,会直接产生重复业务。兜底方式:重投前先确认失败原因已修复,先用单条或小批量验证业务效果;重投设置速率上限;保留原始死信记录直到确认重投成功;重投与删除死信记录分开执行,不合并为一个动作。

高危 提醒:删除死信队列中的消息会丢失全部失败现场,事后无法复盘与重投。兜底方式:删除前必须完成落库或归档,并校验归档条数与消息条数一致;生产环境禁止直接清空死信队列,仅允许标记归档后由清理任务按保留期删除。

审计与对账

死信处理的审计要求:

  1. 每条死信从产生到归档的全过程可追溯:谁、在何时、做了什么、结果如何;
  2. 重投动作记录原消息 ID 与幂等键,便于与业务表核对;
  3. 定期对账:死信归档量与业务侧失败量比较,差值需可解释;
  4. 死信总量、未处理量、处理时长作为常态指标纳入监控,避免死信队列成为无人管理的黑盒。

3.8 验证与演练

幂等与重复消费的注入测试

幂等实现必须在有重复输入的条件下验证,仅靠代码审查无法确认。测试方法:

  1. 同一消息重复投递:对同一幂等键连续投递 2 至 3 次,核对业务表只产生一条记录、状态只推进一次;
  2. 并发重复投递:多个消费者线程同时投递同一幂等键,核对无并发竞态(业务侧无重复扣减、去重表无重复行);
  3. 超长间隔重复投递:在超过缓存 TTL 后再次投递,核对数据库唯一约束或状态条件更新仍能拦截;
  4. 乱序投递:把同一业务的多条消息按逆序投递,核对状态机拒绝旧消息而不是把状态回退;
  5. 缓存与数据库不一致:手动清除去重缓存后重复投递,核对数据库层兜底生效。

故障注入与恢复验证

注入点 注入方式 期望结果
生产端网络 发送后立即断网或阻断确认回包 消息被重试并最终到达,消费端只处理一次
服务端刷盘前 在确认返回前终止服务端进程 未确认消息由生产端重投,已确认消息不丢
副本落后 暂停从副本复制后终止主副本 故障转移后核对消息回退量与复制延迟一致,业务侧可容忍
消费端处理中 处理业务后、确认前终止消费进程 消息重新投递,幂等生效,无重复业务效果
消费端异常 注入业务异常使消息反复失败 重试达到上限后进入死信,正常队列不被阻塞
下游依赖 使下游持续超时 消费速率下降并触发积压告警,不产生丢失

演练过程需与变更流程结合,注入动作、影响范围、回滚方式在演练前明确记录,演练结论用于修正核对清单与告警阈值。故障注入的组织与复盘方法参见 变更与发布管理,历史故障的处置经验参见 故障案例库。性能类参数(prefetch、并发数、批大小)的取值需通过压测与基线对比确定,参见 性能测试与基线。

四、总结

  • 消息可靠性由生产、存储、消费三个环节共同决定,任一环节单独做足都无法覆盖其余环节
  • 丢失去向可归为三类:生产端未落地、服务端存储失效、消费端处理失败或确认丢失
  • "恰好一次"在跨进程条件下无法由单方保证,工程上采用"至少一次投递 + 消费端幂等",重复是设计前提
  • 生产端可靠性由确认机制承载,同步与异步的取舍是延迟与吞吐的取舍;批量与重试会制造重复,必须与幂等共存
  • 存储端可靠性由持久化、刷盘策略与副本共同决定,刷盘策略本质是选择可接受的数据损失窗口
  • 消费端可靠性的关键是确认时机后移到业务事务提交之后,代价是重复窗口扩大,由幂等承担
  • 幂等实现按依赖组件分为唯一键与去重表、状态机与版本号、缓存去重、业务天然幂等四类;缓存负责拦截、数据库负责正确性
  • 乱序场景下的幂等必须基于状态或版本,而非布尔标识;并发场景下必须依赖唯一约束或原子操作,避免先查后写的竞态
  • 重试必须有次数上限、退避与抖动,并与死信分工:重试是自动路径,死信是自动路径的终点
  • 积压判定依据是耗尽时间而非绝对长度,处置手段包括扩容、限流、批量消费与临时转存,转存需保留批次偏移量
  • 延迟消息有三类通用实现:定时表轮询、延迟队列、定时扫描业务数据,选择依据是否需要取消与改期
  • 死信必须有落库、重投、归档与审计的完整流程,批量重投与删除死信属于高危操作,需先归档并验证
  • 幂等与可靠性的验证依赖重复注入与故障注入,仅靠代码审查无法确认