一、起源
一致性问题的起点是"一次业务操作需要在多个数据源上产生相互关联的写入,而这些写入无法被同一个本地事务覆盖"。消息中间件在其中承担的角色是把这类跨数据源的写入拆解为若干个可重试的步骤,通过重试与对账逐步收敛到一致状态。本章先确定不一致的具体来源与方向,再进入方案层面。
1.1 跨服务写操作的原子性缺口
单体应用依赖数据库本地事务保证原子性:同一事务内的多次写入,要么全部提交,要么全部回滚。当一次业务操作需要同时完成"修改本服务的数据库"和"让其他服务感知这次修改"时,原子性出现缺口。
缺口来自三个客观事实:
- 本地事务的作用域只覆盖本库,不覆盖远程服务调用;
- 发送消息是跨进程操作,其成功与否无法纳入本地事务的提交或回滚;
- 接收方是否处理成功,发送方无从获知,除非引入额外的确认与查询机制。
于是一次业务操作被拆成两个独立的原子动作,两者之间不存在共同的协调者,失败时无法自动回到一致状态。
1.2 先写库还是先发消息的两难
两次写入的先后顺序决定了不一致的方向,无法通过调整顺序消除问题。
先写库,再发消息
本地事务提交成功 → 发送消息 → 发送失败或进程崩溃
结果:数据库已变更,下游未收到通知
不一致的方向是"上游已做,下游未知"。对下游而言表现为数据缺失,业务上通常体现为下游单据缺失、后续流程无法启动。
先发消息,再写库
发送消息成功 → 本地事务提交 → 提交失败或回滚
结果:消息已发出,数据库未变更
不一致的方向是"下游已知,上游未做"。对下游而言表现为处理了不存在的业务,业务上通常体现为下游多写、账目多记。
两者相比,先写库后发消息的不一致更容易修复:下游缺少数据时,可以通过对账发现并从上游补齐;而下游多写的数据需要被撤销,涉及冲正、退款等更复杂的补偿。这也是多数方案选择"先保证本地事务,再保证消息送达"的原因。
1.3 一致性的业务容忍度差异
不同业务对不一致的容忍度不同,方案强度应与之匹配:
| 业务类型 | 容忍度 | 约束 |
|---|---|---|
| 支付与账务 | 不允许账目不平,不允许金额偏差 | 必须有对账,差异必须可定位到单据 |
| 订单与库存 | 允许短时不一致,不允许永久不一致 | 最终一致时间需在业务可接受窗口内 |
| 通知与消息推送 | 允许丢失少量非关键通知 | 可用最大努力通知,不需要强一致 |
| 跨系统数据同步 | 允许延迟,不允许中间态对外可见 | 需要中间态设计或读侧兜底 |
容忍度决定了方案的选择:零容忍场景需要在最终一致之上叠加对账与人工干预;可容忍延迟的场景只需要保证最终收敛,中间态通过业务设计隐藏。
二、原理
2.1 分布式事务的常见方案谱系
按一致性强度与实现成本排列,常见方案可分为五类:
| 方案 | 一致性强度 | 一致性达成时机 | 对参与方的要求 | 实现成本 | 运维复杂度 |
|---|---|---|---|---|---|
| 两阶段提交(2PC/XA) | 强一致(提交后即一致) | 事务提交时 | 各参与方需支持 XA 协议 | 中 | 高,协调者单点、长事务持锁 |
| TCC | 强一致(业务层面) | Try 全部成功后 Confirm | 每个参与方实现 Try/Confirm/Cancel 三个接口 | 高 | 高,需处理空回滚、悬挂、幂等 |
| 本地消息表 | 最终一致 | 异步重试后收敛 | 无额外要求,消息表与业务同库 | 低 | 低 |
| 事务消息 | 最终一致 | 回查与投递后收敛 | 消息中间件需支持半消息与回查 | 中 | 中 |
| 最大努力通知 | 最终一致(不保证不丢) | 重试与对账后收敛 | 通知方实现重试,接收方实现幂等 | 低 | 中,需对账兜底 |
消息队列在其中的位置
消息中间件不是分布式事务协调者,它提供的是"把本地事务的结果可靠地传播出去"的能力。本地消息表与事务消息都是把"本地数据库写入"与"消息投递"合成一个最终一致的组合动作:
- 本地消息表把消息的持久化放在业务库,用业务库的本地事务把"业务变更"与"待发送消息"绑定为原子;
- 事务消息把消息的持久化放在消息服务端,用半消息与回查把"本地事务结果"与"消息是否可见"绑定为原子。
两种方式的共同前提是:本地事务的结果必须可查询,否则无法在故障后判定应该提交还是回滚。这是所有基于消息的最终一致方案的基础要求。
2.2 本地消息表原理
与业务同库
在业务库中建立消息表,业务变更与消息记录在同一个本地事务中提交:
BEGIN;
-- 业务变更
UPDATE account SET balance = balance - 100 WHERE id = 1;
-- 记录待投递消息
INSERT INTO local_message (biz_id, msg_type, payload, status)
VALUES ('T20260922001', 'ACCOUNT_DEBIT', '{"accountId":1,"amount":100}', 0);
COMMIT;
事务提交成功即代表"业务已变更且消息已记录",失败则两者一并回滚,不存在"业务已变更但消息未记录"的状态。
异步投递
独立的中继任务扫描消息表中状态为待投递的记录,投递到消息中间件,成功后把状态更新为已投递:
中继流程(独立进程或定时任务):
1. SELECT ... WHERE status = 0 AND next_retry_time <= NOW() LIMIT N
2. 逐条投递到消息中间件
3. 投递成功 → status = 1(已投递)
投递失败 → retry_count + 1,按退避策略更新 next_retry_time
次数超限 → status = 3(已终止),转人工处理
重试与状态标记
投递失败的重试由状态字段与重试时间驱动,天然支持"投递成功但状态更新失败"这一情形:下次扫描仍会投递同一条消息,接收方通过幂等吸收重复。因此本地消息表方案必然要求消费端幂等,具体机制参见 消息可靠性与幂等设计 第二章第五节。
优缺点
优点:
- 不依赖消息中间件提供特殊能力,任何支持消息投递的中间件都可以配合;
- 不引入 XA,不产生跨库长事务与长期持锁;
- 消息记录与业务数据同库,查询、核对、补投都在一个数据源内完成。
缺点:
- 业务库需要额外承担消息存储与扫描流量,消息量大时对业务库形成压力;
- 投递存在固有延迟,延迟由扫描间隔决定,无法做到实时;
- 消息表会持续增长,需要归档与清理策略;
- 每个业务库都需要建表与中继任务,接入成本随服务数量线性增长。
2.3 事务消息原理
半消息与回查机制
事务消息把消息的"写入"与"可见"拆成两步:
1. 生产端发送半消息(half message)
→ 消息已持久化在服务端,但对消费者不可见
2. 服务端确认半消息已接收,返回发送成功
3. 生产端执行本地事务
4. 生产端根据本地事务结果发送提交或回滚指令
→ 提交:消息对消费者可见,进入正常投递
→ 回滚:消息被删除
5. 若服务端长时间未收到第 4 步的指令(生产端崩溃、网络中断)
→ 服务端主动回查生产端,询问该事务的最终结果
6. 生产端根据本地事务的持久化结果答复提交或回滚
半消息的价值在于:把"消息已发送"这一事实先固定下来,使生产端在本地事务执行前就获得一个可靠的记录点;本地事务的结果随后通过提交/回滚指令或回查补上。这样即使生产端在执行本地事务后崩溃,服务端也能通过回查获知结果,不会出现"本地事务已提交但消息永久丢失"。
回查接口的幂等要求
回查接口会被多次调用,且调用时机不确定。实现要求:
- 可重复调用:同一事务 ID 回查多次,返回值必须一致,接口内部不得产生副作用;
- 结果必须来自持久化状态:不能依赖内存变量或请求上下文,只能根据事务 ID 查询业务库中的记录;
- 返回值只有提交、回滚两种确定结果:无法判定时必须返回"未知",由服务端稍后再次回查,不能凭猜测返回;
- 查询必须有索引:回查是高频路径,事务 ID 或业务单号上必须有唯一索引;
- 事务记录必须与业务变更同事务写入:否则回查时无法区分"业务未执行"与"业务已执行但记录未写"。
回查机制决定了事务消息对业务代码的侵入方式:本地事务必须留下一条可被事务 ID 索引的记录,这意味着要么业务表本身可作为判定依据(如订单表带业务单号唯一键),要么额外建一张事务记录表。
与本地消息表的取舍
| 维度 | 本地消息表 | 事务消息 |
|---|---|---|
| 消息存储位置 | 业务库 | 消息服务端 |
| 业务库压力 | 承担消息存储与扫描 | 仅承担事务记录查询 |
| 投递延迟 | 由扫描间隔决定 | 本地事务完成后立即提交,延迟更小 |
| 对中间件的依赖 | 无特殊要求 | 需支持半消息与回查 |
| 最坏情形的收敛路径 | 中继任务重试 | 服务端回查加提交 |
| 接入成本 | 每库建表加中继任务 | 实现回查接口,接入一次 |
| 适用场景 | 中间件能力有限、消息量中等 | 中间件支持且消息量大、延迟敏感 |
选择依据不是"哪个更先进",而是"中间件是否提供该能力"与"业务库能否承受额外负载"。两者都必须配合消费端幂等,且都存在投递延迟,都不提供读侧的强一致。
事务消息的具体发送方式、回查配置与超时参数属于实现层内容,参见本目录的 AMQP 协议完整详解 与 RabbitMQ 理论与实践手册,以半消息与状态回查原生支持事务消息的实现参见 RocketMQ,以事务生产者实现跨分区原子写的实现参见 Kafka;下文第 3.2 节给出与产品无关的时序与回查要点。
2.4 最大努力通知原理
适用场景
最大努力通知用于接收方不可控或不愿配合改造的场合:
- 接收方为外部系统或第三方,无法要求其实现事务回查、TCC 等接口;
- 通知内容为非关键信息,丢失少量可接受;
- 接收方具备自己的查询或对账能力,可在发现缺失后主动拉取。
此时发送方的承诺从"消息必达"降级为"尽力送达并留痕",最终正确性由接收方主动查询或双方对账保证。
重试与对账
最大努力通知包含两个部分:
- 主动通知:按阶梯递减的频率重试,覆盖接收方短时不可用的窗口;
- 被动对账:接收方按周期查询或双方比对数据,弥补重试耗尽后的遗漏。
两部分缺一不可。只做重试则存在永久遗漏;只做对账则发现延迟过大。重试负责缩短正常情况的延迟,对账负责保证最终不漏。
2.5 最终一致的边界
最终一致表示"经过一段不确定的收敛时间后,各方数据达成一致",但收敛期间存在中间态,必须明确中间态的可见性与兜底方式。
中间态的可见性设计
收敛期间业务数据可能处于中间状态,例如"订单已创建但优惠券未发放""支付已成功但订单状态仍为待支付"。处理方式有三种:
- 隐藏中间态:查询接口不返回中间状态的数据,如同步未完成的数据暂不展示,完成后一次性呈现;
- 显式标注中间态:返回处理中状态并说明原因,由前端引导用户等待或稍后重试;
- 允许中间态可见并设计兜底:中间态本身可被查询,但业务逻辑针对中间态有明确处理分支。
选择依据是业务对"看到中间态"的接受程度。涉及对外展示的场景优先隐藏或显式标注,避免用户看到自相矛盾的数据。
Query 补偿接口
最终一致方案需要提供一处"按业务单号查询真实状态"的接口,供以下场景使用:
- 对账任务比对双方数据时,以该接口作为上游的权威来源;
- 下游长时间未收到消息时主动查询,避免仅依赖推送;
- 人工排查时确认业务实际状态,而不是依据消息是否发出推断。
该接口读取的必须是本地事务的持久化结果,不能依赖消息是否已投递。
读侧兜底
读侧需要在数据未收敛时给出可接受的响应:
- 读到旧数据时,若业务允许,直接返回并附上数据时间;
- 读到缺失数据时,触发同步查询或返回明确的"处理中",而不是返回错误或空值;
- 关键链路可将读请求路由到写入方,绕过尚未同步的副本,主从复制延迟的来源与表现参见 mysql:主从同步原理 第 2.7 节。
2.6 幂等与顺序在一致性方案中的位置
一致性方案本身不保证"不重复",而重复是最终一致方案的必然产物:
- 本地消息表的中继任务在"投递成功但状态更新失败"时会重复投递;
- 事务消息的回查在返回"未知"后可能被多次触发,提交指令也可能重复送达;
- 最大努力通知的重试天然会重复通知。
因此所有一致性方案都必须叠加消费端幂等,一致性方案负责"不让操作丢失",幂等负责"不让重复产生副作用"。幂等的实现手段、幂等键的选择、状态机与并发竞态的处理已在 消息可靠性与幂等设计 第二章第五节与第三章第二至四节展开,本文不重复。
顺序与一致性的关系同样如此:一致性方案可能重复投递,也可能因重试导致消息到达顺序与业务发生顺序不一致。需要顺序保证时,应以业务状态机而非投递顺序作为正确性的判据,具体见上述文档第二章第六节。
三、实现
3.1 本地消息表落地
表结构
CREATE TABLE local_message (
id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
biz_id VARCHAR(64) NOT NULL COMMENT '业务单号',
msg_type VARCHAR(64) NOT NULL COMMENT '消息类型/动作类型',
payload TEXT NOT NULL COMMENT '消息体,含幂等键',
status TINYINT NOT NULL DEFAULT 0 COMMENT '0 待投递 1 已投递 2 投递失败待重试 3 已终止待人工',
retry_count INT NOT NULL DEFAULT 0,
next_retry_time DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
last_error VARCHAR(512) DEFAULT NULL COMMENT '最近一次失败原因',
create_time DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
update_time DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3),
PRIMARY KEY (id),
UNIQUE KEY uk_biz_type (biz_id, msg_type),
KEY idx_status_retry (status, next_retry_time)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '本地消息表';
设计要点:
(biz_id, msg_type)唯一键防止业务重复写入消息记录;同一业务单号触发同一动作时,重复插入会被拦截,代表消息已存在,无需再次记录;(status, next_retry_time)覆盖扫描条件,避免中继任务全表扫描;payload中必须包含幂等键与业务单号,使消费端可在不反查上游的情况下完成去重;- 记录
last_error便于区分"网络类失败"与"参数类失败",参数类失败不应无限重试。
发送流程时序
业务线程 中继任务
│ │
├─ BEGIN ──────────────────────────── │
├─ 业务表变更 │
├─ INSERT local_message(status=0) │
├─ COMMIT ─────────────────────────── │
│ ├─ SELECT status=0 AND next_retry_time<=NOW()
│ ├─ 投递到消息中间件
│ ├─ 成功 → UPDATE status=1
│ └─ 失败 → retry_count+1, next_retry_time 后移
│
└─ 向调用方返回业务结果(不等投递完成)
关键点:业务返回时机在本地事务提交之后,与消息是否投递无关。调用方得到的是"业务已受理",而不是"下游已处理"。
状态机
| 状态 | 含义 | 允许的转移 | 触发条件 |
|---|---|---|---|
| 0 待投递 | 已记录,未发出 | → 1、→ 2 | 中继任务首次处理 |
| 1 已投递 | 中间件已接收 | 终态(异常情况下可人工改回 0) | 投递成功 |
| 2 投递失败待重试 | 已尝试但失败,未超限 | → 1、→ 2、→ 3 | 投递失败且 retry_count 未超限 |
| 3 已终止待人工 | 重试耗尽 | → 0(人工重置) | retry_count 超过上限 |
状态流转必须用带前置状态条件的更新语句,避免并发中继任务重复处理同一条记录:
-- 抢占待投递记录,影响行数为 1 者获得处理权
UPDATE local_message
SET status = 2, retry_count = retry_count + 1, next_retry_time = #{nextTime}
WHERE id = #{id} AND status = 0 AND next_retry_time <= NOW(3);
重试与死信
- 重试间隔按指数退避增长并封顶,避免对暂时不可用的中间件形成持续冲击;
- 重试次数上限应覆盖中间件可接受的最长故障恢复时间,超过上限进入状态 3;
- 进入状态 3 的记录必须触发告警并进入人工处理队列,否则一致性链路静默断裂;
- 区分失败类型:连接类、超时类失败按重试处理;序列化失败、路由不存在、权限不足属于不可自愈失败,应直接进入状态 3,不必耗尽重试次数。
清理策略
消息表需要保留足以覆盖"消费端可能追溯的窗口",通常在消息投递成功且业务确认完成后归档:
-- 按时间分区后整体丢弃(推荐)
ALTER TABLE local_message DROP PARTITION p2026_08;
-- 无分区时按主键分段删除,仅删除已投递且超过保留期的记录
DELETE FROM local_message
WHERE status = 1 AND update_time < DATE_SUB(NOW(), INTERVAL 14 DAY)
ORDER BY id LIMIT 2000;
高危 提醒:清理本地消息表会丢失重投能力与排查依据,删除尚未投递(状态 0、2)或已终止(状态 3)的记录等同于直接放弃这些消息。兜底方式:清理条件必须限定状态为 1 且超过保留期;删除前先统计各状态记录数,确认无待投递与待人工记录被覆盖;生产库上按分段执行并观察主从延迟,避免大批量删除引发复制滞后。
高危 提醒:手工把状态 3 的记录重置为 0 会触发重新投递,若业务实际已处理,将产生重复副作用。兜底方式:重置前先用 Query 接口确认业务真实状态;确认未处理的记录才重置;逐条重置并观察投递结果,不使用批量更新语句一次性重置全部记录。
3.2 事务消息落地
发送与回查时序
生产端 消息服务端 消费端
│ │ │
├─ 1. 发送半消息 ─────────────────────────► │(持久化,消费者不可见) │
│ ◄────────────────────── 2. 半消息接收成功 │ │
├─ 3. 执行本地事务(写业务库) │ │
├─ 4. 发送提交/回滚指令 ──────────────────► │ │
│ ├─ 提交:消息可见 ─────────► │
│ └─ 回滚:删除半消息 │
│ │ │
│ (若生产端在 3 与 4 之间崩溃或网络中断) │ │
│ ◄──── 5. 回查该事务的最终结果 ──────────── │ │
├─ 6. 查询本地事务记录,答复提交/回滚 ──────► │ │
│ └─ 按答复处理半消息 ───────► │
回查实现要点
/**
* 事务状态回查:由消息服务端触发,可能被多次调用
* 必须无副作用、结果稳定、来源于持久化状态
*/
public TransactionStatus checkTransaction(String transactionId) {
// 1. 按事务ID查询业务库中的事务记录(transaction_id 上需有唯一索引)
BizTransaction tx = txMapper.selectByTransactionId(transactionId);
// 2. 无记录:本地事务未执行或已回滚,回复回滚
if (tx == null) {
return TransactionStatus.ROLLBACK;
}
// 3. 有记录且已提交:回复提交,使消息对消费者可见
if (tx.getStatus() == TX_COMMITTED) {
return TransactionStatus.COMMIT;
}
// 4. 有记录但状态不确定:回复未知,由服务端稍后再次回查
// 禁止凭猜测回复提交或回滚
return TransactionStatus.UNKNOWN;
}
实现检查项:
| 检查项 | 要求 |
|---|---|
| 幂等性 | 同一事务 ID 多次回查返回结果一致,接口内无写操作 |
| 数据来源 | 只读业务库持久化记录,不依赖内存状态与请求上下文 |
| 索引 | 事务 ID 或业务单号上有唯一索引,回查查询走索引 |
| 未知语义 | 无法判定时返回未知,不猜测;返回未知的记录需可观测,避免长期悬空 |
| 事务记录写入时机 | 与业务变更处于同一本地事务 |
| 记录保留 | 事务记录保留时间需覆盖回查可能发生的最大时间跨度 |
超时与失败处理
- 半消息发送失败:直接按业务失败处理,本地事务不执行,由调用方决定是否重试整个业务操作;
- 本地事务执行失败:发送回滚指令;若回滚指令发送失败,由服务端回查得到回滚结论,最终一致;
- 提交指令发送失败:由服务端回查得到提交结论,消息仍会投递;
- 回查持续返回未知:需设置悬空时长阈值并告警,人工介入判定,避免半消息长期不可见;
- 提交指令重复送达:服务端需幂等处理,生产端无需关心;
- 消费端重复消费:由消费端幂等吸收。
Spring 生态中的接入方式
事务消息在 Spring 生态中通过消息中间件提供的 TransactionTemplate 或 sendMessageInTransaction 一类接口接入,调用方需实现两件事:一个本地事务执行入口,一个事务状态回查入口,由框架在发送半消息后回调本地事务,并在超时后回调回查。
// 示意结构:具体类名与参数随中间件客户端而不同
public void createOrder(OrderCommand cmd) {
// 发送半消息并触发本地事务回调
rocketMQTemplate.sendMessageInTransaction(
"order_topic",
MessageBuilder.withPayload(cmd).setHeader("bizId", cmd.getOrderNo()).build(),
cmd);
}
@RocketMQTransactionListener
class OrderTxListener implements RocketMQLocalTransactionListener {
@Override
public RocketMQLocalTransactionState executeLocalTransaction(Message msg, Object arg) {
// 本地事务:业务写入与事务记录同一事务提交
orderService.createWithTxRecord((OrderCommand) arg);
return RocketMQLocalTransactionState.COMMIT;
}
@Override
public RocketMQLocalTransactionState checkLocalTransaction(Message msg) {
// 回查:只读,无副作用,结果稳定
return orderService.queryTxState((String) msg.getHeaders().get("bizId"));
}
}
具体的确认模式、监听器注册方式与超时参数依赖具体中间件的客户端实现,参数细节与完整示例参见 RabbitMQ 理论与实践手册 第四部分与 RabbitMQ 第十一章;事务在 Spring 中的传播与回滚语义参见 Spring Framework 核心体系,工程结构与配置组织参见 Spring Boot 主脉络。
3.3 最大努力通知落地
通知重试曲线
重试频率按阶梯递减,覆盖接收方短时不可用,同时避免持续高频重试:
| 阶段 | 重试间隔 | 累计重试次数 | 说明 |
|---|---|---|---|
| 快速重试 | 10 秒 | 6 次 | 覆盖网络抖动与接收方瞬时重启 |
| 中速重试 | 1 分钟 | 10 次 | 覆盖接收方短时故障 |
| 慢速重试 | 10 分钟 | 12 次 | 覆盖接收方较长故障 |
| 低频重试 | 1 小时 | 24 次 | 覆盖接收方计划内维护窗口 |
| 停止主动通知 | — | — | 转由接收方主动查询与对账覆盖 |
参数需按业务容忍度与接收方处理能力调整,累计重试周期应覆盖接收方计划内维护窗口。若接收方维护窗口长于重试周期,遗漏必然发生,此时对账是唯一收敛手段。
通知内容与幂等
通知体必须包含业务唯一标识与通知类型,使接收方可去重;接收方的幂等由接收方自行实现,通知方无法代为保证。通知方需记录每次通知的结果(时间、返回码、返回内容),作为对账与责任界定的依据。
对账任务
对账流程:
1. 按周期(如每日或每小时)取通知方在某时间窗内产生的业务单据
2. 调用接收方的查询接口或读取接收方的对账文件,获取接收方在该时间窗内的记录
3. 双向比对:通知方有而接收方无 → 漏通知;接收方有而通知方无 → 重复或数据异常
4. 对漏通知的单据重新通知,重通知同样需要接收方幂等
5. 记录本次对账的差异数量与处理结果
对账的时间窗需要有重叠(如取前一日的 23:00 至当日 01:00),避免边界单据因时间戳偏差被漏掉。
人工干预入口
以下情形需要人工处理:对账差异在自动补偿后仍存在;通知方与接收方对同一单据的状态判定不一致;金额或数量不符。人工入口需支持按业务单号查看双方状态、查看全部通知记录,并记录处理结论。
3.4 对账与补偿
对账维度与频率
| 维度 | 说明 | 频率参考 |
|---|---|---|
| 单据数量 | 双方在同一时间窗内的单据条数比较 | 高频(小时级) |
| 单据状态 | 同一单号在双方的状态是否对应 | 高频 |
| 金额与数量 | 账务类必须逐笔或汇总核对 | 高频,且必须有日终汇总 |
| 明细与流水 | 逐笔流水比对,用于定位差异来源 | 日终 |
| 通知记录 | 通知次数、成功次数与业务单据数是否匹配 | 日终 |
频率依据是业务可接受的最长不一致时间。资金类业务的对账频率应不低于资金清算频率。
差异分类与自动补偿边界
| 差异类型 | 表现 | 自动补偿 | 人工介入 |
|---|---|---|---|
| 漏投递 | 上游有单据,下游无记录 | 可自动重通知(下游幂等) | 自动补偿连续失败后介入 |
| 重复处理 | 下游存在重复记录 | 不自动删除,仅告警 | 必须人工确认后冲正 |
| 状态不一致 | 双方均有记录但状态不同 | 可自动以下游业务规则重新推进一次 | 金额或状态不可自动判定时介入 |
| 金额不符 | 双方金额不一致 | 不自动调整 | 必须人工核查 |
| 单据缺失且上游也无 | 双方均无记录 | 无可补偿 | 需回溯上游业务入口 |
自动补偿的边界原则:可自动重放,不可自动冲正。重放依赖下游幂等,最坏结果是重复被吸收;冲正涉及金额与业务状态的逆向操作,一旦判定错误会造成新的不一致,必须人工确认。
人工介入流程
1. 对账任务产出差异清单
2. 差异按类型自动分流:可自动补偿的直接重放,其余进入人工队列
3. 人工队列按金额与业务类型分级,资金类优先
4. 处理人依据双方状态与通知记录判定责任方
5. 执行补偿动作(重放、冲正、补单),动作需记录操作人与依据
6. 差异关闭,并回填原因分类,用于统计与流程改进
对账任务本身的可靠性与执行记录需纳入监控,避免对账中断后无人发现。对账中断等同于一致性兜底失效。
3.5 方案选型对照表
| 维度 | 两阶段提交 | TCC | 本地消息表 | 事务消息 | 最大努力通知 |
|---|---|---|---|---|---|
| 一致性强度 | 强一致 | 强一致(业务层) | 最终一致 | 最终一致 | 最终一致(不保证不丢) |
| 收敛触发 | 提交即一致 | Confirm 完成 | 中继任务重试 | 服务端提交与回查 | 重试与对账 |
| 典型收敛延迟 | 事务时长内 | 秒级 | 扫描间隔量级 | 秒级 | 分钟至小时,依赖对账 |
| 业务侵入 | 低(依赖协议支持) | 高(三接口) | 中(建表加中继) | 中(实现回查) | 低(实现重试) |
| 对中间件依赖 | 需支持 XA | 无 | 无 | 需支持半消息与回查 | 无 |
| 数据不一致风险 | 协调者故障时阻塞 | Cancel 失败时需补偿 | 中继长期失败 | 回查悬空 | 重试耗尽后依赖对账 |
| 运维复杂度 | 高 | 高 | 低 | 中 | 中(需对账体系) |
| 适用场景 | 同构数据库、短事务 | 资金冻结、资源预留 | 通用、消息量中等 | 消息量大、延迟敏感 | 外部系统、不可控接收方 |
| 是否必须幂等 | 是 | 是 | 是 | 是 | 是 |
选型顺序建议:
- 先判断能否通过业务设计规避分布式事务(如把跨服务操作收敛到同一服务、或改为可重入的单向流程);
- 无法规避时,优先选择实现成本最低且能达成业务容忍度的方案,多数场景下本地消息表足够;
- 仅在中间件支持且延迟敏感、消息量大的情况下选择事务消息;
- 接收方不可控时选择最大努力通知,并同步建设对账能力;
- 强一致仅在业务确实无法容忍中间态时选择,并评估长事务对可用性与性能的影响。
3.6 典型业务场景
订单与库存
场景:下单成功需要扣减库存,两者分属不同服务。
- 关键约束:不允许超卖,允许库存扣减有延迟;
- 方案取舍:本地消息表或事务消息均可。订单侧在本地事务中写入订单与待投递消息,库存侧消费消息扣减库存并幂等;库存扣减失败时不允许回滚订单,而是进入"库存不足待取消"的补偿流程;
- 注意点:库存扣减必须用带条件的更新语句(
UPDATE stock SET qty = qty - 1 WHERE sku = ? AND qty > 0),依赖影响行数判断是否扣减成功,而不是先查询后更新; - 超卖与少卖的边界:并发下以数据库条件更新为唯一判据;对账维度为订单数与库存扣减流水数。
支付与账务
场景:支付成功需要更新订单状态并记账。
- 关键约束:账目必须平衡,任何差异必须可定位到单据;
- 方案取舍:以本地消息表或事务消息保证通知可靠,同时必须叠加日终对账。理由是不论方案多严格,跨系统故障与人工操作都会产生差异,账务类不能只依赖自动链路;
- 注意点:记账流水需要唯一键(业务单号 + 动作),重复记账被唯一键拦截;订单状态推进使用状态机,避免重复支付回调把状态从已退款改回已支付;
- 对账维度:逐笔流水比对加日终汇总,差异必须能追溯到具体单据。
跨系统数据同步
场景:主系统数据变更需要同步到若干下游系统。
- 关键约束:下游可延迟,不允许中间态对外可见;
- 方案取舍:优先最大努力通知加对账,或统一通知加下游主动拉取。不建议为每个下游单独建设事务消息链路,维护成本随下游数量增长;
- 注意点:同步接口需支持增量查询(按更新时间拉取),作为推送失败后的兜底;下游需记录同步位点,位点推进与业务处理在同一事务内,避免"位点已推进但数据处理失败";
- 中间态设计:对外查询接口在同步未完成时返回上一版本数据并标注数据时间,而不是返回空值。
3.7 常见失败与处置
消息发出但业务未提交
表现:下游已收到消息并处理,上游本地事务回滚。
原因:先发消息后写库的方案下,本地事务在发送之后失败;或事务消息的回查误判为提交。
处置:
- 判定依据是上游的持久化业务状态,不是消息是否存在;
- 下游按 Query 接口或对账结果确认该业务是否存在,不存在则执行冲正或标记为无效;
- 预防手段是统一采用"先本地事务、后消息投递"的顺序(本地消息表),或在事务消息中确保回查读取的是持久化状态且未提交时返回回滚。
业务提交但消息未发出
表现:上游数据已变更,下游始终未收到。
原因:本地消息表的中继任务长期失败并进入终止状态;事务消息的半消息在回查环节持续返回未知;消息服务端故障期间的消息丢失。
处置:
- 通过对账发现(上游有单据,下游无记录);
- 补偿方式是从上游重新投递,重投时复用原幂等键;
- 预防手段是让终止状态与回查悬空可观测并告警,而不是静默停留在表中。
消费成功但状态未更新
表现:业务实际已处理,但上游记录的状态仍为待投递或下游回执未更新。
原因:确认或回执的更新在业务之后单独执行,该步骤失败。
处置:
- 接受重复投递,由下游幂等吸收,把"状态未更新"的影响限制为重复投递,而不是业务丢失;
- 对账时以业务表的真实状态为准,不以状态字段为准;
- 预防手段是把状态更新与业务处理放在同一事务内。
重复补偿
表现:对账或人工补偿重复执行同一笔业务,产生两次副作用。
原因:补偿动作未使用原幂等键;补偿后未记录补偿结果,下一次对账再次判定为差异;人工重投时未先确认业务是否已处理。
处置:
- 补偿动作必须复用业务原来的幂等键,使重复补偿被下游去重;
- 补偿结果必须落库,对账任务读取补偿记录后不再重复判定;
- 人工重投前先用 Query 接口确认状态;
- 预防手段是把"补偿"本身也当作一次需要幂等的业务操作。
一致性方案相关的变更、对账中断、批量补偿都属于影响面较大的操作,其发布与执行流程参见 变更与发布管理,操作留痕与审计要求参见 合规与审计,数据层面的恢复手段参见 备份与灾难恢复,历史故障的处置经验参见 故障案例库。
四、总结
- 跨服务写操作的原子性缺口来自"本地事务不覆盖远程调用"与"消息发送结果无法纳入本地事务"两个客观事实
- 先写库与先发消息的不一致方向不同:前者是下游缺失,后者是下游多写;后者修复成本更高,因此多数方案选择先保证本地事务
- 一致性方案的强度应与业务容忍度匹配,账务类需叠加对账,通知类可使用最大努力通知
- 消息中间件不是事务协调者,它提供的是把本地事务结果可靠传播出去的能力;本地消息表与事务消息都要求本地事务结果可查询
- 本地消息表把消息持久化放在业务库,用同一本地事务绑定业务变更与消息记录,实现成本低但业务库需承担额外负载
- 事务消息用半消息与回查把"本地事务结果"与"消息可见性"绑定,延迟更小,但对中间件能力有要求
- 回查接口必须无副作用、结果稳定、来源于持久化状态,且只能在提交与回滚间回答,无法判定时返回未知
- 最大努力通知适用于接收方不可控的场景,重试负责缩短延迟,对账负责最终不漏,两部分缺一不可
- 最终一致必然存在中间态,需通过隐藏中间态、显式标注或读侧兜底明确其可见性,并提供按业务单号查询的补偿接口
- 所有最终一致方案都必须叠加消费端幂等,一致性方案负责不丢,幂等负责不重复,具体实现参见消息可靠性与幂等设计
- 对账的自动补偿边界是"可自动重放,不可自动冲正",冲正与金额调整必须人工确认
- 常见失败可归为四类:消息发出但业务未提交、业务提交但消息未发出、消费成功但状态未更新、重复补偿,其中后两类的处置原则是一致的,即以业务真实状态为准并保证补偿本身幂等
- 方案选型应先判断能否通过业务设计规避分布式事务,再按业务容忍度与中间件能力选择成本最低的方案