内容总览

mysql: 主从部署与运维实践 思维导图

一、起源:主从架构要解决的问题与新问题

1.1 主从架构解决的问题

单实例数据库在业务增长后同时承受多种压力,主从架构通过把不同职责分散到多个实例来缓解:

  • 读扩展:多数业务的读请求远多于写请求,单实例的连接数与读 IO 上限通常先于写入能力成为瓶颈。主库只承接写,从库承接读,读能力按副本数量横向扩展
  • 备份解耦:备份读取数据文件与行数据,会与业务写入争用 IO 与锁。把备份动作放到从库,可以把备份窗口从主库移开。从库备份的位点对应关系与延迟影响见 备份与恢复 第 2.4 节
  • 故障冗余:主库不可用时由从库接替,缩短 MTTR。可用性的度量方式与数据层切换的代价见 高可用与集群 第 1.2 与 2.6 节
  • 负载隔离:报表、离线导出、数据订阅只在从库进行,避免影响在线写入

1.2 随之而来的新问题

主从复制不是免费的读扩展手段,它在架构中新增了三条需要长期维护的约束:

  1. 数据不一致:复制是日志传递与重放的过程,从库在任意时刻都可能落后于主库;从库被写入、复制中断、跳过事务都会让两侧的数据永久分歧,且分歧不会自动收敛
  2. 延迟:从库重放速率低于主库写入速率时,延迟持续累积。延迟不只是"读到的数据旧",它还会推高备份对应的数据时间点、限制切换窗口、放大误操作的影响范围
  3. 切换风险:数据层的切换无法完全自动化。切换前的位点核对、原主库隔离、切换后的数据校验缺一不可,未经演练的切换流程在真实故障中通常不可用

复制链路的组件分工、三种复制模式、GTID 机制、binlog 格式与基础配置属于原理范畴,见 主从同步原理,本文不重复其内容,只说明这些机制在部署与运维中的落地方式与判读边界。

二、原理:从状态判读到取舍边界

2.1 复制链路与状态判读

复制链路由主库的 binlog dump 线程、从库的 IO 线程与 SQL 线程构成,relay log 的推进方式与位点的持久化机制见 主从同步原理 第 2.1 至 2.5 节。部署与排障需要在这些结论之上明确每个状态字段对应的实际进度。

SHOW SLAVE STATUS(MySQL 8.0.22 起为 SHOW REPLICA STATUS)中与进度相关的字段:

字段 归属 准确含义
Master_Log_File、Read_Master_Log_Pos IO 线程 已从主库读取并写入本地 relay log 的最后一个事件,在主库 binlog 中的位置
Relay_Master_Log_File、Exec_Master_Log_Pos SQL 线程 已重放完成的最后一个事件,在主库 binlog 中的位置
Relay_Log_File、Relay_Log_Pos SQL 线程 已重放完成的事件在本地 relay log 中的位置
Seconds_Behind_Master SQL 线程 正在重放的事件时间戳与从库当前时间的差值,单位为秒
Retrieved_Gtid_Set IO 线程 已拉取到本地的全局事务集合
Executed_Gtid_Set SQL 线程 已在从库执行的全局事务集合
Relay_Log_Space 从库 现有 relay log 占用的总字节数
Slave_IO_State、Slave_SQL_Running_State 对应线程 线程当前状态描述

位点差的读法:

  • IO 线程与 SQL 线程在主库 binlog 上的距离,表示已拉取但尚未重放的日志量,单位是字节而不是事务数
  • GTID 环境下用 GTID_SUBTRACT(Retrieved_Gtid_Set, Executed_Gtid_Set) 得到未重放的事务集合,事务粒度比字节差更贴近业务感受
  • 位点差只能说明"还有多少没做",不能说明"落后多长时间";延迟秒数只能说明"时间上差多少",不能说明"事务上差多少"。两个指标需要同时观察

Seconds_Behind_Master 的判读边界:

  • IO 线程或 SQL 线程任一停止时取值为 NULL,此时该字段不表示"无延迟",而是"无法计算"
  • SQL 线程把现有 relay log 全部重放完毕后取值为 0,其中包含主库长时间没有写入的情况。主库停止写入时该字段为 0,并不代表此前积累的位点差已经消除
  • 该字段取的是 binlog 事件的时间戳,时间戳来自主库时钟,主从时钟偏移会直接扭曲该值
  • 大事务执行期间,事件时间戳不随执行进度更新,字段可能长时间保持不变,无法反映实际进度
  • 结论:该字段适合作为趋势与粗粒度告警指标,不适合作为"是否可以读从库"的单点判据

线程状态串的判读:

状态串 含义
Waiting for master to send event IO 线程已追平主库,等待新事件,属正常空闲
Connecting to master、Reconnecting after a failed binlog dump request 正在建立或重建连接,长时间停留说明网络或主库 dump 线程存在问题
Queueing master event to the relay log IO 线程正在写入 relay log
Reading event from the relay log SQL 线程正在读取待重放事件
Slave has read all relay log; waiting for more updates SQL 线程已重放完现有 relay log,属正常空闲
Waiting for slave workers to free pending events 并行复制中协调线程等待 worker,位点通常仍在推进

错误字段 Last_IO_Error、Last_SQL_Error 记录停止前最后一次错误,Last_IO_Errno、Last_SQL_Errno 给出对应错误码。这两个字段在问题修复后不会自动清空,判断当前状态应以线程运行状态为准,不能只看错误字段是否为空。

并行复制场景下,performance_schema.replication_applier_status_by_worker 给出每个 worker 正在处理的事务与 GTID,是定位"卡在哪个事务"的主要手段;replication_applier_status_by_coordinator 给出分发进度。

2.2 延迟的成因分类

延迟的成因先按"发生在拉取段还是重放段"分类,再逐层定位。

成因 作用环节 特征 是否会导致延迟持续放大
大事务(批量 DML、DDL、批量导入) 重放段 位点差在单个事务上长时间停留,事务完成后跳跃推进 周期性出现会持续放大,单次出现可自行追平
单线程回放或并行度不足 重放段 位点差随主库写入量增长,重放速率明显低于写入速率 会
从库资源不足(CPU、IO、内存) 重放段 从库 IO 利用率高、buffer pool 命中率低 会
从库锁等待(读流量、备份、DDL、本地写入) 重放段 重放线程长时间处于锁等待,等待链可见于 InnoDB 状态输出 会
网络带宽不足或往返时延偏大 拉取段 Retrieved_Gtid_Set 落后于主库 gtid_executed,延迟秒数反而可能偏低 会,且从重放段扩容无效
从库磁盘写入慢(relay log 落盘、刷脏) 拉取段与重放段 IO 等待高,Relay_Log_Space 异常增长 会

判断延迟是否会收敛的方法:

  1. 取一段时间的位点差序列,看趋势而不是瞬时值
  2. 对照主库的 binlog 生成速率与从库 Exec_Master_Log_Pos 的增长速率,前者持续大于后者即为结构性延迟
  3. 结构性延迟只能通过降低主库写入峰值或提升从库重放能力解决;单次突发造成的延迟在主库写入回落后会自行收敛,不需要变更架构

延迟还会反向影响其他环节:从库延迟意味着备份对应的数据时间点更早,把备份放在从库会把 RPO 拉长;延迟从库的延迟时长与误操作发现时间的关系决定其兜底能力,二者的取舍见 备份与恢复 第 2.4 与 2.6 节。

2.3 半同步复制

半同步在异步复制的基础上增加一次确认:主库提交事务前等待至少一个从库确认已收到该事务的 binlog。三种复制模式的对比见 主从同步原理 第 2.4 节,落地需要明确确认的确切含义与退化行为。

机制要点:

  • 确认动作由从库在 relay log 落盘后发起。确认的是"日志已到达从库并写入本地",不是"事务已在从库重放完成"。半同步收窄的是主库崩溃时的日志丢失窗口,对重放延迟没有改善作用
  • 等待点由 rpl_semi_sync_master_wait_point 决定:
  • AFTER_SYNC(5.7 起默认):等待发生在存储引擎提交之前,等待完成后事务才对外可见,其他会话不会读到尚未获得确认的数据
  • AFTER_COMMIT:先提交再等待确认,其他会话可能读到尚未被从库接收的已提交数据,且等待期间的锁持有时间更长
  • 需要确认的从库数量由 rpl_semi_sync_master_wait_for_slave_count 决定,默认为 1,即"至少一个"
  • MySQL 5.7 及以前以插件形式提供(rpl_semi_sync_master、rpl_semi_sync_slave),MySQL 8.0 提供组件形式(rpl_semi_sync_source、rpl_semi_sync_replica),参数与状态变量名称随 source/replica 术语变化

对写入延迟的影响:

  • AFTER_SYNC 下每个事务的提交耗时增加一次主从网络的往返时间,跨机房部署时该耗时直接体现在写响应时间上
  • 主库的并发写入因等待而被串行化的程度提高,吞吐下降
  • 半同步不改变从库的重放延迟,延迟治理的手段与它无关

退化为异步的条件与观测:

  • rpl_semi_sync_master_timeout(默认 10000 毫秒)超时后,主库放弃等待,按异步方式提交事务并继续提供服务
  • 退化是自动的、静默的。触发条件包括从库 IO 线程停止、网络中断、确认堆积、没有任何从库连接
  • rpl_semi_sync_master_wait_no_slave 决定在没有从库连接时是否继续按超时等待。取值为默认的继续等待时,每个事务都会等待至超时,写响应时间显著上升
  • 恢复无需人工干预:至少一个从库的确认在超时内到达后,主库自动回到半同步

需要监控的状态变量:

变量 含义 异常特征
Rpl_semi_sync_master_status 当前是否处于半同步状态 OFF 表示已退化为异步
Rpl_semi_sync_master_yes_tx 获得确认后提交的事务数 长期不增长说明确认已失效
Rpl_semi_sync_master_no_tx 未获确认即提交的事务数 增长说明退化期间仍有写入
Rpl_semi_sync_master_clients 支持半同步的从库连接数 为 0 说明没有从库能发送确认

半同步的定位:它把"主库崩溃丢失最近事务"的窗口收窄到"至少一个从库未接收",但不能消除窗口,超时退化期间窗口重新回到异步水平,因此不能替代备份。面向不同 RPO 目标的组合手段见 备份与恢复 第 2.1 节的分级表。

2.4 并行复制

从库重放默认由一个线程串行执行,主库却可以并发提交,两者速率差是延迟的主要来源之一。并行复制通过多个 worker 同时重放来缩小差距,两种模式的并行度上限不同。

按库并行(slave_parallel_type=DATABASE,5.6 起):

  • 以库为分发单位,同一库的事件固定由同一 worker 重放,不同库可以并行
  • 并行度上限等于写入涉及的库数量。业务集中在单库或单表时并行度退化为 1
  • 分发规则简单,不依赖主库提供额外信息

按组提交并行(slave_parallel_type=LOGICAL_CLOCK,5.7 起):

  • 主库组提交时,同一组内的事务已经在主库上证明互不冲突,从库可以把同一组的事务分发给不同 worker 并行重放
  • 并行度取决于主库组提交的规模。高并发写入时组内事务多,并行度自然提升;低并发写入时组内事务少
  • 可通过主库的 binlog_group_commit_sync_delay、binlog_group_commit_sync_no_delay_count 延长组提交等待,把更多事务聚合到同一组,代价是增加主库提交延迟
  • 可并行事务的识别精度取决于事务依赖信息。主库设置 binlog_transaction_dependency_tracking=WRITESET 可按行级写集合判断事务是否冲突,识别出比仅按提交顺序更多的可并行事务;该参数在较新版本中已被废弃,默认按写集合方式跟踪

参数配置要点:

参数 作用 配置注意
slave_parallel_workers(8.0 为 replica_parallel_workers) 并行 worker 数量 不超过从库可用 CPU 核数;取值过大会增加内存占用与上下文切换,收益递减
slave_parallel_type 并行模式 5.7 及以上建议使用 LOGICAL_CLOCK
slave_preserve_commit_order 保持从库提交顺序与主库一致 避免从库出现主库未曾出现的中间状态;需要开启 log_slave_updates,8.0 默认开启
slave_pending_jobs_size_max 单个事务占用内存的上限 应不小于主库的 max_allowed_packet;事务超过该值时 worker 报错停止
binlog_group_commit_sync_delay 主库组提交等待时长 提升并行度的手段,会直接增加主库写延迟

并行度与延迟的关系:

  • 并行加速的是"多个互不冲突事务的批量重放",无法加速单个大事务,后者只能通过拆分事务解决
  • 并行度超过实际可并行事务数后,多余 worker 处于空闲,收益停止增长
  • 开启并行后位点推进不均匀属于正常现象,Exec_Master_Log_Pos 会跳跃式推进,判断进度应结合各 worker 状态而不是只看位点

2.5 数据一致性边界

复制环境下的"一致"需要区分三层含义:日志是否到达、事务是否重放、数据内容是否相同。三者的保障手段与失效条件不同。

异步复制下的丢失窗口:

  • 主库在事务提交并返回成功后崩溃,若该事务的 binlog 尚未发送到从库,从库上不存在这个事务,切换后这部分写入永久丢失
  • 窗口大小由写入速率、binlog 落盘策略、网络传输与从库落盘速度共同决定,不存在固定值
  • 半同步把窗口收窄为"未被任何从库确认的事务",超时退化期间窗口重新回到异步水平

崩溃场景下的数据差异:

场景 差异来源 后果
主库崩溃 binlog 未落盘或已落盘但未发送 主库自身可能丢失已提交事务,从库缺少的正是这些事务
从库崩溃 relay log 未落盘或被写坏 已接收未重放的部分丢失,需要重新拉取;未开启中继日志恢复时可能出现日志与位点不匹配
从库被写入 只读设置未覆盖的账号执行写操作 与主库产生永久分歧,表现为主键冲突或静默覆盖
复制过滤规则 过滤规则使部分对象不在从库复制 从库内容与主库本就不同,一致性校验需排除这些对象

从库只读与超读的取舍:

  • read_only=1 对普通账号生效,拥有 SUPER(8.0 为 CONNECTION_ADMIN)权限的账号仍可写入
  • super_read_only=1 对超级用户同样禁止写操作,是防止误写从库的必要配置。开启 super_read_only 会隐含开启 read_only,关闭 read_only 会隐含关闭 super_read_only
  • 代价:super_read_only 会阻止部分需要写权限的维护动作,执行这类操作需要临时关闭,关闭期间存在误写风险,窗口应尽量缩短并记录
  • 只要从库存在被写入的可能,一致性校验就必须作为常态化动作而不是一次性检查

2.6 读写分离的一致性代价

读写分离把读请求分发到从库,代价是把主从延迟暴露给业务。

  • 写后立即读:同一会话写入主库后立刻从从库读取,可能读不到刚写入的数据。这不是数据错误,而是从库尚未重放
  • 事务内读:一个事务中的读与写只有在同一实例上才具有事务语义,跨主从的事务无法保证
  • 一致性读与延迟的相互作用:快照读的正常工作前提是快照对应的时间点晚于事务开始,从库落后于主库时,同一时间点在主库与从库上对应的是不同的数据版本,机制层面的分析见 事务与锁 第 2.7 节

会话内一致性的保障方式:

方式 机制 代价
写后读主(时间窗口) 写操作后的固定时长内该会话的读强制走主库 窗口时长依赖经验取值,延迟波动时会失效
写后读主(位点等待) 记录写事务的 GTID 或位点,读前等待从库追平 语义准确,但按延迟时长阻塞当前查询,需要设置超时与降级
会话粘性 同一会话固定路由到同一节点,写走主库 牺牲读扩展的收益
业务分级路由 按查询语义划分,只把容忍延迟的查询放入从库 需要业务侧明确标注,规则维护成本高

位点等待的实现是 WAIT_FOR_EXECUTED_GTID_SET() 与 MASTER_POS_WAIT():在从库上执行,等待本地重放到指定的事务集合或位点,返回等待的秒数,超时返回 NULL 或负值,需要显式处理。它们是"读己之写"的准确实现,代价是查询耗时变得不可预期。

延迟敏感业务的处理属于路由设计问题,落地方式见 3.8 节。

三、实现:搭建、监控、治理与切换

3.1 搭建流程

3.1.1 环境与版本核对

在修改任何配置之前逐项核对,事后返工的代价高于核对成本。

-- 版本与关键参数
SELECT VERSION();
SHOW VARIABLES WHERE Variable_name IN (
  'server_id','server_uuid','lower_case_table_names','character_set_server',
  'collation_server','sql_mode','innodb_page_size','binlog_format',
  'gtid_mode','log_bin','log_slave_updates','binlog_checksum','default_storage_engine'
);

核对要点:

  • 版本:从库版本不应低于主库版本。跨大版本复制只在向上升级的方向被支持,反向组合在部分特性上不保证可用
  • server_id:集群内每个实例唯一,且不为 0。取值为 0 的实例不具备参与复制的能力
  • server_uuid:必须唯一。通过复制数据目录、克隆或虚拟机模板创建实例时容易重复,需要删除自动生成文件后重新生成并核对
  • 字符集、排序规则、lower_case_table_names、sql_mode、innodb_page_size:主从保持一致,否则会出现表名大小写解析、数据截断与插入校验行为的差异
  • gtid_mode:主从处于同一阶段。GTID 不能在单侧单独开启
  • 主库必须开启 log_bin;计划在故障时被提升为主库的从库同样必须开启 log_bin 与 log_slave_updates,否则提升后无法作为其他从库的数据源

3.1.2 主库准备

服务端参数以 MySQL 服务配置 第五节的综合生产模板为基准,主从相关参数取自该模板的 Binlog 分区与主从 ID 部分。

[mysqld]
server-id = 1
log_bin = /var/lib/mysql/binlog/bin
binlog_format = ROW
binlog_row_image = FULL
sync_binlog = 1
binlog_expire_logs_seconds = 604800
gtid_mode = ON
enforce_gtid_consistency = ON

参数说明:

  • binlog_format=ROW 是复制与数据恢复的共同前提,binlog_row_image=FULL 保留完整行镜像,便于差异定位与反向补偿。日志体积与恢复能力的取舍见 备份与恢复 第 2.3 节
  • sync_binlog=1 使事务提交时 binlog 落盘,是从库不丢日志的前提,与 innodb_flush_log_at_trx_commit 共同决定持久性,两者的取舍见 InnoDB 存储引擎 第 3.2 节
  • binlog_expire_logs_seconds 与备份、归档周期匹配。主库清理 binlog 的时机决定从库长时间断联后可恢复的区间,清理与归档策略见 备份与恢复 第 2.3 节
  • GTID 在已运行的实例上开启需要按 OFF → OFF_PERMISSIVE → ON_PERMISSIVE → ON 逐步切换,不能一次跳到 ON

创建复制账号:

-- 账号限定到从库网段,权限最小化
CREATE USER 'repl'@'10.0.0.%' IDENTIFIED BY '<口令>';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'10.0.0.%';

注意点:

  • MySQL 8.0 默认认证插件为 caching_sha2_password,5.7 及更早版本的从库无法用它建立连接,需要为该账号显式指定 mysql_native_password
  • 只授予 REPLICATION SLAVE。监控与校验工具需要的 REPLICATION CLIENT、SELECT 等权限应使用独立账号,而不是扩大复制账号权限
  • 密码有效期策略与登录失败锁定策略同样作用于复制账号,会造成复制在某次重连时被拒绝,需要为复制账号设置密码不过期
  • 账号与授权命令的完整用法见 使用命令 第七节

服务启动、配置重载与日志查看的命令见 服务管理。

3.1.3 数据初始化方式对比

从库从空库开始复制意味着要重放主库的全部历史变更,代价不可接受。正确做法是先建立与主库某一时刻一致的基线,再从该时刻对应的位点或事务集合开始复制。

方式 适用规模与版本 一致性来源 起点记录方式 主要代价
逻辑备份导入(mysqldump、mydumper 等) 中小数据量,可跨版本 --single-transaction 一致性快照 导出文件中的位点注释或事务集合 导入慢且需重建索引;非事务表需加锁
物理备份(XtraBackup 全备) 大数据量,同大版本 redo 前滚与 undo 回滚 备份目录中的位点与日志信息文件 产物与版本、页大小绑定;需要准备阶段
克隆插件(MySQL 8.0.17 起) 大数据量,同版本 物理页拷贝与数据字典同步 克隆完成后读取新实例的位点 版本必须一致;克隆期间消耗主库资源;会覆盖从库数据目录
停机冷拷贝 允许停机的场景 停写后的静态文件 停机前记录的位点 需要停机窗口
  • 逻辑备份的完整参数组合与一致性注意事项见 备份与恢复 第 3.1 节,物理备份的准备与回拷流程见同一文档第 3.2 节
  • 选择初始化方式的核心依据是数据量决定的耗时与允许的业务影响。数据量大且要求快速就绪时,物理方式优于逻辑方式
  • 初始化前应确认所选基线来源可用,备份产物的验证要求与演练要求见 备份与容灾 第 3.8 节
  • 无论采用哪种方式,导入完成后必须核对基线与主库的对应关系,这是复制的起点,缺失则无法正确接续

克隆插件的使用流程:

-- 在从库(接收端)执行克隆,需要 BACKUP_ADMIN 权限
INSTALL PLUGIN clone SONAME 'mysql_clone.so';
SET GLOBAL clone_valid_donor_list = '10.0.0.11:3306';
CLONE INSTANCE FROM 'repl'@'10.0.0.11':3306 IDENTIFIED BY '<口令>';
  • 克隆过程中接收端的数据目录被替换,实例需在克隆完成后重启,期间该实例不可用
  • 提供端在克隆收尾阶段会短暂阻止 DDL,克隆会消耗其 IO 与 CPU,应避开业务高峰
  • 克隆完成后需核对接收端的 server_id 与 server_uuid 是否与提供端冲突

3.1.4 建立复制与状态核对

GTID 方式(推荐):

-- 在从库执行
CHANGE MASTER TO
  MASTER_HOST = '10.0.0.11',
  MASTER_PORT = 3306,
  MASTER_USER = 'repl',
  MASTER_PASSWORD = '<口令>',
  MASTER_AUTO_POSITION = 1;
START SLAVE;

位点方式(GTID 不可用或两侧集合不兼容时):

-- 位点需取自主库 SHOW MASTER STATUS 或备份的一致点记录
CHANGE MASTER TO
  MASTER_HOST = '10.0.0.11',
  MASTER_PORT = 3306,
  MASTER_USER = 'repl',
  MASTER_PASSWORD = '<口令>',
  MASTER_LOG_FILE = 'bin.000042',
  MASTER_LOG_POS = 194;
START SLAVE;
  • MySQL 8.0.22 起,CHANGE MASTER TO、START SLAVE、SHOW SLAVE STATUS 对应 CHANGE REPLICATION SOURCE TO、START REPLICA、SHOW REPLICA STATUS,旧语法仍可用但已标记废弃
  • GTID 方式下从库自动与主库协商未执行的事务集合,无需人工推算位点;位点方式下位点填错会造成数据缺失或重复,必须在导入完成后立即记录
  • 从库应开启 read_only=1 与 super_read_only=1,并确认 skip_slave_start 的取值符合预期。该参数为开启时实例启动不自动启动复制,便于排障与初始化
  • 位点查询、导入导出与状态查看命令见 使用命令 第八与第十一节

3.1.5 验收检查清单

检查项 判定方式 通过标准
复制线程 SHOW SLAVE STATUS 两个线程状态均为 Yes
复制进度 位点差与延迟 位点差收敛,延迟归零并保持
事务集合 主库 @@GLOBAL.gtid_executed 与从库 Executed_Gtid_Set 从库集合是主库集合的子集,主库停止写入时两者相等
错误字段 Last_IO_Error、Last_SQL_Error 无新增错误记录
只读状态 SELECT @@read_only, @@super_read_only 从库均为 1
参数一致性 版本、字符集、sql_mode、lower_case_table_names 主从一致
唯一性 各实例 server_id、server_uuid 互不相同,server_id 非 0
对象完整性 库表数量、关键表行数与自增列最大值 与主库一致
业务查询 预定义的验证查询 结果与主库一致
复制账号 SHOW GRANTS 权限最小化且密码不过期
错误日志 主从错误日志 无复制相关告警

高危:重建从库时执行的 RESET SLAVE ALL 与清空从库数据(删除数据目录、DROP DATABASE、初始化实例)会删除从库上的全部数据与复制元数据,指向错误实例时不可恢复。执行前必须确认目标实例确实是从库而非主库(核对 read_only、server_id、连接串与主机名),确认基线来源可达,并已停止该实例对外的读流量。兜底与回滚方式:数据删除不可撤销,回退只能重新执行一次完整的数据初始化并重建复制;执行前保留 SHOW SLAVE STATUS 输出与位点、事务集合记录,作为重建起点的依据。

3.2 复制监控

3.2.1 关键指标清单

指标 采集来源 异常特征 建议分级
复制线程状态 SHOW SLAVE STATUS 的线程运行字段 任一为 No 严重
复制错误 Last_IO_Error、Last_SQL_Error 非空且线程已停止 严重
延迟秒数 Seconds_Behind_Master 超过业务可容忍时长并持续 警告
位点差 两个线程在主库 binlog 上的位置差 持续增长且不回落 警告
未重放事务集合 GTID_SUBTRACT(Retrieved_Gtid_Set, Executed_Gtid_Set) 集合长期非空 警告
relay log 占用 Relay_Log_Space 与所在分区水位 持续增长或分区水位偏高 警告
半同步状态 Rpl_semi_sync_master_status 与未确认提交数 状态为 OFF 或未确认提交数增长 严重
主库 dump 线程数 SHOW PROCESSLIST 中的 dump 线程数量 少于从库数量 警告
从库主机资源 CPU、IO 利用率、内存、磁盘水位 IO 饱和或磁盘水位偏高 警告

3.2.2 告警阈值与分级建议

  • 线程停止与复制错误属于二值状态,持续时间设为 0 或极短,必须立即介入
  • 延迟类指标使用"超过阈值并持续一段时间"的规则,避免主库短时突增写入造成误报。阈值按业务可容忍的读旧数据时长确定,通常低于业务方感知到问题的时长
  • 延迟秒数与位点差需要同时监控:延迟为 0 而位点差长期非空,说明延迟指标在此时失去判别能力,而不是复制正常,应单独设置规则
  • 半同步退化需要独立告警。状态为 OFF 期间主库的丢失窗口与异步复制等同,只靠延迟告警无法体现
  • 从库磁盘水位告警应早于写满触发,写满会直接中断复制,属于主机侧指标

3.2.3 与主机侧监控的分工

复制中断的多数根因不在数据库层:磁盘写满、主机内存不足导致进程被杀、网络中断、IO 饱和都先表现为主机侧指标异常。告警规则结构、阈值与持续时间取值方法、抑制与通知路由见 监控与告警 第 2.5 与 3.2 节。

分工与衔接:

  • 主机层负责资源与可用性:CPU、内存、磁盘水位、网络丢包与重传、进程存活
  • 数据库层负责复制语义:线程状态、位点与延迟、事务集合差异、半同步状态
  • 需要建立抑制关系:从库磁盘写满告警触发时,抑制其引发的复制中断告警,把根因放在首位;反之,复制中断若无对应主机告警,根因通常在数据库或网络层
  • 需要交叉验证的场景:延迟持续增长时,数据库层只能给出"重放慢"的结论,具体是 CPU、IO 还是锁等待需要结合主机指标与 InnoDB 状态判断,判读顺序见 性能诊断与调优 第 3.1 与 3.8 节

3.3 延迟治理

3.3.1 定位顺序

先定位"是什么在延迟",再决定手段:

  1. 判断延迟在拉取段还是重放段。Retrieved_Gtid_Set 落后于主库 gtid_executed 说明 IO 线程未把日志拉全,问题在网络、带宽或主库 dump 线程;两者一致而 Executed_Gtid_Set 落后说明 SQL 线程重放跟不上,问题在从库
  2. 判断重放慢在哪个事务。查看各 worker 正在执行的事务类型与耗时,单一大事务与大量小事务的处理方式不同
  3. 判断从库自身是否饱和。核对 CPU、IO 利用率、缓冲池命中率与锁等待
  4. 判断主库写入侧是否异常。核对 binlog 生成速率、是否存在批量任务或 DDL、单事务影响行数
-- 从库:查看各 worker 当前执行的事务与错误(MySQL 8.0)
SELECT WORKER_ID, SERVICE_STATE, LAST_APPLIED_TRANSACTION,
       APPLYING_TRANSACTION, LAST_ERROR_MESSAGE
FROM performance_schema.replication_applier_status_by_worker;
-- 从库:位点推进情况
SHOW SLAVE STATUS\G
-- 关注 Read_Master_Log_Pos、Exec_Master_Log_Pos、Relay_Log_Space
-- 从库:未重放的事务集合
SELECT GTID_SUBTRACT(@@GLOBAL.retrieved_gtid_set, @@GLOBAL.gtid_executed);

3.3.2 大事务拆分

大事务在从库上无法被并行加速,执行期间位点不推进,是最常见的延迟形态。

  • 批量删除:按主键区间循环执行,每批限制行数并控制批次间隔
  • 批量更新:按唯一键区间分段,避免单事务跨越大范围
  • 批量导入:拆分文件或分批执行导入,避免单个事务包含大量行
  • DDL:使用在线 DDL 或外部工具,并安排在低峰窗口。DDL 的执行时间与阻塞行为见 结构变更与运维 第 2.1 与 3.2 节
-- 分批删除示例:由脚本循环执行到影响行数为 0
DELETE FROM log_record WHERE created_at < '2026-01-01' ORDER BY id LIMIT 5000;

3.3.3 并行复制启用与调优

启用并行复制需要重启 SQL 线程,属于对复制链路的变更,应在延迟可控的窗口执行。

-- 从库执行
STOP SLAVE SQL_THREAD;
SET GLOBAL slave_parallel_type = 'LOGICAL_CLOCK';
SET GLOBAL slave_preserve_commit_order = 1;
SET GLOBAL slave_parallel_workers = 8;
START SLAVE SQL_THREAD;
# 写入配置文件以便重启后保持
[mysqld]
slave_parallel_type = LOGICAL_CLOCK
slave_preserve_commit_order = 1
slave_parallel_workers = 8
slave_pending_jobs_size_max = 128M

调优要点:

  • 并行 worker 数量逐级上调并观察重放速率,超过实际可并行事务数后收益停止增长
  • 事务超过 slave_pending_jobs_size_max 会导致 worker 报错停止,需要结合主库的 max_allowed_packet 与最大单事务规模设置
  • 单库集中写入的场景提升 worker 数量无效,需要从主库侧降低热点或考虑拆分
  • 主库可启用组提交等待参数提升组提交规模,代价是主库写延迟上升,是否启用取决于业务对写延迟的敏感度

3.3.4 从库资源配置

  • 从库的缓冲池大小与 IO 能力不应低于主库。从库除重放写入外还承担读流量与备份,资源需求通常高于主库
  • 从库的日志落盘策略可以在可接受崩溃丢失少量重放进度的前提下放宽,降低重放 IO 压力;放宽后从库崩溃需要重新拉取 relay log,恢复时间相应增加
  • 从库上不应运行与本实例职责冲突的任务,备份、报表、数据导出与重放共享 IO,需要错峰
  • relay log 与数据目录所在磁盘的写入延迟同时影响拉取段与重放段,磁盘性能是延迟治理中容易被忽略的一环

3.3.5 DDL 与批量操作的窗口安排

  • DDL 在从库上表现为单个大事务,期间位点不推进;主从两端的执行时间不一致,长 DDL 会显著拉高延迟
  • 批量任务(归档、统计、数据修正)应与备份、DDL、其他批量任务错开,避免多个大事务在从库上叠加
  • 需要批量改数的场景使用分批并控制并发,方法与 结构变更与运维 第 3.4 节一致
  • 错峰调度与随机延迟的实现方式见 计划任务与定时器

3.4 故障处理

3.4.1 复制中断的常见错误分类与处置

复制中断的第一动作是保留现场:记录 SHOW SLAVE STATUS 的完整输出、主从错误日志的相关片段、当前的位点与事务集合。修改配置后再回看,现场信息已不完整。

类别 典型错误信息 排查点 处置
账号与权限 Access denied for user、error connecting to master 账号是否存在、口令、来源地址白名单、复制权限、认证插件、账号是否被锁定或密码过期 修复账号后重启 IO 线程,无需重建复制
网络中断 Reconnecting after a failed binlog dump request、连接丢失 主从连通性、防火墙、连接超时参数、主库是否因负载放弃 dump 线程 链路恢复后自动重连;仍未恢复时重启 IO 线程并核对重连参数
binlog 缺失 找不到起始日志文件、事件位置超出日志末尾 主库 binlog 是否被清理或过期策略回收;位点是否指向已不存在的文件 GTID 场景通常需要重新初始化数据;位点场景可前移位点到现存最早日志,代价是丢数据
主键冲突与数据不一致 Duplicate entry、Can't find record、错误码 1062 与 1032 从库是否被写入、是否曾跳过事务、复制过滤规则是否一致 先定位分歧范围(见 3.7),再选择重建从库或跳过事务
从库写入受限 只读事务中执行写语句被拒绝 是否有维护操作试图写从库 属预期保护行为,需要写入时临时关闭超读并记录
从库资源问题 worker 报错停止、SQL 线程状态异常 磁盘空间、内存、relay log 分区水位 释放可回收空间后重启 SQL 线程
主从结构差异 表不存在、列不存在、字符集不兼容 是否在主库执行了未同步的 DDL、过滤规则是否造成对象缺失 补齐结构后重启 SQL 线程

修复顺序(适用于各类别):

  1. 止损:判断是否会继续恶化。从库磁盘写满时先释放空间,延迟持续放大时先降低主库写入峰值或暂停批量任务
  2. 取证:保存状态输出、错误日志、主从位点与事务集合
  3. 分类:按上表判定错误类别,区分"修复配置即可恢复"与"必须重建数据"
  4. 修复:优先选择不产生数据分歧的手段
  5. 验证:复制恢复后核对位点、事务集合与关键表
  6. 记录:把错误信息、原因与处置写入运维记录。同类错误重复出现说明预防措施缺失

高危:用 KILL 终止复制线程对应的会话会立即中断复制,若线程未完成位点持久化,重启后可能重复重放并触发主键冲突。执行前应优先使用 STOP SLAVE / STOP REPLICA 的正常停止方式;确需强制终止时,终止前记录位点与事务集合。兜底与回滚方式:重启线程后若出现重复事务错误,按 3.4.2 的核对流程判断是重新拉取还是需要重建从库,不可直接跳过;线程长时间无响应时,先确认从库是否处于磁盘或锁等待状态,处理根因后再重启,避免反复中断。

3.4.2 位点跳过的风险与前置核对

跳过事务是让复制从错误状态继续运行的手段,不是修复手段。

-- 位点方式:跳过当前错误事件(较新版本已标记废弃)
SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1;
START SLAVE SQL_THREAD;
-- GTID 方式:注入空事务,把该事务标记为已执行
STOP SLAVE SQL_THREAD;
SET GTID_NEXT = '<冲突事务的 GTID>';
BEGIN;
COMMIT;
SET GTID_NEXT = 'AUTOMATIC';
START SLAVE SQL_THREAD;

高危:跳过事务会使该事务在主从之间永久缺失。被跳过的事务不会进入从库数据,后续依赖这些行的操作可能继续报错,也可能在不报错的情况下产生错误数据;跳过的全局事务号会进入从库已执行集合,无法从复制链路上消除。执行前必须完成核对:定位冲突的具体行与业务含义、在主库上核对对应数据的当前内容、确认差异成因(从库被写入、历史跳过、过滤规则、手工改数),并记录跳过的事务号或位点、时间、执行人与原因。兜底与回滚方式:跳过动作不可回滚,回退只能通过重新初始化从库数据后重建复制,或从主库定向导出受影响数据补录;若差异涉及核心业务表或影响行数无法确定,应选择重建从库而不是跳过。

3.5 故障切换

3.5.1 切换前检查清单

检查项 内容
决策与通知 切换决策人明确、业务方已通知、切换窗口已确认
原主库状态 原主库已不可写(进程停止、网络隔离或已设为只读),不存在双写
从库进度 记录各从库的位点与事务集合,选出数据最完整的一个
在途操作 确认没有正在执行的大事务、DDL 或批量任务
目标实例配置 server_id 唯一、log_bin 与 log_slave_updates 开启、只读可关闭、资源足够承接写流量
应用侧 连接地址切换方式明确、连接池需要重建、切换期间的重试策略已确认
回退路径 切换失败时回退到原主库或另一从库的步骤与判定条件

3.5.2 提升从库为主库

高危:切换过程包含停止复制线程、清除复制元数据、解除只读三个默认不可撤销的动作。解除只读后若原主库仍在写入,会形成双写并产生无法自动合并的数据分歧。执行前必须确认原主库已停止写入或已从网络层隔离,并已记录全部从库的位点与事务集合。兜底与回滚方式:记录切换前的位点、事务集合与配置变更清单;切换失败且新主库尚无写入时,可通过重新设置只读并恢复复制关系回退到原主库;新主库已有写入时,回退等同于一次新的切换,需要重新核对哪一侧数据完整。

-- 1. 确认已追平,超时返回 NULL,需显式处理
SELECT MASTER_POS_WAIT('bin.000042', 1023789, 30);
-- GTID 环境使用
SELECT WAIT_FOR_EXECUTED_GTID_SET('<主库 gtid_executed>', 30);

-- 2. 停止复制线程并清除复制元数据
STOP SLAVE;
RESET SLAVE ALL;

-- 3. 解除只读
SET GLOBAL super_read_only = 0;
SET GLOBAL read_only = 0;

-- 4. 核对新主库状态并记录新的日志起点
SHOW MASTER STATUS;
SELECT @@GLOBAL.gtid_executed;
# 应用侧以虚拟地址承接连接时的地址漂移示例
sudo ip addr add 10.0.0.100/24 dev ens192
# 唤醒同网段主机与网关的地址缓存
sudo arping -A -I ens192 -c 3 10.0.0.100

虚拟地址接管的机制、同网段限制与地址通告失效的原因见 高可用与集群 第 2.2 与 2.3 节。

3.5.3 应用侧连接切换方式

方式 生效时间 注意点
虚拟地址或域名漂移 秒级到分钟级(域名受缓存影响) 连接池中的旧连接仍指向原主库,需要重连机制或主动重建
数据库代理或中间件 秒级,前提是代理能感知新主库 代理自身的高可用不能成为新的单点
配置中心下发连接串 取决于应用重新加载配置的速度 需要应用支持连接池重建,仅修改配置不一定立即生效
人工修改配置文件并重启 最慢 最可靠,适合不具备自动切换能力的场景

共同要求:应用侧需要容忍切换期间的一次性连接失败并具备重连能力;连接池的空闲连接不会自动迁移到新主库,切换后应显式清理或重建连接池,否则会长时间指向错误的主库。

3.5.4 切换后的核对与复制重建

核对清单:

检查项 方式
新主库可写 执行写入验证后回滚,确认只读已关闭
数据完整性 关键表行数、自增列最大值、关键业务查询结果与切换前基线对比
数据丢失范围 对比切换前记录的从库事务集合与新主库集合,明确丢失的事务区间
日志起点 记录新主库的位点与已执行事务集合,作为其他从库的复制起点
应用连通 业务侧实际读写验证
-- 在其余从库上指向新主库,GTID 环境下由集合自动定位
STOP SLAVE;
CHANGE MASTER TO
  MASTER_HOST = '10.0.0.13',
  MASTER_PORT = 3306,
  MASTER_USER = 'repl',
  MASTER_PASSWORD = '<口令>',
  MASTER_AUTO_POSITION = 1;
START SLAVE;
  • GTID 环境下从库只需更换主库地址,集合差异由复制协议自动收敛
  • 位点方式下需要以新主库的当前位点为起点;若从库上已存在新主库也已执行的事务,必须重新初始化数据
  • 延迟从库在切换后是否需要调整延迟时长,取决于误操作风险是否仍然存在

3.5.5 原主库回归

原主库以从库身份重新加入时,其数据不一定比新主库完整:它可能缺少部分已发送到从库但自身未落盘的事务,也可能包含未发送到任何从库的事务。

  • 回归前必须确认原主库上不存在新主库没有的已提交事务,否则会造成数据分歧
  • 稳妥方式是按 3.1.3 重新做一次数据初始化后以从库身份加入;直接以原有数据接续复制仅适用于能够确认原主库数据是新主库子集的情况
  • 回归后核对位点、事务集合与关键表,确认方向正确(原主库上必须开启只读)
  • 回归完成后应确认其 log_bin、log_slave_updates 与资源状态满足再次作为候选主库的条件

3.6 切换演练

演练的通用要求(计划要素、触发方式分级、验证项清单、记录字段与问题闭环)见 高可用与集群 第 3.5 节,本节只补充数据库侧的特有内容。

演练计划与频率:

  • 频率按业务等级确定,核心库高于一般业务;架构发生变化(复制模式调整、版本升级、机房调整)后应单独安排一次演练
  • 演练需覆盖切换与回切两个方向。只演练切换不演练回切,无法验证业务在切换后的长期运行状态

演练环境要求:

  • 在独立实例或业务低峰窗口执行;涉及真实数据时,演练环境的连接串与生产隔离,避免误连
  • 演练前确认备份可用,一旦演练造成数据损坏可回退

数据库侧验证项:

验证项 判定方式
切换耗时 从触发到新主库可写的时间,与预案上限对比
数据丢失范围 切换前后事务集合的差集,确认与预期的丢失窗口一致
应用失败请求 客户端持续请求的成功率与错误类型
连接切换生效 连接池重建后是否全部指向新主库,是否存在残留旧连接
复制重建 其余从库是否恢复复制并追平
告警完整性 切换过程中的告警是否按预期触发并送达
回切行为 回切后数据与复制状态是否恢复正常

演练记录在通用字段基础上补充:复制模式(异步或半同步)、切换前后的位点与事务集合、丢失事务数与业务影响、从库重建耗时。

问题闭环:

  • 演练暴露的问题按"动作、责任人、完成判定"转为具体任务,未闭环项在下次演练中延续跟踪
  • 常见问题包括:连接池未重建导致长时间连接错误、切换脚本依赖人工逐步执行、切换后未核对数据、原主库回归流程缺失、监控未覆盖半同步退化状态
  • 复盘结论应落回文档与脚本,避免依赖个人经验

3.7 数据一致性校验

3.7.1 校验工具与思路

校验的目标是发现主从数据的逻辑差异,而不是页损坏。页级损坏的检查手段与判读方式见 InnoDB 存储引擎 第 3.5 节。

手段 原理 能力边界
行数比对 统计各表行数并比较 只能发现行数差异,更新类差异不可见;系统表中的行数字段为估算值,不可作为精确比对依据
分块校验和 按索引把表切成块,逐块计算校验和并在两侧比对 能发现任意行内容差异,需要合适的索引与稳定的分块依据
逐行比对 基于唯一键分页取出两侧数据逐行比较 结果最细,代价最高,适合核心小表
对象定义比对 比较建表语句输出 发现结构差异,不涉及数据

分块校验和的实现思路:

  1. 在主库上按唯一索引把每张表切成若干块,对每块执行聚合校验,例如对关键列拼接后取逐位异或的循环冗余校验值
  2. 校验语句通过复制在从库执行,结果写入一张结果表,两侧结果因复制关系落在同一张表中,可直接比较
  3. 比较两侧结果,得到存在差异的库表与分块范围

这一机制决定了使用前提:

  • 校验期间复制必须正常运行,否则从库侧不会执行校验语句,比较结果无意义
  • 校验本身会给主库增加读压力、给从库增加重放压力,需要限制块大小与并发并在低峰执行
  • 从库延迟较大时,同一块在两侧的计算可能落在不同的复制进度上,产生假差异。需要在校验前确认延迟可控,并设置延迟上限
# 分块校验的典型调用(在主库执行,通过复制在从库收集结果)
pt-table-checksum --host=<主库> --user=<校验账号> \
  --databases=app --chunk-size=1000 --max-lag=2 --no-check-binlog-format
-- 行数与结构核对,结果仅作参考
SELECT TABLE_NAME, TABLE_ROWS FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'app' ORDER BY TABLE_ROWS DESC;

SHOW CREATE TABLE app.orders\G

3.7.2 差异的成因分类

成因 特征 处置方向
从库被写入 差异集中在被手工修改的表,只读或超读未开启 重建从库并修正只读配置
曾跳过事务 差异与历史跳过的事务号对应 重建从库或按记录定向补数据
复制过滤规则 差异集中在被过滤的对象 属配置预期,校验时排除这些对象
复制中断期间的分叉 差异出现在中断时间窗口内的变更 重建从库
从库崩溃导致部分重放 差异与崩溃时间点相关 重建从库
非确定性语句 部分行的值不同,出现在语句格式复制下 统一为行格式并重建从库

3.7.3 修复方式与取舍

  • 以主库为准修复从库:适用于确认主库数据正确(差异来自从库被写入、跳过事务、复制中断)的场景。修复路径有两条,按差异行生成补偿语句,或直接重建从库
  • 重建从库是彻底消除分歧的唯一可靠方式。差异范围广、成因不确定或涉及核心表时优先选择重建,而不是逐行修补
  • 差异行数少、成因明确时逐行修补的代价更低,但必须记录修复的行范围与依据
  • 差异来自主库侧的误操作(误更新被同步到全部从库)时两侧都是错误数据,需要在主库上回退,回退依赖备份与日志重放,方法见 备份与恢复 第 3.3 节
  • 无法判定哪一侧正确时以主库为准,同时在业务侧核对受影响的事实数据(对账结果、订单状态、库存数量),业务结果才是最终判据

校验频率建议:核心库按周或按月执行全量分块校验,一般业务按季度执行;发生复制中断、跳过事务、切换、版本升级后立即执行一次针对性校验,范围至少覆盖受影响的对象。

3.8 读写分离落地

3.8.1 应用层与中间件方式对比

维度 应用层实现 中间件实现
原理 应用内配置多数据源,按注解或路由键选择连接 应用连接中间件的单一地址,由中间件按规则转发
对应用的侵入 需要引入框架、编写路由逻辑、改造数据源配置 应用无需改造,仅修改连接地址
路由灵活度 高,可结合业务语义与用户身份 受中间件规则表达能力限制
延迟感知 可在应用内实现位点等待与写后读主窗口 依赖中间件对从库延迟的感知与摘除能力
运维复杂度 规则分散在各应用,统一变更困难 规则集中,但引入新的使用与运维对象
风险点 各应用实现不一致,出错后难以统一修复 中间件成为新的单点与性能瓶颈

取舍原则:

  • 应用数量少、路由规则与业务语义强相关时使用应用层实现,控制力更强
  • 应用数量多、需要统一治理时使用中间件,代价是引入新的组件与可用性要求,中间件自身的高可用要求见 高可用与集群 第 2.4 与 2.6 节
  • 两种方式混用时必须明确同一查询的路由优先级,避免同一业务在不同应用上路由策略不同

3.8.2 路由规则与失效回退

  • 默认规则:写请求与事务走主库,读请求走从库
  • 强制走主库的路径需要保留:事务内的全部语句、写后读的窗口内查询、需要最新数据的接口。多数实现通过注解、方法名约定或语句注释标记
  • 从库失效回退:从库不可用时把读流量回退到主库。需要评估主库的读容量,回退期间主库读压力上升可能引发连锁故障,应配置回退的连接上限与优先级
  • 摘除与恢复阈值需要成对设置:摘除过松会把请求发往异常从库,恢复过严会导致从库恢复后不承接流量
  • 主库失效时写请求无法通过回退解决,属于切换流程的范畴,应用侧只负责感知新主库地址

3.8.3 读从库的业务判定条件

可读从库的场景 不可读从库的场景
列表与搜索结果的展示字段 写入后立即读取自身写入的数据
报表与统计查询 库存扣减、余额、支付状态等强一致判断
数据导出与离线分析 事务内的任何读操作
历史数据查询 幂等校验与去重判断
非关键的关联信息展示 依据读取结果决定是否再次写入的逻辑

判定依据是"读到旧数据会产生什么后果":只影响展示内容的新旧程度可以读从库,会导致错误业务决策或数据错误的不能读从库。

3.8.4 延迟敏感业务的处理

  • 写后读主窗口:写入后在固定时长内把该会话的读强制路由到主库。窗口时长需要大于常态延迟并预留余量,窗口过短仍会读到旧数据
  • 位点等待:记录写事务的事务号或位点,读前在从库上等待追平,语义最准确。等待会阻塞查询,必须设置超时并在超时后降级到主库
  • 会话粘性:把同一会话固定在一个节点上,降低同一会话内看到不同数据的概率,代价是读扩展收益下降
  • 延迟阈值摘除:按延迟指标把超过阈值的从库从读池摘除。注意延迟秒数的判读局限(见 2.1 节),摘除规则应结合位点差与未重放事务集合
  • 把强一致读集中到主库需要评估主库容量,主库读放大到一定程度后读扩展的收益会被抵消
  • 对延迟极度敏感的场景,正确做法是不让从库承担这部分读流量,而不是用更复杂的路由规则掩盖延迟

3.9 常见故障案例

3.9.1 延迟持续增长

现象:位点差与延迟秒数同时增长,且在主库写入回落后仍不收敛。

定位:按 3.3.1 的顺序判断环节。若为 SQL 线程落后,查看各 worker 状态。大量小事务且重放线程数偏少属于并行度不足;周期性出现的大事务属于事务本身不可并行。

处置:启用或调高并行复制,拆分周期性大事务,提升从库资源。从库资源已到上限而主库写入仍持续超过重放能力时,需要降低主库写入峰值或在应用侧拆分写入,单纯在从库侧调优无法解决。

复盘要点:延迟治理需要在写入量增长前完成,出现持续延迟时问题已经从性能变成容量。

3.9.2 从库磁盘写满导致复制中断

现象:复制线程停止,错误日志出现磁盘写入失败或 relay log 相关错误,Relay_Log_Space 长时间处于高位。

定位:核对 relay log 目录与数据目录所在分区的水位,确认是 relay log 堆积、数据膨胀、binlog 未清理还是其他文件占用。relay log 堆积的直接原因通常是重放延迟。

处置:先释放可回收空间(临时文件、按保留策略清理归档与旧备份),水位恢复后重启复制线程。若释放的空间不足以让复制追平,需要先降低延迟再重启,否则会再次写满。磁盘与文件系统的清理方法见 磁盘存储与文件系统操作。

预防:把 relay log 与数据目录分盘;对从库磁盘水位设置早于写满的告警;把从库延迟纳入容量评估。

3.9.3 误操作同步到从库

现象:主库上的误删或误更新随日志传播到全部从库,所有副本同时受损。

定位:确认误操作类型与时间窗口,判断受影响范围;确认延迟从库的延迟时长是否覆盖了从误操作发生到被发现的时间。

处置:延迟从库尚未重放该操作时,可直接从延迟从库导出受影响表并回补,代价最低;否则按时间点恢复的流程从备份重建。流程见 备份与恢复 第 2.6 与 3.3 节。

复盘要点:主从复制与读写分离都不能防御误操作,防护依赖延迟从库与备份;误操作的平均发现时间决定延迟从库取值是否有效。

3.9.4 复制账号失效

现象:复制中断,错误信息为访问被拒或连接数超限。

成因:密码过期、账号被锁定、权限被回收、主库连接数占满导致复制连接被拒、账号的来源地址白名单与实际来源地址不匹配(例如从库出口地址变更)。

处置:修复账号后重启 IO 线程即可恢复,不需要重建复制。关键在于区分凭据问题与数据问题:凭据问题不产生数据分歧,修复成本低。

预防:为复制账号设置密码不过期;账号变更纳入变更评审;对复制账号的连接失败单独监控。

3.9.5 事务号冲突

现象:复制中断,错误提示事务已在从库上执行;或主从已执行事务集合出现交集。

成因:从库曾被写入;曾手工注入空事务;原主库未清理数据即以从库身份回归,其已执行集合与新主库不兼容。

处置:判断交集对应的具体事务。交集事务数量少且能确认内容一致时,可按 3.4.2 的方式处理,属于临时手段;交集范围大或无法确认时,按 3.1.3 重新初始化从库数据后重建复制,这是唯一可靠的消除方式。

预防:严格禁止向从库写入;提升与回归流程中包含已执行事务集合的核对;不使用原主库数据目录直接作为新主库的从库。

3.9.6 切换后数据不一致

现象:切换完成后业务出现数据异常,或核对时发现新主库缺少部分事务。

成因:切换前未等待从库追平;原主库未停止写入即解除从库只读导致双写;原主库上存在未发送到从库的事务,切换后这部分写入丢失;连接池未重建导致部分写入仍发往原主库。

处置:立即停止原主库的写入并确认双写范围;按 3.7 做一致性校验,确定差异范围后决定补齐数据还是回退重新切换;丢失部分按业务影响评估是否需要从备份中定向补录。

复盘要点:切换流程中"确认原主库已不可写"不可省略;连接池与残留连接的处理需要在应用侧验证,而不是只修改配置文件。

四、总结

  • 主从架构解决读扩展、备份解耦与故障冗余,同时引入数据不一致、延迟与切换风险三类需要长期治理的问题,复制机制本身见 主从同步原理
  • 复制状态判读需要区分 IO 线程与 SQL 线程的进度:位点差反映未重放的数据量,延迟秒数反映时间差;后者在时钟偏移、大事务与主库无写入场景下存在明确失效边界,不能作为唯一依据
  • 延迟先按拉取段与重放段分类,再判断是否结构性;大事务与并行度不足是重放段的两类主因,网络与磁盘问题属于拉取段
  • 半同步只保证日志已到达至少一个从库,不保证已重放;超时退化属静默行为,必须对半同步状态与未确认提交数单独告警
  • 并行复制按库并行与按组提交并行的并行度上限不同;并行无法加速单个大事务,并行度需要与从库核数和实际可并行事务数匹配
  • 异步复制的丢失窗口不存在固定值,半同步收窄但不消除;从库必须开启超读,否则一致性校验需要常态化执行
  • 搭建流程的核心是版本与参数核对、初始化方式选择、复制起点记录与验收清单;计划用于切换的从库必须开启日志与中继日志更新
  • 复制监控需要覆盖线程状态、位点与延迟、未重放事务集合、半同步状态与主机资源,并与主机侧监控建立抑制与交叉验证关系
  • 复制中断按账号、网络、日志缺失、数据不一致、资源问题分类处置;跳过事务是不可回滚的临时手段,必须前置核对并建立后续修复任务
  • 切换的可靠性取决于四点:原主库先停止写入、等待目标从库追平、应用连接池重建、切换后核对数据并重建其他从库的复制
  • 切换演练覆盖切换与回切两个方向,逐项记录耗时、丢失范围与应用表现,问题闭环到具体动作
  • 一致性校验以分块校验和为主,行数比对仅作参考;重建从库是消除分歧的唯一可靠方式,逐行修补只适用于范围明确的小差异
  • 读写分离的取舍依据是"读到旧数据会产生什么后果",会话内一致性通过写后读主、位点等待或会话粘性保障;中间件方式集中治理规则,代价是引入新的单点
  • 破坏性操作(重建复制、跳过事务、强制提升从库、清空从库数据、终止复制线程)执行前必须确认目标实例、记录位点与事务集合,并明确回退路径