一、起源

MySQL 主从同步(Master-Slave Replication)最早出现在 MySQL 3.23(2000 年前后),其设计目标是解决单节点数据库的多重瓶颈:

  • 高可用:单点宕机时,从库可切换为主库,缩短故障恢复时间
  • 读写分离:主库承担写,从库分担读,缓解单一实例的查询压力
  • 备份容灾:从库作为物理备份与数据冗余的载体
  • 分析隔离:在线业务与报表、统计分析走不同实例互不干扰

同步的载体是二进制日志(binlog)。主库把所有写操作写入 binlog,从库通过拉取并重放 binlog 来复制数据,而非重新执行原始 SQL。

二、原理

2.1 整体工作链路

主从复制的核心是一条"日志传递 + 日志重放"的数据管道,涉及三个角色与一条日志:

  • 主库(Master):产生 binlog,为从库提供日志来源
  • 从库(Slave):拉取 binlog 并在自身重放,追平主库数据
  • 中转日志(relay log):从库本地先落盘的 binlog 副本,重放与拉取解耦
  • binlog:记录数据库所有变更的二进制日志,是复制的唯一数据来源

节点职责划分:

角色 主要工作 关键线程/组件
主库 顺序写 binlog,供从库拉取 二进制日志(binlog)
从库 拉取、落盘、重放二进制日志 I/O 线程、SQL 线程
从库(可选半同步) 确认日志已接收 dump 线程交互

2.2 从库的两个线程

MySQL 5.6 之前从库只有两个线程,5.6 起舍去了 SQL 线程,引入多个并行工作线程,但整体仍是"两个工作段":

  • I/O 线程(IO thread / 旧称 Slave_IO_Running):
  • 向主库发起连接,请求指定起始位置的 binlog
  • 把拉取到的 binlog 事件写入本地 relay log
  • SQL / 应用线程(SQL thread / applier worker):
  • 读取 relay log 中的事件
  • 在从库本地按顺序执行这些变更,达到与主库一致

I/O 线程与 SQL 线程解耦,意味着网络延迟与重放延迟可互相缓冲:拉取可以一直领先,重放逐步追平。

2.3 主库的 dump 线程

  • 每个从库连接主库建立复制关系时,主库为该连接启动一个 binlog dump 线程
  • dump 线程按照从库请求的 binlog 文件名与位置,把后续事件持续推送给从库
  • dump 线程负责的正是"把 binlog 从主库文件中发给从库"的职责

2.4 三种复制模式

模式 说明 一致性程度
异步复制(Asynchronous) 主库写入 binlog 即认为提交成功,不等待任何从库确认 可能丢失(存在主从延迟)
半同步复制(Semi-synchronous) 主库需等待至少一个从库确认已收到并落盘 binlog,才向客户端返回提交成功 提高可靠性,减少主库切换丢数据
组复制(Group Replication) 基于共识算法,多节点协商日志,保证数据在多数派节点上一致 一致性最强,实现复杂

半同步复制的关键所在:其等待发生在事务提交前,确保 binlog 已安全地到达至少一个从库,从而避免主库崩溃后 binlog 尚未传送导致的数据丢失。

2.5 relay log 的推进与位点

  • 从库每次成功应用一段 relay log 后,会记录其在 binlog 与 relay log 中的相对位点
  • 从库保存并持续推进该位点,主库崩溃或网络重启后,从库从记录的位点继续拉取,实现断点续传
  • 位点由从库自身的元数据文件(MySQL 5.6 的 master.info / 后续版本的信息表)持久化保存

2.6 GTID 复制(5.6+)

传统位点复制依赖"文件名 + 起始字节位置",易受日志轮转影响、易配错。GTID(Global Transaction Identifier)提供了更可靠的替代:

  • GTID:UUID:数字,每个事务在主库生成一个全局唯一标识
  • 从库记录已执行过的 GTID 集合,主库只需把未执行过的事务发给从库
  • 切换主从、重新搭建从库时,无需人工推算位点,由 GTID 集合自动收敛

GTID 解决了"从库不知道主库已执行到哪"的难题,这正是其相对位点复制的核心改进。

2.7 复制延迟与一致性问题

  • 主从延迟:SQL 线程重放速度跟不上主库写入速度,导致看到的从库数据落后。常见诱因包括大事务、单线程重放、慢查询、主从性能差异
  • 最终一致:异步复制下从库数据是"最终一致",读从库可能读到旧数据,需业务层容忍或读写强制主库
  • 并行复制:MySQL 5.6 按库并行,5.7 引入按事务并行(同一事务内仍有序),显著缓解单线程重放瓶颈

2.8 binlog 的三种格式

格式 含义 特点
STATEMENT 记录原始 SQL 语句 日志小,但有函数/随机数等不确定性可能复现不一致
ROW 记录每一行的变更细节 一致性最好,日志较大,是默认与推荐格式
MIXED 自动混用两种 默认 STATEMENT,无法确定复现时自动切换 ROW

2.9 主从复制的限制

  • 主从不完全等同:从库可以配置不同于主库的索引、存储引擎,也可额外建表(用于隔离查询)
  • 复制是单向的,默认不同步主从两侧的 DDL/DCL(如建库、授权)之外的全部操作也不反向
  • 从库上不应再执行写操作,否则可能产生冲突或数据不一致

三、实现

3.1 主库配置

my.cnf 关键项:

[mysqld]
server-id = 1
log-bin = mysql-bin
binlog-format = ROW
# 可选:指定要记录的二进制日志数据库
binlog-do-db = app
# 可选:指定不复制的库
binlog-ignore-db = mysql

创建复制专用账号并授权:

CREATE USER 'repl'@'%' IDENTIFIED BY 'password';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES;

查看主库当前的 binlog 位点:

SHOW MASTER STATUS;

3.2 从库配置

my.cnf 关键项:

[mysqld]
server-id = 2
replicate-ignore-db = mysql

使用 GTID 复制时需要在从库开启:

gtid_mode = ON
enforce_gtid_consistency = ON

在从库建立并启动复制:

-- 传统位点方式(需根据 SHOW MASTER STATUS 填写)
CHANGE MASTER TO
  MASTER_HOST = '主库IP',
  MASTER_USER = 'repl',
  MASTER_PASSWORD = 'password',
  MASTER_LOG_FILE = 'mysql-bin.000001',
  MASTER_LOG_POS = 154;

-- GTID 方式
SET @MASTER_GTID='UUID:1-100';
CHANGE MASTER TO
  MASTER_HOST = '主库IP',
  MASTER_USER = 'repl',
  MASTER_PASSWORD = 'password',
  MASTER_AUTO_POSITION = 1;

START SLAVE;

3.3 数据初始化与验证

主库有存量数据时,先使用逻辑或物理备份(如 mysqldump、xtrabackup)把基线数据导入从库,再开启复制,避免从空库开始大量重放:

mysqldump --single-transaction -u root -p app > /backup/app.sql
mysql -u root -p app < /backup/app.sql

核对复制状态:

SHOW SLAVE STATUS\G
-- 关注字段:
--   Slave_IO_Running: Yes
--   Slave_SQL_Running: Yes
--   Seconds_Behind_Master: 0

3.4 常见故障速查

现象 可能原因 排查点
Slave_IO_Running: No 网络不通、账号错误、权限不足 检查主库 SHOW MASTER STATUS、账号授权、防火墙、dump 线程日志
Slave_SQL_Running: No 重放遇到主键冲突、表结构不一致 SHOW SLAVE STATUS 中的 Last_SQL_Error,修复后 STOP/START SLAVE
主从延迟持续增大 大事务、单线程重放、慢查询 开启并行复制、拆分大事务、检查主从性能差异
手动跳过错误 需明确该错误是否可接受 通过 CHANGE MASTER TO MASTER_AUTO_POSITION 或跳位点谨慎处理
从库数据不一致 直接对从库执行了写操作 从库只读设为 read_only = 1 / super_read_only

总结

MySQL 主从同步以 binlog 为数据载体,通过主库 dump 线程把变更日志推送给从库,从库的 I/O 线程落盘 relay log、SQL 线程重放实现复制。三种复制模式在可靠性、一致性、性能之间取舍,其中 GTID 用全局事务号替代裸位点,简化了断点续传与主从切换。理解 binlog 格式、两段式线程模型与复制延迟来源,是配置正确、排障高效的基础。