一、起源
MySQL 主从同步(Master-Slave Replication)最早出现在 MySQL 3.23(2000 年前后),其设计目标是解决单节点数据库的多重瓶颈:
- 高可用:单点宕机时,从库可切换为主库,缩短故障恢复时间
- 读写分离:主库承担写,从库分担读,缓解单一实例的查询压力
- 备份容灾:从库作为物理备份与数据冗余的载体
- 分析隔离:在线业务与报表、统计分析走不同实例互不干扰
同步的载体是二进制日志(binlog)。主库把所有写操作写入 binlog,从库通过拉取并重放 binlog 来复制数据,而非重新执行原始 SQL。
二、原理
2.1 整体工作链路
主从复制的核心是一条"日志传递 + 日志重放"的数据管道,涉及三个角色与一条日志:
- 主库(Master):产生 binlog,为从库提供日志来源
- 从库(Slave):拉取 binlog 并在自身重放,追平主库数据
- 中转日志(relay log):从库本地先落盘的 binlog 副本,重放与拉取解耦
- binlog:记录数据库所有变更的二进制日志,是复制的唯一数据来源
节点职责划分:
| 角色 | 主要工作 | 关键线程/组件 |
|---|---|---|
| 主库 | 顺序写 binlog,供从库拉取 | 二进制日志(binlog) |
| 从库 | 拉取、落盘、重放二进制日志 | I/O 线程、SQL 线程 |
| 从库(可选半同步) | 确认日志已接收 | dump 线程交互 |
2.2 从库的两个线程
MySQL 5.6 之前从库只有两个线程,5.6 起舍去了 SQL 线程,引入多个并行工作线程,但整体仍是"两个工作段":
- I/O 线程(IO thread / 旧称 Slave_IO_Running):
- 向主库发起连接,请求指定起始位置的 binlog
- 把拉取到的 binlog 事件写入本地 relay log
- SQL / 应用线程(SQL thread / applier worker):
- 读取 relay log 中的事件
- 在从库本地按顺序执行这些变更,达到与主库一致
I/O 线程与 SQL 线程解耦,意味着网络延迟与重放延迟可互相缓冲:拉取可以一直领先,重放逐步追平。
2.3 主库的 dump 线程
- 每个从库连接主库建立复制关系时,主库为该连接启动一个 binlog dump 线程
- dump 线程按照从库请求的 binlog 文件名与位置,把后续事件持续推送给从库
- dump 线程负责的正是"把 binlog 从主库文件中发给从库"的职责
2.4 三种复制模式
| 模式 | 说明 | 一致性程度 |
|---|---|---|
| 异步复制(Asynchronous) | 主库写入 binlog 即认为提交成功,不等待任何从库确认 | 可能丢失(存在主从延迟) |
| 半同步复制(Semi-synchronous) | 主库需等待至少一个从库确认已收到并落盘 binlog,才向客户端返回提交成功 | 提高可靠性,减少主库切换丢数据 |
| 组复制(Group Replication) | 基于共识算法,多节点协商日志,保证数据在多数派节点上一致 | 一致性最强,实现复杂 |
半同步复制的关键所在:其等待发生在事务提交前,确保 binlog 已安全地到达至少一个从库,从而避免主库崩溃后 binlog 尚未传送导致的数据丢失。
2.5 relay log 的推进与位点
- 从库每次成功应用一段 relay log 后,会记录其在 binlog 与 relay log 中的相对位点
- 从库保存并持续推进该位点,主库崩溃或网络重启后,从库从记录的位点继续拉取,实现断点续传
- 位点由从库自身的元数据文件(MySQL 5.6 的
master.info/ 后续版本的信息表)持久化保存
2.6 GTID 复制(5.6+)
传统位点复制依赖"文件名 + 起始字节位置",易受日志轮转影响、易配错。GTID(Global Transaction Identifier)提供了更可靠的替代:
- GTID:
UUID:数字,每个事务在主库生成一个全局唯一标识 - 从库记录已执行过的 GTID 集合,主库只需把未执行过的事务发给从库
- 切换主从、重新搭建从库时,无需人工推算位点,由 GTID 集合自动收敛
GTID 解决了"从库不知道主库已执行到哪"的难题,这正是其相对位点复制的核心改进。
2.7 复制延迟与一致性问题
- 主从延迟:SQL 线程重放速度跟不上主库写入速度,导致看到的从库数据落后。常见诱因包括大事务、单线程重放、慢查询、主从性能差异
- 最终一致:异步复制下从库数据是"最终一致",读从库可能读到旧数据,需业务层容忍或读写强制主库
- 并行复制:MySQL 5.6 按库并行,5.7 引入按事务并行(同一事务内仍有序),显著缓解单线程重放瓶颈
2.8 binlog 的三种格式
| 格式 | 含义 | 特点 |
|---|---|---|
| STATEMENT | 记录原始 SQL 语句 | 日志小,但有函数/随机数等不确定性可能复现不一致 |
| ROW | 记录每一行的变更细节 | 一致性最好,日志较大,是默认与推荐格式 |
| MIXED | 自动混用两种 | 默认 STATEMENT,无法确定复现时自动切换 ROW |
2.9 主从复制的限制
- 主从不完全等同:从库可以配置不同于主库的索引、存储引擎,也可额外建表(用于隔离查询)
- 复制是单向的,默认不同步主从两侧的 DDL/DCL(如建库、授权)之外的全部操作也不反向
- 从库上不应再执行写操作,否则可能产生冲突或数据不一致
三、实现
3.1 主库配置
my.cnf 关键项:
[mysqld]
server-id = 1
log-bin = mysql-bin
binlog-format = ROW
# 可选:指定要记录的二进制日志数据库
binlog-do-db = app
# 可选:指定不复制的库
binlog-ignore-db = mysql
创建复制专用账号并授权:
CREATE USER 'repl'@'%' IDENTIFIED BY 'password';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES;
查看主库当前的 binlog 位点:
SHOW MASTER STATUS;
3.2 从库配置
my.cnf 关键项:
[mysqld]
server-id = 2
replicate-ignore-db = mysql
使用 GTID 复制时需要在从库开启:
gtid_mode = ON
enforce_gtid_consistency = ON
在从库建立并启动复制:
-- 传统位点方式(需根据 SHOW MASTER STATUS 填写)
CHANGE MASTER TO
MASTER_HOST = '主库IP',
MASTER_USER = 'repl',
MASTER_PASSWORD = 'password',
MASTER_LOG_FILE = 'mysql-bin.000001',
MASTER_LOG_POS = 154;
-- GTID 方式
SET @MASTER_GTID='UUID:1-100';
CHANGE MASTER TO
MASTER_HOST = '主库IP',
MASTER_USER = 'repl',
MASTER_PASSWORD = 'password',
MASTER_AUTO_POSITION = 1;
START SLAVE;
3.3 数据初始化与验证
主库有存量数据时,先使用逻辑或物理备份(如 mysqldump、xtrabackup)把基线数据导入从库,再开启复制,避免从空库开始大量重放:
mysqldump --single-transaction -u root -p app > /backup/app.sql
mysql -u root -p app < /backup/app.sql
核对复制状态:
SHOW SLAVE STATUS\G
-- 关注字段:
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- Seconds_Behind_Master: 0
3.4 常见故障速查
| 现象 | 可能原因 | 排查点 |
|---|---|---|
| Slave_IO_Running: No | 网络不通、账号错误、权限不足 | 检查主库 SHOW MASTER STATUS、账号授权、防火墙、dump 线程日志 |
| Slave_SQL_Running: No | 重放遇到主键冲突、表结构不一致 | SHOW SLAVE STATUS 中的 Last_SQL_Error,修复后 STOP/START SLAVE |
| 主从延迟持续增大 | 大事务、单线程重放、慢查询 | 开启并行复制、拆分大事务、检查主从性能差异 |
| 手动跳过错误 | 需明确该错误是否可接受 | 通过 CHANGE MASTER TO MASTER_AUTO_POSITION 或跳位点谨慎处理 |
| 从库数据不一致 | 直接对从库执行了写操作 | 从库只读设为 read_only = 1 / super_read_only |
总结
MySQL 主从同步以 binlog 为数据载体,通过主库 dump 线程把变更日志推送给从库,从库的 I/O 线程落盘 relay log、SQL 线程重放实现复制。三种复制模式在可靠性、一致性、性能之间取舍,其中 GTID 用全局事务号替代裸位点,简化了断点续传与主从切换。理解 binlog 格式、两段式线程模型与复制延迟来源,是配置正确、排障高效的基础。