一、起源:数据丢失的几类场景
MySQL 的数据丢失并不只来自硬件。业务侧的误操作、变更失误与程序缺陷在实际事故中占比更高,且往往在写入链路正常、监控无告警的情况下发生。按触发原因可归为以下几类。
1.1 逻辑误操作
- 误删数据:
DELETE缺少或写错WHERE条件、脚本中的过滤变量为空、TRUNCATE误指向生产表,短时间内清空表或删除大批数据 - 误更新数据:
UPDATE未限制范围或关联条件错误,把整列改写成同一值。此类操作不改变行数,磁盘与行数指标均无异常,通常在业务结果异常后才被发现 - 误删对象:
DROP TABLE、DROP DATABASE、错误的ALTER TABLE、在线 DDL 中断后留下的中间状态
1.2 硬件与存储故障
- 磁盘坏道、RAID 降级期间第二块盘再失效、阵列写缓存丢失
- 文件系统损坏、云盘静默错误、存储链路抖动导致的数据页不完整
- 实例所在主机崩溃,内存中尚未落盘的事务与部分日志缓存丢失
1.3 逻辑损坏与软件缺陷
- 数据页损坏、索引与数据不一致、二级索引缺失条目
- 程序缺陷持续写入脏数据,例如时区处理错误、精度截断、重复写入
- 复制链路把主库的误操作原样同步到全部从库,使故障扩散到所有副本
1.4 实例与环境事故
- 误删 datadir 下的数据文件、误格式化挂载点、容器数据卷被清理
- 升级或参数变更失败后回退不当
- 机房与可用区级故障
上述场景中,逻辑误操作具备共同特征:写入链路健康、指标正常、故障范围取决于副本数量。主从复制、读写分离与高可用切换都不能防御这类故障,因为误操作会随 binlog 传播到每一个从库。能够覆盖这类场景的只有带时间点的备份与日志归档。
1.5 备份的价值
备份的价值不在于备份任务执行成功,而在于数据受损后能在约定的数据丢失范围与时间范围内恢复出可用数据。由此得到两条判断准则:
- 未经验证的备份不具备可用性,任务退出码为 0 与备份可用于恢复是两个独立事实,通用原因分类与验证方法见 备份与容灾 第一、三节
- 备份不可恢复等于没有备份,恢复演练是验证备份的唯一手段
二、原理
2.1 备份目标与策略
RPO 与 RTO 的定义、业务分级与成本取舍属于通用备份原则,见 备份与容灾 第 2.1 节,此处只说明其在 MySQL 侧的落地形态。
| 业务等级 | 典型数据特征 | RPO | RTO | MySQL 侧常用手段 |
|---|---|---|---|---|
| 核心交易 | 写入频繁,丢失即产生资损 | 秒级 | 分钟级 | 半同步复制、binlog 持续归档、物理全备配合时间点恢复 |
| 一般在线业务 | 写入中等,可短暂中断 | 小时级 | 小时级 | 每日物理全备、binlog 归档、逻辑备份补充单表恢复能力 |
| 内部系统 | 写入较少,可计划中断 | 天级 | 天级 | 每日逻辑全备、按周轮换介质 |
| 归档与报表 | 基本不变,访问稀疏 | 周级 | 天级 | 离线逻辑导出、低频物理副本 |
- RPO 在 MySQL 侧由两个间隔共同决定:全量备份的周期,以及 binlog 归档的连续性。只做每日全备而未保存 binlog 时,实际 RPO 等于备份周期
- RTO 由恢复方式决定:物理备份恢复到可用实例的耗时远低于逻辑备份的逐条重放,数据量越大差距越明显
- 目标需要覆盖对象级损坏与实例级损坏两种场景:仅按实例级故障设计时,一次误
DROP TABLE仍可能造成长时间中断
全量、增量与差异的取舍在 MySQL 侧有额外约束:
| 类型 | MySQL 实现方式 | 恢复依赖 | 主要代价 |
|---|---|---|---|
| 全量 | 逻辑导出全库,或物理复制数据文件 | 单独一份即可 | 备份窗口与存储占用最大 |
| 增量 | XtraBackup 基于 LSN 的页级增量 | 一份全备加按序的增量链 | 链路任一环损坏即失效,合并需额外时间 |
| 差异 | 以某次全备为基准的累计差异 | 一份全备加最近一份差异 | 占用介于两者之间 |
| 等价增量(日志) | binlog 归档 | 一份全备加连续 binlog | 依赖 binlog 完整性与位点准确性 |
- mysqldump 等逻辑工具不提供原生增量能力,逻辑侧的"增量"实际由 binlog 承担
- 物理增量以页为单位,增量链越长,准备阶段的合并耗时越长,恢复时间也随之上升
2.2 逻辑备份与物理备份
两类工具的差异来自读取对象与产物形态。
| 维度 | 逻辑备份(mysqldump、mysqlpump、mydumper) | 物理备份(XtraBackup、文件系统快照) |
|---|---|---|
| 读取对象 | 通过 SQL 查询读取行数据与对象定义 | 直接读取数据文件与 redo 日志 |
| 产物形态 | SQL 文本或数据文本,可读、可编辑 | 数据文件副本,与版本、页大小、平台绑定 |
| 一致性手段 | 一致性快照读或全局读锁 | 备份期间记录 LSN,恢复时用 redo 前滚、undo 回滚 |
| 恢复速度 | 慢,需逐条重放 SQL 并重建索引 | 快,接近文件拷贝速度 |
| 空间占用 | 压缩后通常较小 | 接近数据文件实际大小 |
| 跨版本迁移 | 支持,可跨大版本与不同发行版 | 通常要求相同大版本与页大小 |
| 单表恢复 | 可从整库导出中提取单表段落 | 需额外工具按表导出,步骤较多 |
| 备份期间负载 | 读取行数据,产生较大 CPU 与 IO 压力 | 页级扫描,IO 压力较大但 CPU 开销低 |
| 锁影响 | 非事务表需全局读锁,持锁期间写入阻塞 | 短暂全局锁或仅记录 LSN,写入阻塞窗口短 |
- InnoDB 表在可重复读隔离级别下,一致性快照读可使整份导出对应同一事务时间点,此时无需全局锁
- 包含非事务引擎表(MyISAM)的库,一致性快照无法覆盖这些表,需要在导出期间加锁,或将这类表单独处理
- 物理备份的一致性来自 redo 日志的重放:备份期间的数据文件处于崩溃一致状态,准备阶段把 redo 中已提交的事务前滚、未提交的事务回滚,得到可启动的一致副本,redo 前滚与 undo 回滚的完整机制见 mysql: InnoDB 存储引擎
2.3 binlog 与时间点恢复
binlog 记录所有数据变更,是主从复制与数据恢复的共同载体,三种格式的差异与位点概念见 使用命令 第十一节的日志体系与 主从同步原理 第 2.8 节。
时间点恢复的基本模型:
- 恢复最近一次全量备份,得到一个基线实例
- 从全量备份中记录的位点或 GTID 集合开始,按序重放归档的 binlog
- 重放到目标时间点或目标位点后停止,跳过造成损坏的那部分事件
恢复边界的表达方式:
- 按时间:
--stop-datetime,适合以业务现象发生时刻为参照的恢复。需注意 binlog 中的时间戳来自主库时钟,与业务日志的时间基准存在偏差 - 按位点:
--stop-position,精确到事件,适合已知误操作具体语句的场景 - 按 GTID:以事务为单位过滤,适合 GTID 复制环境,避免位点推算错误
误操作场景下的最小损失恢复思路:
- 目标是恢复到误操作发生前一刻,而非恢复到最新。误操作之后的所有正常写入会一并被丢弃,需要在恢复完成后按业务重要性补录
- 定位误操作位点的顺序:先确定误操作发生的大致时间,再用
mysqlbinlog解析该时间窗口的内容,按语句特征找到对应事件,取其起始位点作为停止边界 - ROW 格式下 binlog 记录的是行变更前后镜像,可按主键定位受影响行,必要时用反向解析工具生成补偿语句,把误删除的行重新插入,避免整库回退
- STATEMENT 格式只记录 SQL 原文,无法还原被影响的行的具体值,反向补偿能力受限。这是生产环境推荐 ROW 的原因之一
binlog 格式对恢复的影响:
| 格式 | 对恢复的影响 |
|---|---|
| STATEMENT | 日志体积小,但含不确定性函数(NOW()、RAND()、UUID())与自增依赖的语句重放结果可能与原执行不一致 |
| ROW | 重放确定性强,可按行定位与生成反向语句,日志体积大,恢复时需要更大的归档空间与更长的重放时间 |
| MIXED | 由服务器自动切换,恢复行为不一致,排障时需要同时考虑两种记录方式 |
binlog_row_image影响 ROW 格式记录的内容:设为MINIMAL时仅记录变更列,无法还原完整行镜像,反向补偿需要回表取值;FULL记录全部列,便于恢复但日志更大expire_logs_days或binlog_expire_logs_seconds决定 binlog 保留期,保留期短于备份周期时,超过保留期的区间无法进行时间点恢复,参数配置见 MySQL 服务配置 的 Binlog 分区
2.4 一致性
备份期间的一致性由数据写入方式决定,不同手段对应不同的一致性等级:
| 手段 | 原理 | 一致性等级 | 代价 |
|---|---|---|---|
| 停写冷备 | 停止写入后复制文件 | 应用一致性 | 业务中断 |
| 一致性快照读 | 事务快照使全部读取对应同一时间点 | InnoDB 数据一致,非事务表不覆盖 | 备份期间产生较长读视图,undo 空间增长 |
| 全局读锁 | 持有 FLUSH TABLES WITH READ LOCK | 全部表一致 | 持锁期间写入阻塞 |
| 文件系统快照 | 块层记录卷映像 | 崩溃一致性 | 依赖存储支持,快照空间耗尽即失效 |
- 长事务与长快照会阻止 undo 清理,备份期间 undo 表空间可能显著增长,大库备份需要预留空间
- 备份与业务 DDL 并发时,DDL 会对备份过程中的表加元数据锁,可能出现锁等待甚至备份失败,因此备份窗口应与变更窗口错开
- 物理备份在备份结束时记录 LSN 与 binlog 位点,这一记录决定后续增量备份与时间点恢复的起点,缺失则物理增量链无法建立
主从环境下从库备份的取舍:
| 方式 | 优点 | 代价 |
|---|---|---|
| 主库备份 | 位点与数据天然对应 | 备份 IO 与主库写入争用,加锁方式会影响线上写入 |
| 从库备份 | 隔离备份压力,不影响主库写入 | 需保证从库数据与位点同步,从库存在延迟时备份内容对应更早的时间点 |
| 延迟从库备份 | 兼顾隔离压力与误操作防护 | 可用磁盘容量与实例数量增加 |
- 从库备份时需同时记录从库当前的复制位点与主库状态位点,二者关系决定恢复后能否正确接续复制
- 从库存在延迟时,备份对应的数据时间点早于主库,RPO 以该时间点计算,需要把延迟纳入目标评估
2.5 备份文件的完整性与校验
- 逻辑备份的完成标志是文件尾部存在导出结束标记(默认包含
Dump completed),截断的文件通常缺失该标记,可作为快速判定依据 - 物理备份的校验依赖工具自带的校验选项与摘要比对,XtraBackup 在备份阶段对每个数据页计算校验和,
validate可对已有备份做逐一校验 - 校验手段的强度顺序:文件可读性校验、容器与压缩完整性校验、摘要比对、导入隔离实例、业务查询验证
- 只有导入并查询才能证明备份可用,前几层校验只能排除明显的介质与传输问题,方法见 备份与容灾 第 3.7 节
备份链的依赖关系:
- 物理增量链的每一环都依赖其直接前驱,中间任一环损坏或缺失,其后所有增量均不可用。链越长,失效概率越高
- 定期执行一次新的全量备份可以重置链路长度,降低单点损坏的影响面
- binlog 是独立于物理链的第二条依赖链,二者需统一归档,任一条缺失都会限制可恢复的范围
保留策略与容量:
- 保留策略要同时给出保留代数与删除顺序,容量按一个保留周期内全部副本的合计占用估算
- MySQL 数据集的体积增长直接影响三类空间:备份存储、binlog 归档空间、备份期间产生的 undo 与临时表空间
- 全备加增量加 binlog 的合计占用通常数倍于数据目录本身,容量规划需按实测增量速率推算,而不是按数据量等比缩放
2.6 延迟从库的价值
延迟从库是在复制链路上人为引入延时的副本,通过 MASTER_DELAY 或 SOURCE_DELAY 设定延迟秒数,复制原理与线程模型见 主从同步原理 第二节。
作为最后一道防线的作用:
- 主库发生误操作后,延迟从库在该操作重放之前仍保有未受损的数据。误操作被发现的时间窗口通常小于延迟时长时,可直接从延迟从库导出受影响表并回补,恢复代价远低于全量恢复加时间点重放
- 延迟从库不受主库误操作立即影响,为定位与决策留出时间,避免发现问题时所有副本都已损坏
代价与限制:
- 延迟从库的数据落后主库固定时长,不能承担实时读流量,资源利用率低于普通从库
- 延迟从库本身也可能因磁盘故障或复制中断而失效,不能替代备份,其定位是缩短恢复时间的补充手段
- 延迟时长需要与误操作的平均发现时间匹配:延迟过短来不及介入,延迟过长则落后数据过多,恢复后需要补录的区间更大
- 提升延迟从库为正常从库或执行恢复时,需要先停止复制线程并解除只读,属于对复制链路的破坏性操作,执行前应确认目标实例与业务可用性;延迟从库的搭建、位点核对与切换流程见 mysql: 主从部署与运维实践
三、实现
3.1 逻辑备份落地
mysqldump 的基本用法、导出粒度与导入方式见 使用命令 第八节与第十一节的 binlog 部分,此处只补充一致性参数组合与生产注意事项。
一致性参数组合:
# 单库一致性导出:一致性快照读,记录位点,包含例程、触发器与事件
mysqldump --single-transaction --source-data=2 \
--routines --triggers --events --set-gtid-purged=OFF \
--default-character-set=utf8mb4 --hex-blob --quick \
-u backup -p app > /backup/app-$(date +%F_%H%M).sql
# 多库导出,附带建库语句
mysqldump --single-transaction --databases db1 db2 \
--set-gtid-purged=OFF -u backup -p > /backup/multi-$(date +%F).sql
# 仅结构,用于比对表定义
mysqldump --no-data --set-gtid-purged=OFF -u backup -p app > /backup/app-schema.sql
参数组合的注意点:
--single-transaction只对 InnoDB 有效,生效前提是没有其他会话持有长事务。存在长事务时快照无法真正对应单一时间点,导出前应确认无长期运行的事务--single-transaction与--lock-tables互斥,同时指定后加锁行为会覆盖一致性保证- 同时存在 MyISAM 表时应改用
--lock-all-tables,此时会持有全局读锁,写入阻塞,需安排业务低峰窗口 --source-data=2会把位点信息作为注释写入导出文件,MySQL 8.0.26 之前的名称为--master-data,取值 2 表示注释形式,便于在文件中检索位点--set-gtid-purged=OFF用于避免导出文件携带 GTID 集合而在非 GTID 环境导入失败,GTID 环境重新搭建从库时应改为ON以正确设置集合--hex-blob使二进制类型以十六进制输出,避免含特殊字符的可变长数据破坏 SQL 文件的解析--quick使服务器逐行返回结果,避免客户端把整表缓存在内存
大库场景的替代工具与并行思路:
| 工具 | 特点 | 适用场景 |
|---|---|---|
| mysqlpump | 支持库表级并行导出与压缩,MySQL 8.0 起已废弃 | 历史环境的中等规模数据 |
| mydumper | 多线程导出,按表分文件,自带一致性位点记录,配套 myloader 并行导入 | 大数据量逻辑导出与迁移 |
| mysqlsh 的 util.dumpSchemas | 分片并行导出,支持压缩与校验 | MySQL 8.0 大数据量迁移、异构迁移 |
| 按表或按主键区间导出 | 自行拆分导出范围并行执行 | 超大单表的分批导出 |
并行导出的注意点:
- 并行可以缩短总时长,但会放大对磁盘 IO 与实例 CPU 的压力,需要限制并发数并与业务错峰
- 按主键区间拆分时,拆分依据为稳定的唯一键,避免导出期间新写入导致区间重叠或遗漏
- 分文件导出会改变恢复方式,需要配套的导入脚本与顺序定义,并在演练中验证完整导入流程
导出文件的压缩与加密:
# 边导出边压缩,减少落盘与传输体积
mysqldump --single-transaction --source-data=2 -u backup -p app \
| gzip -1 > /backup/app-$(date +%F).sql.gz
# 加密:明文不落盘,密钥由受控来源提供,不写入脚本
mysqldump --single-transaction --source-data=2 -u backup -p app \
| gzip -1 | openssl enc -aes-256-cbc -salt -pbkdf2 \
-pass file:/etc/mysql-backup/enc.key > /backup/app-$(date +%F).sql.gz.enc
- 压缩级别过高会显著增加备份期间的 CPU 占用,与业务争用资源,通常使用低级别压缩以换取速度
- 密钥文件权限收紧并与备份分开存放。密钥丢失后加密备份不可恢复,属于不可逆故障,需保留离线副本
- 加密备份恢复前需先解密再导入,流程中多出的中间文件应落在受限目录并在使用后清理
高危:清理备份文件时,删除的是恢复能力的唯一载体。使用 rm、find -delete 或仓库清理动作删除备份前,必须确认保留策略中已存在更新的可用副本,并核对删除路径不含通配符误匹配。回滚方式:已删除的备份无法找回,只能依赖其他副本;缺少其他副本时该时间点数据永久丢失。
3.2 物理备份落地
XtraBackup 类工具直接复制 InnoDB 数据文件并在备份期间记录 redo,备份产物需要经过准备阶段才能用于恢复。
备份流程:
# 全量备份
xtrabackup --backup --target-dir=/backup/xtra/full-$(date +%F) \
--user=backup --password=... --compress
# 备份结束时记录位点与 LSN,用于后续增量与时间点恢复
cat /backup/xtra/full-$(date +%F)/xtrabackup_binlog_info
# 准备:使备份达到可恢复的一致状态,必须执行且不可跳过
xtrabackup --prepare --target-dir=/backup/xtra/full-$(date +%F)
增量备份与合并:
# 以全量为基准做增量,基准目录的 LSN 由工具自动读取
xtrabackup --backup --target-dir=/backup/xtra/inc-01 \
--incremental-basedir=/backup/xtra/full-2026-09-20 --user=backup --password=...
# 准备阶段按序合并:先在全量上 apply-log-only,再逐个合并增量,最后统一前滚
xtrabackup --prepare --apply-log-only --target-dir=/backup/xtra/full-2026-09-20
xtrabackup --prepare --apply-log-only --target-dir=/backup/xtra/full-2026-09-20 \
--incremental-dir=/backup/xtra/inc-01
xtrabackup --prepare --target-dir=/backup/xtra/full-2026-09-20
--apply-log-only只能在合并中间增量时使用,最后一次准备不能带该参数,否则未提交事务不会被回滚,备份处于不一致状态- 增量合并顺序必须与备份顺序一致,乱序合并产生的备份不可用
- 合并是原地修改基准目录的操作,基准目录中的原始备份在合并后不再等同于备份时刻的状态,需要保留原始全量时应先复制一份
恢复到实例:
# 目标实例需处于停止状态,且 datadir 为空或已确认可覆盖
xtrabackup --copy-back --target-dir=/backup/xtra/full-2026-09-20
# 恢复文件属主与权限,随后启动实例
chown -R mysql:mysql /var/lib/mysql
- 备份目录与数据目录需位于同一实例可访问的路径,跨主机恢复需要先把备份传输到目标主机
- 恢复后实例的 binlog 位点由备份中记录的位点决定,重新接入复制前应核对位点是否正确
- 结合 binlog 恢复时,先在恢复出的实例上重放归档 binlog 到目标位点,再决定是否恢复原来的复制关系
表级恢复的可行性与限制:
- 物理备份是实例级产物,无法直接取出单表文件用于替换,原因包括每表表空间的 LSN 与实例不一致、数据字典信息分散
- 可行的替代路径:把备份恢复到临时实例,从临时实例用逻辑方式导出目标表,再导入生产实例。这条路径耗时取决于备份规模与临时实例就绪速度
- MySQL 8.0 提供的可传输表空间可用于单表迁移,但要求表结构一致、外键关系满足约束,步骤较多,生产环境需要先在演练环境验证
- 单表恢复的常态化支持更适合用逻辑备份解决:在物理全备之外,对关键表额外做每日逻辑导出,可显著缩短单表恢复时间
高危:--copy-back 与 --move-back 会覆盖目标数据目录内容,指向生产实例的 datadir 时数据不可逆丢失。执行前需停止目标实例、确认目标 datadir 属于待恢复实例,并在恢复前对现有数据目录做一次性备份或快照。回滚方式:从恢复前的快照或备份目录重建;无副本时该实例数据无法找回。
3.3 时间点恢复
完整流程:
- 确认恢复目标:目标时间点或目标位点、恢复范围(整实例、整库、单表)、是否接续复制
- 准备隔离环境:独立实例、独立端口与 socket、独立数据目录,默认不接入业务流量
- 恢复基础备份:物理备份执行准备与复制回数据目录,逻辑备份执行导入
- 定位 binlog 区间:从基础备份记录的位点开始,到恢复目标位点结束
- 截取并重放 binlog:按需过滤库表与事件,重放到目标位点后确认复制与写入均已停止
- 核对数据:按核对清单逐项验证
- 切换或回补:确认无误后再切换流量,或从恢复实例中导出数据回补到生产实例
binlog 的定位与过滤:
# 找出误操作所在的时间窗口,先看事件概要与语句
mysqlbinlog --base64-output=DECODE-ROWS -v \
--start-datetime="2026-09-21 10:00:00" --stop-datetime="2026-09-21 11:00:00" \
/backup/binlog/bin.000042 | less
# 按位点区间截取到目标停止位点,跳过误操作事件
mysqlbinlog --start-position=194 --stop-position=1023789 \
/backup/binlog/bin.000042 > /backup/pitr-part1.sql
# 跨多个 binlog 文件时按文件顺序逐个截取,注意文件边界处的位点衔接
mysqlbinlog --start-datetime="2026-09-21 03:00:00" --stop-datetime="2026-09-21 10:45:12" \
/backup/binlog/bin.000041 /backup/binlog/bin.000042 > /backup/pitr-all.sql
# 只重放指定库,降低误引入其他库变更的风险
mysqlbinlog --database=app --start-position=194 --stop-position=1023789 \
/backup/binlog/bin.000042 | mysql -u root -p app
--base64-output=DECODE-ROWS -v用于把 ROW 格式事件解码为可读形式,仅用于人工判读,不能作为重放输入--database只对 STATEMENT 格式严格生效,ROW 格式下过滤行为依赖事件元数据,跨库恢复时不应只依赖该参数,需先确认过滤结果--start-position与--start-datetime同时指定时以位点为准,混用时容易偏离预期,建议只使用一种定位方式- binlog 中的时间戳来自主库时钟,与业务日志时间存在偏移,按时间定位前应先校准二者的差值
恢复时的只读与隔离:
- 恢复实例应设置为只读,避免恢复期间被误写入,影响后续核对结果
- 恢复期间禁止为恢复实例配置指向生产的复制关系,否则会把生产的新写入引入恢复实例,破坏时间点状态
- 误操作根因未排除前,不应把恢复实例直接接入生产流量,否则相同操作可能再次发生
恢复后的数据核对清单:
| 检查项 | 判定方式 |
|---|---|
| 实例可启动、无错误日志报错 | 检查错误日志中是否存在崩溃恢复、页损坏等记录 |
| 表数量与对象完整性 | 对比系统库中的对象清单 |
| 关键表行数与最大值 | 逐表核对行数、自增列最大值、时间列边界 |
| 关键业务查询结果 | 执行预先定义的验证查询,与预期值比对 |
| 受影响表的修复结果 | 确认误操作影响的行已按预期恢复或排除 |
| 位点与复制就绪状态 | 记录当前位点,确认后续接续复制或归档的起点 |
| 一致性校验 | 执行 CHECK TABLE 或逐表校验,确认无页损坏 |
3.4 备份任务运行
调度方式:
- cron 与 systemd timer 的写法、执行环境与输出重定向的差异见 计划任务与定时器 第一、三节
- 备份脚本必须显式设置环境变量与绝对路径,cron 环境的
PATH与登录会话不同,依赖隐式环境是任务静默失败的常见原因 - systemd timer 适合需要依赖关系、资源限制与失败重试的备份任务,可通过随机延迟分散多实例同时启动带来的存储压力
失败重试与告警:
- 重试应区分可重试与不可重试两类:连接中断、锁等待超时通常可重试;权限错误、空间不足、备份路径不存在重试无意义
- 重试次数与间隔需受窗口约束,重试累计时长不应侵占业务高峰
- 只对失败告警会漏掉任务未执行的情况,需要对超过约定周期未成功备份的情况单独设置告警
- 备份脚本应以非零退出码反映失败,并避免使用管道时退出码被管道末端命令覆盖,具体判定方式见 备份与容灾 第 3.7 节
备份窗口与业务低峰:
- 备份读取数据文件与业务读写争用 IO,窗口应安排在业务低峰,并与日志轮转、批量任务、DDL 变更错开
- 大库备份可能跨越数小时,需要评估窗口是否足够,不足时优先拆分目标或改用增量方式
- 备份时长超过窗口后会持续占用业务高峰资源,应通过增量策略、资源限速与并发控制加以约束
备份对主库的影响控制:
| 影响来源 | 控制手段 |
|---|---|
| IO 争用 | 使用 ionice 或 cgroup 限制备份进程的 IO 权重,避开高峰 |
| CPU 争用 | 降低压缩级别,减少并行线程数 |
| 锁与元数据争用 | 使用一致性快照替代全局锁,与 DDL 变更错峰 |
| undo 增长 | 控制单次备份时长,避免长快照长期存在 |
| 从库延迟 | 在从库或延迟从库备份,同时监控从库延迟变化 |
- 从库备份时,备份自身在从库上产生的 IO 压力可能导致重放变慢、延迟上升,需要把备份与复制的资源竞争纳入观察
- 备份进程的连接与会话超时参数需单独配置,避免被空闲超时参数中断长连接
3.5 备份的可观测性
结果指标:
| 指标 | 含义 | 异常判定 |
|---|---|---|
| 最近成功时间戳 | 最近一次成功备份的时间 | 超过约定周期未更新即告警 |
| 备份耗时 | 从开始到产物落盘完成的时间 | 与历史同期比较,显著上升提示数据增长或资源争用 |
| 备份体积 | 产物大小 | 骤降提示导出范围异常或采集到空数据 |
| 增量体积占比 | 增量与全量的比值 | 异常升高提示变更量突增或全量基准失效 |
| binlog 归档连续性 | 归档文件的位点是否连续 | 断链即时间点恢复能力受损 |
| 备份存储水位 | 备份介质使用率 | 阈值应早于写满时间点触发 |
失败原因分类:
| 类别 | 典型现象 | 排查方向 |
|---|---|---|
| 空间不足 | 写入中断、导出文件截断、空间耗尽报错 | 备份存储水位、binlog 归档目录、临时目录与 undo 空间 |
| 权限问题 | 读取表失败、写入目录被拒 | 备份账号权限、数据目录属主、密钥文件权限 |
| 锁等待 | 备份长时间停顿、元数据锁等待 | 长事务、未提交的 DDL、其他备份任务并发 |
| 连接中断 | 传输中途失败、查询过程中连接丢失 | 网络质量、超时参数、实例负载过高被杀连接 |
| 配置错误 | 参数互斥报错、位点未按预期记录 | 参数组合、工具版本差异、GTID 设置 |
告警设计:
- 数据库备份告警应与主机侧监控统一管理,指标暴露方式与告警规则结构见 监控与告警 第 2.5 与 3.2 节
- 备份失败与备份存储水位属于同一故障链的两端,应共享同一告警路由与处置值班
- 备份耗时与体积类指标适合用趋势告警而非固定阈值,固定阈值在数据自然增长后会产生大量误报
- 备份连续失败应升级处理级别,长期处于失败状态意味着恢复能力持续缺失
3.6 恢复演练
演练计划与频率:
- 演练频次按业务等级确定,核心库覆盖完整链路:从备份介质取出、恢复到隔离实例、应用 binlog 到指定时间点、业务查询验证
- 演练场景应与真实风险对应,至少覆盖误删单表、误更新、实例级故障三类
- 演练纳入变更计划管理,避免与生产变更窗口冲突,并明确参与方与验证责任
演练环境隔离:
- 恢复目标使用独立实例、独立端口、独立存储,默认不接入生产流量
- 演练使用与生产区分开的账号,避免误操作指向生产实例
- 恢复出的数据含敏感信息时,演练结束后按流程销毁并记录
恢复时间与 RPO 与 RTO 的对比:
- 把实测耗时按准备、介质读取与传输、基础备份恢复、binlog 重放、数据核对、切换六个环节拆分,逐环节与预期耗时比对
- 实际 RPO 等于恢复数据的时间点与故障发生时间的差距,包括备份间隔与 binlog 归档延迟
- 实测值与目标的差异需要定位到具体环节,例如传输环节超预期通常指向介质带宽或备份副本位置不合理
演练记录模板:
| 项目 | 内容 |
|---|---|
| 演练时间与参与人 | 时间、业务方、DBA、见证人 |
| 演练场景 | 误删单表、误更新、实例故障、存储故障 |
| 数据来源 | 备份类型、介质、副本位置、备份时间点、binlog 归档区间 |
| 恢复方式 | 物理全备恢复、逻辑导入、时间点恢复到指定位点 |
| 各环节耗时 | 准备、传输、基础恢复、binlog 重放、核对、切换 |
| 实际 RPO 与 RTO | 恢复点与故障点差距、业务可用总耗时 |
| 与目标差异 | 逐环节超出预期的时长与原因 |
| 发现的问题 | 备份缺失、参数错误、文档过期、权限不足 |
| 改进项与责任人 | 动作、责任人、完成判定 |
问题闭环:
- 演练发现的问题转为具体动作:补齐备份范围、修正脚本参数、收紧账号权限、更新恢复文档、调整保留策略
- 每个动作指定责任人与完成判定,并在下次演练中复核,未闭环的问题在演练记录中延续跟踪
- 演练中暴露的恢复文档缺失是常见问题,恢复步骤应写明具体路径、账号、位点来源与验证查询,避免依赖个人经验
3.7 常见故障与处置
备份文件损坏:
- 逻辑备份先检查文件尾部是否存在完成标记,缺失即视为截断。压缩文件先用容器完整性校验命令验证
- 物理备份执行校验动作,定位受损的页或文件。备份目录中单个数据文件损坏时,可尝试用其他副本的对应文件替换并重新准备
- 判定损坏后应把该时间点的备份标记为不可用,回退到上一份可用副本,并排查原因:介质错误、写入中断、空间耗尽、工具版本不匹配
恢复中途失败:
- 先保留失败现场:不要清理恢复目录,保留错误日志与工具输出,失败原因通常只在首次出现的日志中可见
- 常见原因与处置:空间不足需扩容后重建恢复目录再重试;准备阶段中断需从基准备份重新开始合并,不能在中途状态上继续;导入过程中断需清空目标库后重新导入,避免部分数据叠加
- 逻辑导入中断后重试前应确认目标库状态,重复导入可能触发主键冲突并导致结果不可预期
binlog 缺失或断链:
- 断链的典型原因是归档任务失败、保留期过短、清理命令被误执行、磁盘故障导致归档文件损坏
- 断链后只能恢复到链路上最后一个连续位点,其后的变更无法通过重放补回
- 处置方式:评估断链区间的业务影响,从延迟从库或其他副本补充数据,必要时以最近一次全备重建基线并重新开始归档
- 预防措施:对归档的连续性设置监控,归档目录与数据目录分离,归档任务与应用侧清理动作分离
高危:PURGE BINARY LOGS、RESET MASTER 与直接删除 binlog 文件会永久移除时间点恢复能力,且已删除的文件无法找回。执行前必须确认相关区间已完成归档到独立介质,并核对位点范围。回滚方式:文件级删除不可撤销;RESET MASTER 之后的位点连续性无法恢复,只能以新的基线重建。
恢复到错误时间点:
- 表现:恢复了数据,但目标时间点选错,误操作之后或之前的正常变更被一并丢弃
- 处置:保留当前恢复实例作为参照,从基础备份重新开始一次恢复,用位点而非时间重新界定边界。重新恢复前先确认先前恢复实例未接入生产写入
- 若误操作之后有重要写入被丢弃,可从原实例的 binlog 中按业务特征单独提取这些事务,在恢复实例的基础上定向重放,避免重复整段恢复
磁盘空间不足的止损:
- 恢复期间空间消耗来自三处:基础备份的展开体积、binlog 重放产生的日志与 redo、临时表与排序文件
- 空间不足时应先停止恢复进程,避免在写满状态下产生半截文件。清理顺序:先清理可重建的临时文件,再考虑压缩或迁移历史备份,最后才是删除备份
- 紧急情况下可通过只恢复部分库表、复用已有实例、把恢复目标指向更大容量的主机来规避容量限制
- 磁盘空间排查与清理的通用方法见 磁盘存储与文件系统操作 第十一节
四、总结
- 逻辑误操作、硬件故障、逻辑损坏与实例事故构成主要的数据丢失场景,前一类占比最高且无法被复制与高可用防御
- RPO 由全量备份周期与 binlog 归档连续性共同决定,RTO 由恢复方式决定,二者需按业务等级分级并对对象级损坏单独设计
- 逻辑备份与物理备份在产物形态、一致性手段、恢复速度与跨版本能力上取舍,前者适合迁移与单表恢复,后者适合大数据量的快速恢复
- 一致性来自事务快照、全局读锁或文件系统快照,非事务表不被一致性快照覆盖,备份与 DDL 并发会产生元数据锁争用
- binlog 是时间点恢复的载体,按时间、位点或 GTID 界定恢复边界,ROW 格式具备反向补偿能力,保留期不足会直接限制可恢复范围
- 备份链存在明确依赖关系:物理增量链任一环损坏即整体失效,binlog 归档断链则丢失去该点之后的恢复能力
- 备份的可用性只能由恢复验证,完整性校验强度从可读性到业务查询验证逐级提升
- 延迟从库为误操作提供快速止损路径,代价是资源利用率下降,且不能替代备份
- 备份任务需按窗口调度、按失败类型决定是否重试,并对空间、权限、锁等待、连接中断分类处置
- 可观测性由最近成功时间、耗时、体积与归档连续性构成,告警需与主机监控统一管理并共享处置流程
- 恢复演练按业务等级确定频次,逐环节比对实测 RPO 与 RTO,问题闭环到具体动作
- 恢复与清理备份的操作具有破坏性,执行前需确认目标、备份可用性与回退手段,缺少副本时不可逆