内容总览

Redis 高可用与集群 思维导图

一、起源:单点风险与容量上限

1.1 单点带来的两类限制

单个 Redis 实例在两个方面构成约束:

限制 具体表现 直接后果
内存容量 数据集必须全部装入内存,且需要为持久化的写时复制、副本输出缓冲与碎片预留空间(见 Redis 核心与数据结构 第 2.8.4 节) 数据集规模存在硬上限,超过后只能淘汰或写入失败
吞吐与可用性 命令由单线程串行执行,CPU 与网络带宽构成上限;进程退出、主机宕机、网络中断都会导致服务不可用 峰值压力无法通过单机资源消化,故障期间业务中断

单点的判定标准与影响路径遵循通用规律:实例数量为 1 且无接管机制即构成单点,冗余但切换机制未验证的组件仍按潜在单点对待(见 linux: 高可用与集群 第 1.3 节)。

需要区分单点带来的"容量问题"和"可用性问题",因为二者的解法不同:

  • 容量问题只能用分片解决(增加内存与写吞吐的总额)。
  • 可用性问题可以用复制与自动故障转移解决,但复制本身不增加写吞吐与内存总量。

1.2 三种扩展方式

方式 解决的问题 不解决的问题 主要代价
主从复制 数据冗余;读吞吐可通过增加副本扩展 写吞吐与内存总量仍受单节点限制;故障需要人工切换 复制延迟、主从一致性窗口、副本的运维成本
哨兵 在主从基础上自动完成故障检测与主节点切换,并向客户端提供当前主节点地址 写吞吐与内存总量仍是单节点上限 需要额外的哨兵进程与多数派仲裁;切换期间存在不可用窗口与数据丢失风险
分片(Cluster) 内存总量与写吞吐可水平扩展;单节点故障只影响其负责的槽 跨槽操作受限;一致性边界更复杂 客户端需要支持集群协议;迁移、扩缩容与备份的运维复杂度上升

1.3 取舍

选择顺序按瓶颈类型确定:

  1. 先确定瓶颈是读、写还是容量。 只有读并发高、写入量小且数据量在单机可容纳时,增加副本才有意义;写入量大或数据量超过单机内存时,必须分片。
  2. 副本不是备份。 副本复制的是主节点的全部操作,包括误删除与错误的批量更新。备份与副本解决的是不同问题,二者都需要(备份方案见 3.5)。
  3. 先治理单实例,再谈集群。 慢命令、大 key、无 TTL 键与内存碎片问题会随节点数量成倍放大,且在集群模式下更难定位。单实例的容量与命令规范达标后再引入复制与分片。
  4. 分片的代价是长期的。 跨槽限制会渗透到数据结构设计(哈希标签)、批量操作方式与客户端选型,一旦落地后调整成本高。
  5. 可用性目标要与数据一致性目标一起确定。 异步复制下的自动故障转移必然存在数据丢失窗口,要求不丢数据时需要使用相应的参数与应用侧补偿,而不是依赖切换机制(见 2.4)。

二、原理

2.1 主从复制

2.1.1 复制的建立与同步方式

从一个实例成为副本开始,复制经历连接建立、握手、数据同步与命令传播四个阶段。

全量同步

  1. 副本连接主节点,发送 PSYNC ? -1 表示首次同步、无历史偏移量;
  2. 主节点返回 FULLRESYNC <replid> <offset>,给出复制流的标识与当前偏移量;
  3. 主节点执行 BGSAVE 生成 RDB 文件,同时把此期间产生的写命令累积到该副本的复制缓冲;
  4. 主节点把 RDB 发送给副本,副本先清空本地数据再载入 RDB;
  5. 主节点把复制缓冲中的命令补发给副本,之后转入持续的命令传播。

部分重同步(增量同步)

  • 断线重连后,副本发送 PSYNC <replid> <offset> 表示期望从某个偏移量继续;
  • 主节点在复制积压缓冲(replication backlog)中查找该偏移量,命中则只发送缺失的一段命令,避免重新生成与传输 RDB;
  • 未命中(偏移量已滑出积压缓冲,或 replid 不匹配)则退回全量同步。
  • 4.0 引入的 PSYNC2 让主从切换后的新主节点保留可用的复制流标识,使切换后其他副本有机会继续增量同步而不是全部重新全量同步。

无盘复制

# 主节点不生成 RDB 文件,直接把 RDB 数据通过网络写给副本
repl-diskless-sync yes
# 收到第一个副本请求后等待一段时间再开始,用于合并多个副本的同步请求
repl-diskless-sync-delay 5
# 副本载入 RDB 的方式:disabled 先落盘再载入,on-empty-db 直接写入内存(要求当前库为空),swapdb 用内存与当前数据交换
repl-diskless-load disabled
  • 无盘复制适合磁盘写入能力弱但网络带宽充足的场景,代价是同步期间主节点需要直接向网络输出数据。
  • repl-diskless-sync-delay 是缓解复制风暴的主要手段(见 2.1.3)。
  • repl-diskless-load 取 swapdb 或 on-empty-db 时,副本在载入期间的内存占用接近翻倍,需要预留。

2.1.2 异步本质与数据丢失窗口

复制的关键性质是异步:

  • 主节点在本地执行完命令后立即向客户端返回成功,之后才把命令写入副本的连接缓冲并发送;
  • 因此主节点返回成功的时刻,写入可能还没有到达任何副本;
  • 主节点故障时,未传播的部分永久丢失。丢失量取决于主节点的写入速率与复制延迟的乘积。

可以用以下手段缩小窗口,但都不能消除:

手段 作用 代价
WAIT numreplicas timeout 阻塞当前连接,直到指定数量的副本确认收到;把"写入到达副本"变为可观测 增加延迟;超时返回并不代表失败,只代表未达到副本数要求
min-replicas-to-write 加 min-replicas-max-lag 健康副本数量不足或延迟过大时,主节点拒绝写入 副本不足时可用性下降,属于"以可用性换一致性"
appendfsync always 与副本的本地持久化 保证已到达副本的数据不因副本崩溃丢失 吞吐下降;不解决"未到达副本"的部分
应用侧写入数据库后异步补偿 以数据库为最终数据源,Redis 只做加速 增加系统复杂度,需要补偿与对账逻辑

配置示例:

# 至少 1 个副本的延迟不超过 10 秒,否则拒绝写入
min-replicas-to-write 1
min-replicas-max-lag 10
  • 该配置的作用场景是脑裂:当主节点因网络分区与所有副本失联时,副本数量降为 0,主节点会停止接受写入,避免形成"旧主仍在写入、新主已被提升"的双写分歧。
  • 取值需要结合副本数量与部署位置:副本较多或跨机房时,阈值过严会让正常抖动也触发拒绝写入。

2.1.3 复制缓冲与复制风暴

复制积压缓冲

  • 主节点维护一个固定容量的环形缓冲(repl-backlog-size,默认 1MB),记录最近传播的命令流,用于支持部分重同步。
  • 容量估算:最长可容忍断线时间 × 平均写入速率。例如写入速率为 2MB/s、希望容忍 5 分钟断线,则需要约 600MB。
  • repl-backlog-ttl 控制最后一个副本断开后积压缓冲保留的时间,默认 3600 秒;保留期内重连仍可能增量同步。
  • 积压缓冲不足时的表现是断线重连后频繁触发全量同步,日志出现 Full resync from master,同时主节点反复 fork 与写 RDB。

副本输出缓冲

  • 每个副本在主节点侧有一个独立的输出缓冲,用于暂存尚未发送的命令。
  • 超过 client-output-buffer-limit replica 的限制(默认 256mb 64mb 60,即硬限制 256MB,或 64MB 持续 60 秒)时,主节点会断开该副本,断开后副本需要重新同步。
  • 副本输出缓冲计入主节点的 maxmemory 用量,因此副本落后还会间接影响主节点的写入能力。

复制风暴

复制风暴指多个副本同时全量同步(或副本级联时逐层全量同步),导致主节点反复 fork、写 RDB、占用带宽与磁盘 IO,进而影响正常请求。常见触发场景是批量重启、滚动发布、机房网络抖动后的集中重连。

缓解手段 说明
错开重启时间 滚动发布时对副本逐个操作,避免同时触发全量同步
repl-diskless-sync-delay 把短时间内的多个同步请求合并为一次 RDB 生成与传输
控制级联层级 副本的副本(级联复制)能减少主节点的直接副本数,但会增加延迟与故障域,层级不宜超过两层
调大 repl-backlog-size 减少网络抖动后退化为全量同步的概率,是投入产出比最高的手段
监控全量同步次数 INFO stats 的 sync_full 与 sync_partial_ok/sync_partial_err 反映全量与增量同步的次数,全量次数持续增长说明积压缓冲不足

2.1.4 主从延迟的成因

成因 表现 判据
网络带宽或延迟不足 副本的 slave_repl_offset 持续落后 主从偏移量差值持续扩大;网络指标出现丢包或重传
副本载入 RDB 慢 同步阶段耗时很长 副本日志中的载入耗时;同步期间 master_link_status 为 down
副本磁盘或 CPU 慢 命令应用速度跟不上接收速度 副本的 used_cpu_sys 高;磁盘写入延迟高
副本执行慢命令或阻塞 副本自己执行 KEYS、大范围 SMEMBERS 等,或阻塞在 fork 与 AOF 重写 副本慢日志与 latest_fork_usec
主节点写入速率突增 主节点偏移量推进速度明显加快 INFO replication 中主节点偏移量的增速
副本的持久化配置过重 AOF always 刷盘让副本应用命令变慢 副本的 aof_last_write_status 与磁盘延迟
复制缓冲不足触发全量同步 反复出现全量同步 sync_full 与 sync_partial_err 计数

核对命令:

# 在主节点与副本上分别执行,比较偏移量
redis-cli INFO replication
# 关注的字段:
# role(角色)、master_link_status(链路状态,应为 up)
# master_repl_offset(主节点写入偏移量)
# slave_repl_offset(副本已应用偏移量)、slave_read_only(是否只读)
# master_last_io_seconds_ago(最近一次与主节点交互距今秒数)
# slave_repl_offset 与 master_repl_offset 的差值即为延迟的字节数
redis-cli -h <主节点> ROLE
redis-cli CLIENT LIST TYPE replica

延迟的字节数需要换算为时间才有意义:用主节点偏移量的增长速率(字节/秒)去除延迟字节数,得到副本落后的时间量级。

2.2 哨兵

2.2.1 哨兵的职责

哨兵(Sentinel)是一个独立进程,职责有四项:

  1. 监控:持续向主节点、所有副本、其他哨兵发送 PING,判断是否可达。
  2. 通知:通过发布订阅与事件向管理员与客户端通报状态变化。
  3. 自动故障转移:主节点被判定客观下线后,选举出一个副本提升为新主,调整其余副本的复制关系,并切换客户端流量的目标地址。
  4. 配置提供者:客户端向哨兵查询当前主节点地址;主从切换后由哨兵告之新地址。

关键定位:哨兵不是代理。客户端不把请求发给哨兵,而是通过哨兵获得主节点地址后直连该节点。因此客户端必须支持哨兵协议(查询主节点地址并订阅切换事件),仅配置一个哨兵地址的客户端在主节点切换后会持续连接错误的目标。

2.2.2 主观下线与客观下线

概念 判定方式 作用
主观下线(SDOWN) 单个哨兵在 down-after-milliseconds 内未收到对该节点的有效 PING 响应 单个哨兵的本地判断,可能因网络抖动或自身网络问题误判
客观下线(ODOWN) 该哨兵向其他哨兵发起查询,同意下线判定的哨兵数量达到 quorum 主节点下线需要客观判定;从节点与哨兵的判定只需主观下线
  • quorum 是配置在 sentinel monitor 中的参数,只用于"是否判定主节点下线"。
  • 故障转移的授权与 quorum 不同:执行故障转移需要获得多数哨兵(哨兵总数的一半加一)的投票,而不是 quorum 票。
  • 因此哨兵数量必须满足多数派存活才能完成故障转移。两个哨兵的部署在其中一个失效后无法获得多数票,失去故障转移能力;这是哨兵数量取奇数且至少 3 个的原因。

2.2.3 选举与故障转移流程

哨兵之间采用类似 Raft 的投票机制选举领导者:

  1. 判定主节点客观下线后,各哨兵进入候选状态,向其他哨兵请求投票;
  2. 获得多数票的候选者成为本次故障转移的领导者,负责执行切换;未达成则等待下一次选举(受 failover-timeout 约束);
  3. 领导者执行故障转移:
步骤 操作
选择新主 按规则从旧主的副本中挑选(见下表)
提升 向选中的副本发送 REPLICAOF NO ONE,使其成为主节点
重挂副本 向其余副本发送 REPLICAOF 指向新主
处理旧主 把旧主标记为副本;旧主恢复后由哨兵将其指向新主,其上的数据会被清空并重新同步
通知 通过 +switch-master 事件与发布订阅频道通知客户端与订阅者

选主规则(按先后顺序):

  1. replica-priority 数值小的优先;取值为 0 表示该副本永不参与提升,可用于排除不适合作为主节点的实例(如配置较差的机器)。
  2. 复制偏移量最大者优先,即数据最新的副本。
  3. runid 字典序最小者优先,用于在条件完全相同时确定唯一结果。

2.2.4 部署要求

要求 说明
数量取奇数且不少于 3 需要多数派才能授权故障转移;3 个哨兵可容忍 1 个失效
分散到不同故障域 哨兵与其监控的节点不应共用一个主机或同一路电源,否则单点故障会同时带走被监控者与仲裁者
与节点同网络低延迟 哨兵依赖心跳与投票,跨高延迟或高丢包的链路会造成误判与反复选举
quorum 取值合理 过小会因个别哨兵的网络问题误判下线,过大则在部分哨兵失效时无法判定
认证配置完整 哨兵需要能访问主从节点,必须配置 requirepass 对应的 sentinel auth-pass;哨兵自身也应设置访问密码(6.0 起支持 ACL 用户)
名称解析一致 使用主机名部署时需要保证解析结果一致;容器与 NAT 环境使用 sentinel announce-ip/announce-port 明确对外地址
时间同步 超时判定依赖本地时钟,节点间时钟偏差会造成判定不一致

2.2.5 客户端通过哨兵获取主节点

  1. 客户端配置一组哨兵地址与主节点名称(master name),启动时向任意哨兵发送 SENTINEL get-master-addr-by-name <master> 获取当前主节点地址;
  2. 客户端订阅哨兵的 +switch-master 事件(多数客户端库通过定期轮询加订阅实现),事件到达时更新连接目标;
  3. 常见实现:Lettuce 的 RedisSentinelConfiguration、Jedis 的哨兵连接池、Spring Boot 中通过 spring.data.redis.sentinel.master 与 spring.data.redis.sentinel.nodes 配置(2.x 为 spring.redis.sentinel.*);
  4. 客户端必须处理切换窗口内的连接失败:切换期间原主节点会拒绝写入(若配置为副本)或不可达,需要有重试与降级逻辑,且写命令的重试要按幂等性判断;
  5. 客户端配置中的哨兵地址列表应覆盖全部哨兵,避免只配一个而在该哨兵故障后无法获取主节点。

2.3 Cluster

2.3.1 槽与分片

  • 集群共有 16384 个哈希槽,键的归属为 CRC16(key) mod 16384;槽是数据分布、路由与迁移的基本单位。
  • 每个主节点负责一部分槽;副本不持有槽,只在主节点故障后接管其槽。
  • 数据在节点间的分布由键的哈希决定,因此键名的分布决定负载分布。键名倾斜(例如大量键使用相同前缀且内容相似度低但哈希集中)会导致节点负载不均。
  • 为什么是 16384:节点间心跳包需要携带槽位图,位图大小与槽数量成正比。16384 位即 2KB,在心跳包大小与可支持的集群规模之间取得平衡;槽数量更多会让心跳包显著增大,更少则会限制节点数量与迁移粒度。

2.3.2 节点间协议与故障判定

  • 节点之间通过集群总线通信,端口为客户端端口加 10000(默认 16379);该端口用于心跳、槽位图交换、节点状态与故障判定,与客户端通信端口分开,防火墙与安全组需要同时放行。
  • 通信使用二进制协议,节点定期随机选择若干节点交换状态信息(gossip),使集群视图最终一致。
  • 故障判定分两级:
级别 判定者 说明
主观下线(pfail) 单个节点 某节点在 cluster-node-timeout 内不可达,标记为 pfail
客观下线(fail) 多数主节点 pfail 信息通过 gossip 传播,在超时窗口内获得多数主节点认可后标记为 fail
  • 节点被标记为 fail 后,其副本发起提升:需要获得多数主节点的授权,随后副本接管其主节点的全部槽。
  • cluster-node-timeout 同时影响故障判定与副本提升的判定:取值过小会因网络抖动误判,过大会延长故障恢复时间。

2.3.3 请求重定向

客户端访问的键可能不属于当前连接的节点,服务端通过两种重定向告知正确目标:

重定向 含义 客户端的正确处理
MOVED <slot> <ip>:<port> 该槽永久由另一个节点负责 更新本地槽到节点的映射缓存,之后对同槽的请求直接发往新节点
ASK <slot> <ip>:<port> 该槽正在迁移,该键当前已不在本节点 只对本次请求向目标节点发送,并在请求前带上 ASKING 命令;不更新本地映射
  • 两者的区别在于是否更新客户端的槽映射。把 ASK 当作 MOVED 处理会导致迁移期间槽映射频繁抖动。
  • ASK 只在槽迁移过程中出现,迁移完成后源节点会收到槽归属变更的通知,此后返回 MOVED。
  • 客户端需要维护槽映射表并支持视图刷新:CLUSTER SLOTS 与 CLUSTER SHARDS(7.0 起)用于获取槽到节点的映射,CLUSTER NODES 输出更详细的节点信息。
  • 大量重定向说明客户端的槽映射已过期或集群正在迁移。重定向本身不影响正确性,但会增加往返次数;持续大量 MOVED 需要检查客户端是否缓存了映射以及集群是否处于迁移状态。

2.3.4 多键操作与哈希标签

  • 多键命令(MGET、MSET、集合运算、事务与脚本中的多键)要求所有键落在同一槽,否则服务端返回 CROSSSLOT 错误。
  • 哈希标签机制:键名中第一个 { 与第一个 } 之间的内容参与槽计算。因此 {order:1001}:items 与 {order:1001}:amount 落在同一槽,可以参与同一次多键操作。
  • 使用哈希标签的代价:
  • 同一标签下的键必然落在同一节点,标签基数低时会造成节点间负载倾斜;
  • 同一标签的键会随同一个槽迁移,单个槽的数据量与迁移耗时上升;
  • 可能形成热点节点,掩盖了分片本应带来的负载分散。
  • 设计原则:标签的取值范围要与业务分片维度一致(例如按订单 ID 取模 1024),保证标签有足够的基数;同时核对总槽数 16384 与标签基数的关系,避免大量标签映射到少量槽。

2.3.5 副本与故障转移

  • 每个主节点可配置一个或多个副本,副本通过复制跟随主节点;cluster-migration-barrier 控制集群在有空闲副本时是否自动把副本迁移到没有副本的主节点(取值表示一个主节点至少保留的副本数)。
  • cluster-allow-replica-migration 控制是否允许副本自动迁移;关闭后副本分布固定,需要人工维护。
  • cluster-replica-validity-factor 控制副本数据的新鲜度:副本与主节点断开的时长超过 cluster-node-timeout 乘以该因子时,不再参与提升。取值为 0 表示不检查新鲜度,任何副本都可被提升,代价是可能提升一个数据严重落后的副本。
  • cluster-require-full-coverage 默认为 yes:只要有槽未被覆盖(无法访问或未分配),整个集群拒绝服务。取值改为 no 后,可访问的槽仍能提供服务,但客户端会遇到部分键不可用。多数场景保持 yes,通过槽覆盖率告警及时发现未覆盖的槽。
  • 故障转移完成后,集群会通过重新分片(replica migration)恢复副本的均衡分布。

2.3.6 集群下的持久化与备份注意点

  • 每个节点独立执行 RDB 与 AOF,没有全局快照;备份需要逐节点进行,时间点不一致。
  • 恢复时至少需要保证每个槽的主节点有可用备份,否则该槽的数据丢失。仅备份部分节点会形成无法完整恢复的集群。
  • 在副本上执行 BGSAVE 可降低对主节点的影响,但副本数据可能落后,恢复后的数据版本取决于备份时间点。
  • 备份文件与 nodes.conf(集群配置文件名由 cluster-config-file 指定)需要一同保留:前者是数据,后者是槽归属与节点关系。恢复数据后若槽归属与业务预期不一致,需要显式重新分配。
  • 集群扩缩容前后都应做一次全量备份,作为迁移失败时的回退点(见 3.4 与 3.5)。

2.4 故障转移与数据一致性边界

Redis 的高可用机制提供的是一致性受限的高可用,边界需要明确:

  1. 异步复制决定了可能丢失数据。 无论哨兵还是 Cluster,故障转移后的新主都不包含旧主未同步的写入。丢失量与写入速率和复制延迟相关,无法通过切换机制消除。
  2. min-replicas-to-write 与 min-replicas-max-lag 降低脑裂写入风险。 副本不足或延迟过大时主节点拒绝写入,使分区后失去副本的一侧自动停止接受写入。代价是副本数量或网络质量不满足要求时业务写入被拒绝。
  3. 分区与脑裂的表现。
  • 网络分区后多数派一侧继续服务并提升副本;少数派一侧的旧主若不再有足够的健康副本,会因 min-replicas-to-write 停止接受写入。
  • 未配置上述参数时,少数派一侧的旧主仍在接受写入,其对客户端返回成功的写入会在分区恢复、槽被接管后丢失。
  • 集群模式会拒绝为不可达的槽提供服务(cluster-require-full-coverage yes 时整个集群拒绝服务),这一点本身起到了抑制双写的作用。
  1. 切换动作本身也可能丢失数据。 手动强制切换(CLUSTER FAILOVER TAKEOVER、哨兵的强制故障转移)会跳过部分安全判定,用于极端恢复场景,但可能提升一个数据落后的副本,或造成两个主节点同时被客户端使用。
  2. 更强保证的获取方式。 使用 WAIT 等待副本确认(降低但不确定消除丢失)、在关键写入路径上写入数据库并在应用侧做补偿与对账、或把要求强一致的数据放在支持共识的存储中,而不是依赖 Redis 的复制。

分区、quorum、脑裂的通用模型与切换演练要求见 linux: 高可用与集群 的 2.5 节与 2.6 节,本文不重复;MySQL 主从的复制延迟与位点核对方法可对照 MySQL 主从复制原理;Redis 作为缓存使用时,缓存与数据库之间的一致性窗口与失效策略见 缓存基础与一致性。

2.5 扩缩容

2.5.1 增加节点与槽迁移

增加节点分三步:新节点加入集群、把槽从源节点转移到新节点、让所有节点接受新的槽归属。

单个槽的迁移过程:

  1. 目标节点执行 CLUSTER SETSLOT <slot> IMPORTING <source-node-id>,标记该槽为"正在导入";
  2. 源节点执行 CLUSTER SETSLOT <slot> MIGRATING <target-node-id>,标记该槽为"正在迁出";
  3. 源节点用 CLUSTER GETKEYSINSLOT <slot> <count> 分批取出键名,再用 MIGRATE 把键逐个(或按批)迁移到目标节点;
  4. 该槽的键全部迁移完成后,向集群内的主节点广播 CLUSTER SETSLOT <slot> NODE <target-node-id>,完成归属变更。

迁移期间的请求路由:

请求到达 键的状态 服务端响应
源节点(MIGRATING 状态) 键仍存在 正常处理
源节点(MIGRATING 状态) 键已被迁出或不存在 返回 ASK,指向目标节点
目标节点(IMPORTING 状态) 请求未带 ASKING 返回 MOVED,仍指向源节点
目标节点(IMPORTING 状态) 请求带 ASKING 且键存在 正常处理
  • 迁移期间同槽的不同键可能分别位于源节点与目标节点,因此会出现"同一次批量操作中的不同键被重定向到不同节点"的情况。使用 MGET 等命令时,客户端若只按槽映射发送而不处理 ASK,会在迁移窗口内出现失败。
  • 键全部迁出且归属变更广播完成后,槽进入正常状态。

2.5.2 缩容与节点下线

  1. 把待下线节点负责的槽全部迁出(用重分片命令或逐槽迁移),用 CLUSTER GETKEYSINSLOT 确认槽内已无键;
  2. 若该节点是主节点且有副本,需要处理副本关系:把副本指向其他主节点,或一并下线;
  3. 在所有剩余节点上执行 CLUSTER FORGET <node-id>(或使用集群管理命令的删除节点功能)把该节点从集群视图中移除;
  4. 关闭并清理该节点的数据目录。

注意:CLUSTER FORGET 需要在集群内执行一次并靠 gossip 传播,短时间内其他节点可能仍持有该节点的信息;节点重新以相同地址加入前需要清理其数据目录并执行 CLUSTER RESET,否则会因节点 ID 冲突导致加入失败。

2.5.3 迁移对性能的影响

影响 原因 缓解
源节点阻塞 MIGRATE 是同步阻塞命令,键越大阻塞越久 迁移前拆分大 key;按批迁移并控制批大小
网络与 CPU 开销 序列化与传输键数据 在网络空闲时段执行;限制单次迁移的键数量
客户端往返增加 迁移窗口内的 ASK 重定向 客户端正确处理 ASK;避免在迁移期间执行大批量跨键操作
目标节点压力 写入新键、可能触发编码转换与内存增长 确认目标节点有足够内存余量;分批迁移
槽归属变更的传播延迟 需要向所有主节点广播并等待传播 变更完成后核对 CLUSTER SLOTS 与客户端视图

结论:槽迁移应在业务低峰、有监控覆盖、有限速与分批策略的条件下执行,并在迁移前后核对键数量与业务量。

三、实现

3.1 主从部署

3.1.1 配置要点

# ===== 副本侧 =====
# 指定主节点;也可运行时用 REPLICAOF 命令建立
replicaof 10.0.0.11 6379
# 主节点设置了密码时必须配置,否则同步失败
masterauth "替换为实际密码"
# 副本默认只读,防止误写入造成主从不一致
replica-read-only yes
# 副本是否在加载 RDB 时暂停对外服务(关闭后可能读到旧数据)
replica-serve-stale-data yes
# 提升优先级,0 表示永不提升(哨兵与集群都遵守)
replica-priority 100
# 副本对外通告的地址与端口,容器与 NAT 环境必须配置,否则哨兵与集群拿到的是容器内地址
replica-announce-ip 10.0.0.12
replica-announce-port 6379

# ===== 主节点侧 =====
# 复制积压缓冲,按"最长断线时间 × 写入速率"估算,跨机房或写入量大时显著调大
repl-backlog-size 256mb
repl-backlog-ttl 3600
# 副本输出缓冲上限:硬限制 256MB,或软限制 64MB 持续 60 秒
client-output-buffer-limit replica 256mb 64mb 60
# 无盘复制与合并同步请求
repl-diskless-sync yes
repl-diskless-sync-delay 5
# 复制超时
repl-timeout 60
# 健康副本不足时拒绝写入
min-replicas-to-write 1
min-replicas-max-lag 10

各项的取舍:

  • repl-backlog-size 是最影响稳定性的单个参数:过小会导致网络抖动后退化为全量同步,过大会占用主节点内存(该缓冲计入 maxmemory)。
  • client-output-buffer-limit replica 过小会在副本短暂落后时把副本断开,反而增加同步压力;过大则会让落后的副本占用大量主节点内存。需要按副本的典型落后程度设置。
  • replica-priority 0 用于排除不适合提升的实例,例如同机部署的副本或配置明显较弱的机器。
  • min-replicas-to-write 与持久化策略有交互:若主节点的 stop-writes-on-bgsave-error yes 且持久化失败,写入会被拒绝,此时副本也不会收到新数据,需要把两类告警分别配置。

3.1.2 复制建立与状态核对

# 1. 运行时建立复制(写入配置文件可持久化)
redis-cli -h 10.0.0.12 REPLICAOF 10.0.0.11 6379

# 2. 在主节点与副本上核对复制状态
redis-cli -h 10.0.0.11 INFO replication
redis-cli -h 10.0.0.12 INFO replication

# 3. 查看角色
redis-cli -h 10.0.0.12 ROLE

# 4. 查看副本连接在主节点侧的状态与输出缓冲占用
redis-cli -h 10.0.0.11 CLIENT LIST TYPE replica

核对判据:

字段 期望值 异常含义
role 主节点为 master,副本为 slave 角色与部署预期不符,可能存在误配置
master_link_status up down 表示链路断开,需检查网络、认证与主节点状态
master_last_io_seconds_ago 接近 0 数值持续增大说明主节点长时间未向副本发送数据
slave_repl_offset 与主节点 master_repl_offset 的差值 基本持平 差值持续扩大为复制延迟
slave_read_only 1 为 0 时副本可写,会造成主从不一致
sync_full、sync_partial_ok、sync_partial_err sync_full 稳定不增长 sync_full 持续增长说明积压缓冲不足或频繁断链

3.1.3 只读副本的使用与读一致性取舍

使用场景 是否可用副本 说明
缓存读、列表展示等最终一致场景 可用 需要容忍副本延迟带来的旧数据
写后立即读(同一请求内) 不建议 副本可能尚未收到刚写入的数据,应读主节点或按会话粘性路由
强一致计数与判断 不可用 应使用主节点,或使用 Lua 脚本在主节点完成判断
遍历键空间、大 key 扫描等重操作 推荐 在副本上执行可避免影响主节点,但读取期间副本仍在应用主节点的写入
备份 推荐 在副本上执行 BGSAVE 可降低主节点 fork 的影响

补充约束:

  • 副本不主动删除过期键,而是等待主节点同步的删除命令(见 Redis 核心与数据结构 第 2.3.1 节)。因此从副本读到的数据可能在逻辑上已过期,对时效敏感的数据不适合读副本。
  • 副本的可写性应在配置上关闭(replica-read-only yes)。若因特殊需求允许副本写入,该部分数据不会同步回主节点,且在主从切换后会丢失。
  • 副本读的一致性约束可以量化:监控偏移量差值与延迟秒数,把延迟超过阈值期间的读路由回主节点,是一种常见的折中做法。

3.2 哨兵部署

3.2.1 配置要点

# 哨兵端口
port 26379
# 是否以守护进程运行(容器部署通常为 no,由编排系统托管)
daemonize no
# 数据目录,哨兵自身的状态文件(含已知哨兵与当前主节点)保存在此
dir /var/lib/redis-sentinel

# 监控名为 mymaster 的主节点,quorum 为 2(判定客观下线需要的票数)
sentinel monitor mymaster 10.0.0.11 6379 2
# 访问主从节点的密码(主节点设置了 requirepass 时必需)
sentinel auth-pass mymaster 替换为实际密码
# 主节点多久无有效响应判定为主观下线
sentinel down-after-milliseconds mymaster 30000
# 故障转移的总超时,含选举、提升与副本重挂
sentinel failover-timeout mymaster 180000
# 故障转移后,允许同时向新主发起同步的副本数量
sentinel parallel-syncs mymaster 1
# 禁止运行时修改脚本与配置,降低被误改的风险
sentinel deny-scripts-reconfig yes

参数取舍:

  • quorum 与哨兵数量的关系:3 个哨兵、quorum 取 2 是稳妥起点。quorum 取 1 会让单个哨兵的网络问题直接触发下线判定;取 3 则要求全部哨兵一致,失去容错。
  • down-after-milliseconds 过小(例如数秒)会把主节点的正常慢操作、短暂网络抖动判为故障,造成频繁切换;过大则延长故障恢复时间。需要与主节点的慢命令治理水平匹配。
  • failover-timeout 同时约束选举与切换的执行,过小会在切换未完成时重新发起选举,表现为反复切换。
  • parallel-syncs 控制切换后副本的同步并发:取值大能更快恢复冗余,但会让新主在切换后立刻承受多个全量同步的压力。通常取 1。
  • 哨兵配置文件中除了 sentinel monitor 等显式配置外,哨兵会自行维护已知副本与哨兵清单并写回文件,因此该文件需要可写且纳入备份。
  • 重写会保留注释,但格式可能与初始配置不同;不应在哨兵运行时手工编辑该文件,应通过 SENTINEL 命令修改或停止后再修改。

3.2.2 部署顺序与验证步骤

部署顺序不可颠倒:

  1. 先完成主从。 确认主节点与所有副本的 master_link_status 为 up、偏移量基本持平、副本只读。复制不正常时部署哨兵只会让切换建立在错误的基础上。
  2. 配置 requirepass 与 masterauth。 主从节点的认证配置完成后,在所有哨兵上配置对应的 sentinel auth-pass。
  3. 部署哨兵。 每个故障域部署一个哨兵,配置文件中指定相同的 master name、主节点地址与 quorum。启动顺序无强制要求,但应逐个启动并核对。
  4. 核对哨兵视图。 确认每个哨兵都能看到全部其他哨兵与全部副本。
  5. 接入业务。 客户端配置为使用哨兵发现主节点,配置全部哨兵地址。
  6. 演练切换。 在业务低峰验证切换流程与客户端恢复能力(见 3.2.3)。
# 查看被监控的主节点及其状态
redis-cli -p 26379 SENTINEL masters
# 查看指定主节点的详细信息(含 flags、num-slaves、num-other-sentinels、quorum)
redis-cli -p 26379 SENTINEL master mymaster
# 查看副本清单与其 flags
redis-cli -p 26379 SENTINEL replicas mymaster
# 查看已知的其他哨兵
redis-cli -p 26379 SENTINEL sentinels mymaster
# 查询当前主节点地址
redis-cli -p 26379 SENTINEL get-master-addr-by-name mymaster
# 运行状态核对
redis-cli -p 26379 INFO sentinel
# 订阅切换与状态事件(用于观察切换过程)
redis-cli -p 26379 SUBSCRIBE +switch-master +sdown +odown

核对判据:

项目 期望
SENTINEL masters 中 num-slaves 与副本数量一致
num-other-sentinels 等于哨兵总数减一
SENTINEL sentinels 的输出 覆盖全部哨兵地址与端口
flags 正常情况为 master;出现 s_down 或 o_down 说明判定为下线
quorum 与配置文件一致,且小于哨兵总数

3.2.3 故障演练与切换验证

演练目标:验证"故障检测、选举、提升、副本重挂、客户端更新目标"五个环节都能按预期完成,并记录各环节的耗时。

演练步骤:

  1. 记录切换前的状态:SENTINEL master mymaster 的输出(当前主节点地址、num-slaves)、主从的 INFO replication、客户端观测到的写入成功率;
  2. 在客户端侧持续发起读写探测并记录成功率与错误类型;
  3. 在维护窗口内触发故障:
  • 方式一(推荐):把主节点进程停止(redis-cli SHUTDOWN NOSAVE 或停止服务单元),模拟真实宕机;
  • 方式二:使用 SENTINEL FAILOVER mymaster 强制发起一次故障转移,用于验证切换流程本身而不停机;
  1. 观察哨兵日志中的 +sdown、+odown、+vote-for-leader、+failover-state-*、+switch-master 事件顺序;
  2. 在客户端侧确认是否恢复写入、恢复耗时、是否出现写失败;
  3. 核对新主节点的角色与副本关系、原主节点恢复后是否被正确挂为新主的副本。

高危:SENTINEL FAILOVER 会强制发起一次故障转移,SHUTDOWN 会终止被监控节点的服务,二者都会改变主从拓扑并使切换期间未同步的写入丢失。执行前必须确认当前无大批量写入、维护窗口与业务通知已完成、主从复制状态正常、客户端具备重连与重试能力,并记录切换前的复制偏移量。回滚方式:拓扑变更不可自动撤销,需要手工把节点重新调整为预期的角色关系(对目标节点执行 REPLICAOF,必要时再次触发受控切换),数据层面的丢失只能依靠备份或对账补偿;演练前应完成一次全量备份,且不要在存在复制延迟的情况下演练。

切换验证清单:

  • 新主节点的 role 为 master,且其负责的数据可读写;
  • 其余副本都已指向新主节点,master_link_status 为 up;
  • 原主节点恢复后成为新主节点的副本,且不会接受写入;
  • 客户端完成目标更新,读写成功率恢复;统计从故障发生到恢复的耗时;
  • 哨兵的事件顺序与预期一致,无反复选举的日志;
  • 监控告警按预期触发与恢复,演练记录归档。

3.2.4 常见错误配置

错误配置 后果 正确处理
哨兵只部署 2 个 任一失效后无法获得多数票,失去故障转移能力 至少 3 个且取奇数
quorum 等于哨兵总数 任一哨兵失效即无法凑齐票数,无法判定客观下线 按"可容忍失效数"设置 quorum,并保证多数哨兵始终存活
down-after-milliseconds 取数秒 网络抖动或主节点慢操作触发频繁切换 按业务延迟与网络质量设置为数十秒
failover-timeout 过小 选举未完成就重新发起,反复切换 大于单次选举加切换的实测耗时
未配置 sentinel auth-pass 哨兵无法与设置了密码的节点通信,监控失效 与 requirepass、masterauth 一致并纳入配置管理
哨兵与被监控节点同机 单机故障同时带走节点与仲裁者 分散到不同主机与故障域
replica-priority 0 用在所有副本上 无副本可被提升,切换失败 只对不适合提升的副本设置 0
客户端只配置一个哨兵地址 该哨兵失效后客户端无法获取主节点 配置全部哨兵地址
把哨兵地址当作 Redis 地址使用 客户端连接哨兵发送数据命令,全部失败 客户端使用哨兵发现主节点后直连
未设置 replica-announce-ip/replica-announce-port 与 sentinel announce-ip/announce-port(容器或 NAT) 哨兵与集群通告的是容器内地址,客户端无法连接 显式通告对外可达的地址与端口

3.3 Cluster 部署

3.3.1 节点规划与槽分配

规划项 建议
主节点数量 从 3 个主节点起步;数量由总内存与写入吞吐除以单节点能力得出,同时包含余量
副本数量 每个主节点至少 1 个副本;副本与主节点不在同一故障域
槽分配 默认平均分配;键名分布倾斜明显时按实测负载调整,但槽迁移的粒度是槽,最多只能做到近似均衡
容量估算 按"最大单节点数据集小于单节点内存的 50% 到 75%"倒推主节点数量,并为扩缩容留出余量
网络要求 客户端端口与集群总线端口都需要放行;节点间延迟低且稳定,避免跨高延迟链路组建单个集群
版本一致性 所有节点使用同一版本,避免协议与命令支持差异

3.3.2 部署步骤

# 1. 逐节点准备配置文件(关键参数见 3.3.3),启动实例
systemctl start redis

# 2. 逐节点确认实例已启动且处于集群模式
redis-cli -h 10.0.0.11 -p 6379 CLUSTER INFO
redis-cli -h 10.0.0.11 -p 6379 INFO server | grep redis_version

# 3. 创建集群:指定主节点列表,--cluster-replicas 1 表示每个主节点配 1 个副本
#    节点顺序上,前 N 个作为主节点,其余作为副本
redis-cli --cluster create \
  10.0.0.11:6379 10.0.0.12:6379 10.0.0.13:6379 \
  10.0.0.14:6379 10.0.0.15:6379 10.0.0.16:6379 \
  --cluster-replicas 1

# 4. 核对集群状态与槽覆盖
redis-cli -h 10.0.0.11 -p 6379 CLUSTER INFO
redis-cli -h 10.0.0.11 -p 6379 CLUSTER NODES
redis-cli -h 10.0.0.11 -p 6379 CLUSTER SLOTS
# 使用集群管理命令做一次整体检查(会检查槽覆盖、节点可达性与配置一致性)
redis-cli --cluster check 10.0.0.11:6379

核对判据:

项目 期望
cluster_state ok
cluster_slots_assigned 16384
cluster_known_nodes 等于节点总数
cluster_size 等于主节点数量
CLUSTER NODES 中的槽区间 各主节点负责的区间连续且不重叠,合起来覆盖 0 到 16383
副本的 master 关系 每个主节点都有副本,且副本与主节点不在同一主机

3.3.3 配置要点

# 启用集群模式
cluster-enabled yes
# 集群配置文件名,保存节点 ID、槽归属与节点关系,必须可写并纳入备份
cluster-config-file nodes.conf
# 节点超时:故障判定的窗口,过小会误判,过大会延长恢复
cluster-node-timeout 15000
# 槽未全覆盖时是否拒绝服务;保持 yes 以便通过告警发现未覆盖的槽
cluster-require-full-coverage yes
# 副本数据新鲜度因子:断线时长超过 node-timeout 乘以该值时不再参与提升;0 表示不检查
cluster-replica-validity-factor 10
# 一个主节点至少保留的副本数,低于该值时允许把空闲副本迁移过去
cluster-migration-barrier 1
# 是否允许副本自动迁移
cluster-allow-replica-migration yes
# 对外通告的地址与端口(容器、NAT 或端口映射环境必须配置)
cluster-announce-ip 10.0.0.11
cluster-announce-port 6379
cluster-announce-bus-port 16379
# 集群总线端口由客户端端口加 10000 得出,也可显式指定
port 6379
  • cluster-node-timeout 是所有节点必须一致的关键参数;取值不一致会造成故障判定分歧。
  • 端口映射环境下(容器),如果集群总线端口无法按"客户端端口加 10000"的规则对外暴露,需要通过 cluster-announce-bus-port 显式声明。
  • 集群模式下 databases 配置无效,只支持 db0。

3.3.4 客户端配置与故障转移验证

spring:
  data:
    redis:
      password: ${REDIS_PASSWORD}
      # 种子节点:只需配置部分节点,客户端会通过 CLUSTER SLOTS 获取完整视图
      cluster:
        nodes:
          - 10.0.0.11:6379
          - 10.0.0.12:6379
          - 10.0.0.13:6379
        # 单次命令允许的最大重定向次数
        max-redirects: 3
      timeout: 1s

客户端约定:

  • 使用支持集群协议的客户端,并开启拓扑自动刷新(客户端库通常提供周期性刷新与基于重定向的刷新两种机制)。
  • 设置合理的重定向次数上限:过低会在迁移窗口内报错,过高会掩盖集群状态异常。
  • 连接池或共享连接的规模需要乘以节点数量:客户端会与每个主节点以及可能访问的副本建立连接,总连接数容易在无意识中放大。
  • 不应在应用侧硬编码单个主节点地址;种子节点列表应包含多个节点,且与实际拓扑解耦。

故障转移验证:

# 1. 记录当前槽归属与主节点
redis-cli -h 10.0.0.11 -p 6379 CLUSTER NODES

# 2. 停止一个主节点(维护窗口内执行)
redis-cli -h 10.0.0.13 -p 6379 SHUTDOWN NOSAVE

# 3. 观察副本接管与被标记为 fail 的节点
redis-cli -h 10.0.0.11 -p 6379 CLUSTER NODES
redis-cli -h 10.0.0.11 -p 6379 CLUSTER INFO

# 4. 在客户端侧持续探测该槽上的键,确认写入恢复且未出现持续失败
redis-cli -c -h 10.0.0.11 -p 6379 GET somekey

# 5. 恢复被停止的节点,确认其以副本身份重新加入并完成同步
redis-cli -h 10.0.0.11 -p 6379 CLUSTER NODES

高危:SHUTDOWN 会立即终止节点,未同步到副本的写入丢失;若被停止的是唯一持有某槽主副本的节点,该槽在副本提升完成前不可用。执行前确认该主节点有健康副本、副本数据新鲜度满足 cluster-replica-validity-factor 的约束、业务侧能容忍切换窗口,并在维护窗口内执行。回滚方式:重启被停止的节点,它会以副本身份加入并重新同步;丢失的写入只能依靠备份或业务对账补齐,因此演练前应完成全量备份。

3.4 槽迁移与扩缩容实操

3.4.1 迁移命令与限速

# 加入新节点(作为空主节点)
redis-cli --cluster add-node 10.0.0.17:6379 10.0.0.11:6379

# 加入新节点并直接作为某个主节点的副本
redis-cli --cluster add-node 10.0.0.18:6379 10.0.0.11:6379 \
  --cluster-slave --cluster-master-id <目标主节点ID>

# 重分片:交互式指定迁移的槽数量与来源、目标节点
redis-cli --cluster reshard 10.0.0.11:6379

# 均衡各主节点的槽数量
redis-cli --cluster rebalance 10.0.0.11:6379

# 检查迁移结果
redis-cli --cluster check 10.0.0.11:6379

限速与分批:

手段 说明
--cluster-pipeline <n> 一次 MIGRATE 携带的键数量,默认较小;调大可加速但会增加源节点的单次阻塞时长
--cluster-timeout <ms> 单次 MIGRATE 的超时时间
手动分批 不一次迁移全部槽,按槽逐个或按小组迁移,每批之间留出观察窗口
低峰执行 迁移期间源节点会阻塞,应避开业务高峰
拆分大 key 迁移前处理大 key,避免单次 MIGRATE 长时间阻塞

3.4.2 迁移中断的恢复

迁移不是原子操作,中断后会留下中间状态,恢复方式如下:

# 1. 查看槽当前状态与归属
redis-cli -h <节点> -p 6379 CLUSTER NODES
redis-cli -h <节点> -p 6379 CLUSTER SLOTS

# 2. 查看槽内还剩余多少键
redis-cli -h <源节点> CLUSTER COUNTKEYSINSLOT <slot>
redis-cli -h <源节点> CLUSTER GETKEYSINSLOT <slot> 100

# 3. 继续迁移剩余键(对剩余键逐个 MIGRATE)
redis-cli -h <源节点> MIGRATE <目标IP> <目标端口> "" 0 5000 KEYS key1 key2

# 4. 键全部迁出后完成归属变更(在所有主节点执行)
redis-cli -h <节点> CLUSTER SETSLOT <slot> NODE <目标节点ID>

# 5. 若决定放弃迁移、让源节点继续负责该槽,清除中间状态(在源与目标节点执行)
redis-cli -h <源节点> CLUSTER SETSLOT <slot> STABLE
redis-cli -h <目标节点> CLUSTER SETSLOT <slot> STABLE

要点:

  • 迁移中断时,属于该槽但尚未迁出的键仍留在源节点,已迁出的键位于目标节点。此时两个节点对该槽都有数据,必须继续完成迁移或统一回退,不能停留在中间状态对外服务。
  • 归属变更必须在所有主节点执行(或用集群管理命令完成),否则会出现部分节点认为槽属于目标、部分认为属于源的视图分歧,表现为持续的重定向或写入失败。
  • 用 CLUSTER COUNTKEYSINSLOT 确认源节点该槽的键数量为 0 后再变更归属,是避免键丢失的关键检查。

高危:CLUSTER SETSLOT 的归属变更与 CLUSTER RESET、删除节点等操作会改变槽归属并可能丢弃数据。归属变更前必须确认槽内键已全部迁移(COUNTKEYSINSLOT 为 0)、迁移前后的键数量与业务量已核对、备份已完成。回滚方式:在归属变更广播完成前,可通过把槽重新指回源节点恢复(前提是源节点仍持有全部键);一旦源节点已释放键数据,回滚只能依靠备份恢复,因此不要在迁移完成后立即清理源节点的备份。

3.4.3 数据量大的迁移策略

策略 做法 适用
分批按槽迁移 每次迁移少量槽,观察源节点延迟与客户端重定向率后再继续 通用做法,风险可控
先扩副本再迁移 先为待迁移的主节点增加副本,再在低峰迁移 迁移窗口可以拉长的场景
双写过渡 应用侧在一段时间内同时写入新旧两个集群,读切换到新集群后停止双写 需要跨集群搬迁(如更换机房或大版本升级)
键拆分后迁移 迁移前把大 key 拆成小 key,迁移完成后再按需合并 存在大 key 的场景
离线迁移 停止写入、导出数据、按槽重建 可接受停机窗口的场景,最简单且风险最低

迁移前后必做的核对:

# 迁移前:记录总量与槽内键数
redis-cli -h <源节点> DBSIZE
redis-cli -h <源节点> CLUSTER COUNTKEYSINSLOT <slot>
# 迁移后:在源与目标节点核对
redis-cli -h <源节点> CLUSTER COUNTKEYSINSLOT <slot>
redis-cli -h <目标节点> CLUSTER COUNTKEYSINSLOT <slot>
redis-cli -h <任意节点> CLUSTER INFO | grep cluster_slots_assigned

3.5 备份与恢复

3.5.1 备份方式

模式 备份方式 注意点
单机 复制 dump.rdb 与 AOF 目录;BGSAVE 完成后复制是安全的 备份文件应放到独立存储;需要定期验证可恢复
主从与哨兵 在副本上执行 BGSAVE 并复制文件,避免影响主节点 副本数据可能落后,备份时间点与数据版本需要记录
Cluster 逐节点备份,主节点与副本都可备份 没有全局快照,各节点时间点不一致;必须保证每个槽的主节点都有备份
全量备份 按固定周期对每个节点执行 RDB 备份并归档 归档文件需要保存足够长的时间以满足回滚需求
# 单节点备份:触发快照并在完成后复制文件
redis-cli -h <节点> BGSAVE
redis-cli -h <节点> INFO persistence | grep rdb_last_bgsave_status
# 确认状态为 ok 后复制 RDB 文件到备份存储
cp /data/redis/dump.rdb /backup/redis/<节点>-$(date +%F-%H%M).rdb
# 集群模式下还需要保留节点关系文件
cp /data/redis/nodes.conf /backup/redis/<节点>-nodes-$(date +%F-%H%M).conf

集群备份的额外要求:

  • 记录备份时刻的槽归属(CLUSTER NODES 输出),恢复时用于核对槽分布是否与备份一致。
  • 备份周期内若发生过槽迁移,各节点的数据版本与槽归属可能不匹配,恢复后需要重新核对并分配槽。
  • 备份的完整性校验(redis-check-rdb)与恢复演练周期参照 linux: 备份与灾难恢复。

3.5.2 恢复顺序与节点重建

恢复顺序:

  1. 按 3.3.1 的规划准备节点与配置文件,但不启动集群模式下的组网;
  2. 逐节点恢复数据文件(RDB 或 AOF 目录)与权限,启动实例;
  3. 核对每个节点的 DBSIZE 与备份记录一致;
  4. 按原拓扑组建集群或让节点以原身份加入(依赖 nodes.conf 或重新执行 CLUSTER MEET 与槽分配);
  5. 核对 cluster_state 为 ok、cluster_slots_assigned 为 16384、槽归属与备份记录一致;
  6. 恢复副本关系并核对复制状态;
  7. 开放业务接入,核对写入、客户端重定向率与业务量。

单节点重建(节点数据不可用或需要重新加入):

# 1. 在待重建节点上停止服务,清理数据目录与集群配置文件
#    注意:这一步会删除该节点上的全部数据
systemctl stop redis
rm -f /data/redis/dump.rdb
rm -rf /data/redis/appendonlydir
rm -f /data/redis/nodes.conf

# 2. 启动服务(集群模式会自动生成新的节点 ID,因此不能沿用旧 ID 直接加入)
systemctl start redis

# 3. 以副本身份加入集群并指定跟随的主节点
redis-cli --cluster add-node <新节点IP>:6379 <集群内任一节点IP>:6379 \
  --cluster-slave --cluster-master-id <主节点ID>

# 4. 核对复制状态与集群状态
redis-cli -h <新节点IP> INFO replication
redis-cli -h <集群内任一节点IP> CLUSTER NODES
  • 需要恢复为主节点时,重新加入集群后分配槽并等待数据同步(从副本提升或从备份恢复数据)。
  • 节点 ID 变化后,集群内其他节点上的旧记录需要清理,否则会残留不可达节点条目(用 CLUSTER FORGET)。

高危:删除节点的数据目录与 nodes.conf 会永久清除该节点上的数据与集群身份,且该操作不可回滚。执行前必须确认该节点的数据可从副本或备份重建、确认集群内其他节点仍持有目标槽的健康副本、并完成一次全量备份。回滚方式:只能通过副本同步或备份恢复数据,节点身份无法恢复(会获得新的节点 ID),因此不要在有节点故障且冗余不足时重建另一个节点。

3.6 故障排查

3.6.1 主从不同步

现象 可能原因 排查与处置
master_link_status 为 down 网络不通、认证失败、主节点不可达、repl-timeout 过小 检查连通性与端口、核对 masterauth 与 requirepass、查看主从日志中的握手错误
偏移量差值持续扩大 带宽不足、副本应用命令慢、主节点写入突增 对比副本磁盘延迟与 CPU、检查副本上的慢日志与 fork 耗时、扩大带宽
反复出现全量同步 repl-backlog-size 不足、副本被输出缓冲限制断开 增大积压缓冲、核对 client-output-buffer-limit replica 与副本落后程度
副本被断开后无法重连 副本自身内存不足导致载入 RDB 失败、磁盘满 检查副本磁盘剩余量与 maxmemory、确认 stop-writes-on-bgsave-error 的状态
副本上读到旧数据或已过期数据 复制延迟;副本不主动删除过期键 监控延迟秒数并把强一致读路由到主节点

3.6.2 哨兵频繁切换

可能原因 判据 处置
down-after-milliseconds 过小 日志中 +sdown 后快速 +odown,随后又恢复 按业务延迟与网络质量放大阈值
failover-timeout 过小 日志中反复出现 +failover-state-select-slave 与重新选举 放大至大于实测切换耗时
主节点存在慢操作 慢日志中有明显耗时的命令,PING 在慢命令期间被推迟 治理慢命令与大 key(见 Redis 核心与数据结构 第 3.1 节)
网络抖动或丢包 网络指标异常,多个哨兵同时对同一节点判定下线 修复网络;把哨兵分散到不同链路并调整阈值
哨兵自身负载过高或时间不同步 哨兵进程的 CPU 长期高、节点间时钟偏差大 独立部署哨兵、配置时间同步
副本被提升后又失败 新主节点不可写或数据落后 核对 replica-priority、副本资源与 min-replicas 配置

处置顺序:先确认是否为真实故障(同时检查客户端请求错误率与主节点是否真的不可用),再调整阈值。频繁切换本身会造成写入中断与数据丢失,需要通过降阈值敏感度来止损,而不是靠增加哨兵数量。

3.6.3 集群状态异常

现象 判据 处置
cluster_state 为 fail INFO cluster;通常伴随 cluster_slots_assigned 小于 16384 查看 CLUSTER NODES 找到未分配的槽区间,用 CLUSTER ADDSLOTS 或重分片把槽分配出去
节点被标记为 fail 但进程存活 CLUSTER NODES 中该节点 flags 含 fail 检查该节点与多数节点的连通性、cluster-node-timeout 是否一致、节点负载是否导致心跳延迟
槽有多个节点声称拥有 CLUSTER NODES 中出现归属冲突,日志有相关记录 停止写入,人工确认数据的正确归属,用 CLUSTER SETSLOT 统一归属
集群视图不一致 不同节点执行 CLUSTER NODES 得到的节点数量或槽归属不同 检查集群总线端口连通性(客户端端口加 10000)、gossip 是否被防火墙拦截
未覆盖的槽导致拒绝服务 cluster-require-full-coverage yes 时整个集群拒绝服务 优先恢复槽覆盖(用备份中的节点或重新分配槽),再评估是否临时改为 no

集群总线的连通性是高频排查点:只放行客户端端口而未放行总线端口,会表现为节点可被客户端连接但集群视图互不可见。

3.6.4 客户端大量重定向

现象 可能原因 排查与处置
持续收到 MOVED 客户端槽映射缓存过期,或集群近期发生过槽迁移 确认客户端是否支持并开启了拓扑刷新;核对 CLUSTER SLOTS 与实际拓扑
迁移期间收到 ASK 槽正在迁移,属正常现象 确认客户端正确处理 ASK(本次请求加 ASKING 且不更新映射);评估迁移是否过于集中
出现 CROSSSLOT 错误 多键命令的键不在同一槽 这是错误而非重定向;调整键设计使用哈希标签,或把命令拆分为按槽分组多次执行
写入随机失败 客户端连接到了已变为副本的节点 确认客户端是否跟随拓扑刷新,或是否配置了写节点选择策略
重定向次数超过上限报错 max-redirects 过小或集群拓扑持续变化 适度放大上限,同时排查拓扑频繁变化的原因(反复故障转移或迁移)

3.6.5 复制延迟增长

排查顺序:

  1. 量化延迟:比较主从偏移量差值,并按主节点偏移量增长速率换算为时间;确认延迟是持续增长还是周期性波动。
  2. 判断瓶颈位置:检查副本的磁盘写入延迟与 CPU 使用率、主节点的网络出口带宽与副本输出缓冲占用。
  3. 检查副本是否在做重活:AOF 重写、BGSAVE、副本上执行的遍历类命令都会让副本的应用速度下降。
  4. 检查主节点是否有写入突增:批量导入、缓存批量失效后的回源写入都会造成偏移量快速增长。
  5. 检查复制缓冲:sync_full 是否增长、repl-backlog-size 是否足够。
  6. 处置:优先恢复复制(必要时扩容带宽或降低主节点写入速率),再评估是否需要把读流量从落后的副本摘除。

故障定位的通用顺序(先止损、再定位、保留现场)与证据保留要求见 linux: 故障案例库;消息中间件侧的故障处置流程与告警分级方法可对照 消息中间件运维与治理 第 3.7 节;复制、哨兵与集群相关指标的含义、告警阈值与巡检清单见 Redis 运维与监控。

3.7 高可用方案对比

方案 可用性 容量上限 运维复杂度 数据一致性边界 适用场景
单机 进程或主机故障即中断,需人工恢复 单机内存与单线程吞吐 低 无副本,依赖持久化 开发测试、可容忍中断的内部工具
主从(手动切换) 副本可随时接管,切换依赖人工流程,恢复时间取决于流程与演练水平 读可扩展,写与内存仍受单节点限制 低 异步复制,切换丢失未同步写入 读多写少、切换频率低、能接受分钟级恢复
主从加哨兵 自动检测与切换,切换期间存在不可用窗口 同上 中 异步复制;可用 min-replicas 降低脑裂写入风险 数据量与写入量在单节点可承受、需要自动故障转移
Cluster 槽级故障隔离,副本自动提升 内存与写吞吐可水平扩展 高 异步复制;跨槽操作受限;槽未覆盖时按 cluster-require-full-coverage 决定是否整体拒绝服务 数据量或写吞吐超过单节点上限
云托管(托管实例或托管集群) 由平台提供多可用区副本与自动切换 由实例规格与分片数量决定,可弹性调整 低,但受平台能力与限制约束 取决于平台的副本与持久化实现,需要向平台确认 希望把故障转移、备份与升级交给平台

托管方案的核对项:

  • 版本与命令支持:是否禁用或限制部分命令与参数,是否有版本上限。
  • 数据安全:副本数量与部署位置、持久化方式与丢失窗口、备份粒度与恢复点能力、是否支持按时间点恢复。
  • 网络:客户端与实例的网络路径与延迟、跨可用区部署与流量成本、是否支持私网访问与白名单控制。
  • 可观测性与运维接口:指标与慢日志的导出能力、是否有大 key 与热 key 分析、扩缩容是否在线完成。
  • 迁移成本:能否导出现有数据格式、是否兼容自建部署的客户端配置,避免形成不可逆的锁定。

选型结论:

  • 可用性目标在 99.9% 量级、数据量与写入量在单节点可容纳时,主从加哨兵是性价比最高的方案。
  • 数据量或写入吞吐超过单节点上限时必须分片;分片的长期成本主要来自跨槽限制与运维复杂度,应在设计阶段就确定键模型与客户端方案。
  • 无论选择哪种方案,副本与备份都需要同时存在,且切换流程必须经过演练验证(演练要求见 linux: 高可用与集群 第 3.5 节)。

四、总结

  • 单实例的约束分两类:内存容量与单线程吞吐。容量问题只能靠分片解决,可用性问题可以用复制与自动故障转移解决,但复制不增加写吞吐与内存总量。
  • 主从复制是全量与部分重同步的组合。复制积压缓冲决定断线重连后能否增量同步,是投入产出比最高的单个参数;复制缓冲不足会退化为反复全量同步。
  • 复制是异步的,主节点在本地执行完即返回,故障转移必然存在数据丢失窗口。WAIT 与 min-replicas-to-write/min-replicas-max-lag 能缩小窗口与抑制脑裂写入,但不能消除丢失。
  • 复制风暴来自多个副本同时全量同步,缓解手段包括错开重启、repl-diskless-sync-delay 合并请求、控制级联层级与扩大积压缓冲。主从延迟的成因需要按网络、副本资源、副本阻塞与主节点写入速率分别排查。
  • 哨兵通过主观下线与客观下线判定故障,通过多数派选举确定执行者;quorum 只用于判定下线,故障转移授权需要多数哨兵,因此哨兵数量取奇数且不少于 3 个并分散到不同故障域。
  • 哨兵是发现服务而不是代理。客户端需要配置全部哨兵地址、支持主节点地址更新,并处理切换窗口内的连接失败与重试。
  • Cluster 用 16384 个槽做数据分布,节点间通过集群总线与 gossip 交换状态;故障判定需要多数主节点认可,副本提升需要多数授权。
  • MOVED 表示槽归属已变更、需要更新客户端映射;ASK 表示槽正在迁移、只对本次请求临时重定向。两者的处理方式不同,混淆会造成迁移期间的持续抖动。
  • 多键操作要求同槽,跨槽会返回 CROSSSLOT。哈希标签可以让相关键落在一起,代价是负载倾斜与迁移粒度变大,标签必须有足够的基数。
  • 集群没有全局快照,备份需要逐节点进行,且必须保证每个槽的主节点有可用备份;备份需要连同节点关系文件一起保留。
  • 槽迁移分标记、逐键迁移、广播归属三步,迁移期间请求按键的状态返回 MOVED 或 ASK。迁移中断会留下中间状态,必须继续完成或统一回退,不能停留在中间状态对外服务。
  • 故障排查的五个高频方向是主从不同步、哨兵频繁切换、集群状态异常、客户端大量重定向与复制延迟增长,排查的共同起点是用集群与复制状态命令把"视图分歧"与"数据落后"区分开。
  • 方案选择的顺序是:先确认瓶颈是读、写还是容量,再决定使用副本、哨兵还是分片;副本不等于备份,自动切换不等于不丢数据,切换流程必须演练验证。