内容总览

Redis 运维与监控 思维导图

一、起源:内存型数据库的运维特殊性

1.1 内存是硬约束

磁盘型数据库在数据量增长时表现为查询变慢,内存型数据库在内存耗尽时表现为数据被淘汰或写入被拒绝,两者都是容量问题,但后果不同:

  1. 达到 maxmemory 后按淘汰策略删除键,被删除的键可能是热点数据,命中率会在短时间内坍塌,压力随即转移到数据库;
  2. 淘汰策略为 noeviction 时写入直接失败,业务出现写入报错,且失败发生在业务链路上而非运维侧;
  3. 内存不足时机器触发内存回收与 swap,进程被换出会带来毫秒级以上的响应抖动;容器环境下超出 cgroup 限制会直接触发 OOM 终止;
  4. 内存占用不止业务数据:客户端输出缓冲区、复制缓冲区、AOF 缓冲区、fork 期间的页复制都会叠加占用,容量规划必须计入这些开销。

因此内存水位是 Redis 最核心的容量指标,配置与规划都以它为起点。

1.2 慢命令影响全局

Redis 处理命令的主线程是单线程(现代版本的部分后台任务与 I/O 多线程化不改变命令执行的串行性质)。单条复杂度高的命令会阻塞其后全部请求:

  1. 大 key 上的 HGETALL、SMEMBERS、LRANGE、DEL 等操作,耗时随元素数量增长;
  2. 涉及大量键的命令(KEYS、FLUSHALL、不带分片的批量删除)会长时间独占主线程;
  3. Lua 脚本在服务端串行执行,脚本内出现大范围遍历会阻塞全部请求;
  4. 慢命令造成的阻塞会同时抬高所有客户端的响应时间,表现为“整体延迟上升而 QPS 不高”。

这条性质决定了运维上必须同时具备慢日志、延迟监控与大 key 扫描三种手段:慢日志定位具体命令,延迟监控发现非命令层面的停顿(fork、AOF 重写、操作系统调度),大 key 扫描从数据分布上预防问题发生。

1.3 持久化与复制带来的额外开销

Redis 的持久化与复制都依赖主进程 fork 出子进程或复制缓冲区,开销体现在四处:

  1. fork 的代价。fork 需要复制页表,耗时与实例内存成正比;实例内存越大,单次 fork 的停顿时长越长,latest_fork_usec 即用于观测这一耗时;
  2. 写时复制的内存放大。fork 之后主进程的写入会触发页复制,同一时间段内的写入量越大,额外内存占用越高,极端情况下接近数据量的一倍;
  3. 复制缓冲区的累积。从节点处理速度跟不上主节点写入速度时,主节点的复制缓冲区(输出缓冲区)持续增长,可能耗尽内存;
  4. 磁盘 I/O 的连带影响。RDB 保存与 AOF 重写产生大量顺序写,多个实例共用磁盘时会互相干扰,页缓存与回写机制的影响参见 linux: 页缓存与 IO 性能 中“脏页回写机制”与“fsync、fdatasync、sync 的语义差异”两节。

由此得到运维上的基本判断:任何增加内存与写入量的变更,都会同步放大持久化与复制的开销,变更评估不能只看业务功能。

二、原理

2.1 关键配置项的作用与相互影响

内存与淘汰策略

配置项 含义 调整影响
maxmemory 实例可用内存上限 设置过小会导致频繁淘汰,设置过大在容器或共享主机上会触发 OOM
maxmemory-policy 淘汰策略 noeviction 保证不丢数据但写入会失败;allkeys-* 可淘汰任意键,volatile-* 只淘汰设置了 TTL 的键
maxmemory-samples 淘汰采样数量 增大可提高淘汰精度,代价是 CPU 开销
maxmemory-clients 客户端缓冲区总量上限 用于抑制缓冲区过高导致的内存增长

volatile-* 类策略要求键设置了 TTL,使用该策略时无 TTL 的键不会被淘汰,内存耗尽后仍会写入失败。淘汰策略的选择需与业务数据分类一致:缓存实例可用 allkeys-lru 或 allkeys-lfu;同时承载不可丢数据的实例应使用 noeviction 并靠内存水位告警提前介入。

持久化相关

配置项 含义 取舍
save RDB 触发条件 触发越频繁,fork 与磁盘写越频繁,恢复点越新
appendonly 是否开启 AOF 开启后写入需要追加日志,延迟上升,数据丢失窗口缩短
appendfsync AOF 刷盘策略 always 每条刷盘最安全、延迟最高;everysec 为常用折中;no 交由操作系统回写,损失窗口不可控
auto-aof-rewrite-percentage、auto-aof-rewrite-min-size AOF 重写触发条件 重写期间内存与磁盘开销上升,触发过于频繁会持续占用资源
stop-writes-on-bgsave-error 后台保存失败时是否拒绝写入 默认拒绝写入,可保护数据但会造成业务写入失败,见 3.7 节
rdbcompression、rdbchecksum RDB 压缩与校验 压缩节省磁盘、消耗 CPU;校验增强一致性检测

复制相关

配置项 含义 调整影响
repl-backlog-size 复制积压缓冲区大小 过小会导致从节点短暂断开后无法增量同步,退化为全量同步
client-output-buffer-limit replica 从节点输出缓冲区上限 超限会断开与从节点的连接,需与网络带宽匹配
repl-diskless-sync、repl-diskless-sync-delay 无磁盘全量同步 避免落盘,但会同时给多个从节点推送数据,需控制并发
replica-read-only 从节点是否只读 从节点可写会造成主从数据分歧,除非有明确需求否则保持只读

客户端与连接

配置项 含义 调整影响
maxclients 最大客户端连接数 与文件句柄上限配合设置,达到上限后新连接被拒绝
timeout 空闲连接超时 过短会频繁断开连接池中的空闲连接,过长会积累僵尸连接
client-output-buffer-limit normal 普通客户端输出缓冲区上限 用于防止慢客户端造成内存增长,超限后连接被关闭
tcp-keepalive TCP 保活探测间隔 用于及时发现半开连接
timeout 与连接池的配合 客户端连接池的空闲回收时间应小于服务端超时 避免使用已被服务端关闭的连接导致请求失败

慢日志与延迟监控

配置项 含义 取值思路
slowlog-log-slower-than 记录阈值(微秒) 以业务响应时间预算为参照,而非固定默认值
slowlog-max-len 慢日志最大长度 保留足够样本并设置定期采集,避免只保留少量条目
latency-monitor-threshold 延迟监控阈值(毫秒) 用于捕获 fork、命令执行等造成的延迟事件
latency-tracking 客户端延迟统计 用于定位具体客户端的延迟来源

TCP 与内核参数

Redis 本身暴露的 TCP 参数有限,更多依赖操作系统侧配置:连接队列长度(tcp-backlog)需与内核的 somaxconn 一致;内存超售与页回收策略影响 fork 行为;透明大页会拉长 fork 与内存分配的延迟。内核与网络参数的完整说明参见 linux: 网络 第 2.5 节与第 3.7.7 节,内存相关机制参见 linux: 内存管理 第 2.7 节与第 2.13 节。

2.2 监控指标的含义

类别 指标 含义与判读
内存 used_memory 已分配内存,与 maxmemory 的差值决定剩余空间
内存 used_memory_rss 操作系统视角的驻留内存,与 used_memory 的差异反映碎片与页复制开销
内存 mem_fragmentation_ratio 驻留内存与逻辑内存之比,长期高于 1.5 说明碎片明显,低于 1 说明发生 swap
内存 maxmemory_policy 当前淘汰策略,需与实际配置一致
命中 keyspace_hits、keyspace_misses 命中率等于命中数除以总请求数,持续下降需结合键数量与数据变更一起判断
吞吐 instantaneous_ops_per_sec 每秒命令数,用于与基线比较
吞吐 total_net_input_bytes、total_net_output_bytes 网络吞吐,大 key 场景下需重点观察输出字节数
慢命令 slowlog 条目数与耗时分布 记录数增长说明出现复杂度高的命令或大 key 访问
连接 connected_clients、rejected_connections 拒绝数大于 0 说明触达 maxclients 上限,属必须处置项
连接 blocked_clients 阻塞在 BLPOP 等命令上的客户端数量
键空间 keys、expires、expired_keys 键数量与过期键数量的趋势反映 TTL 覆盖程度与淘汰是否正常
淘汰 evicted_keys 持续淘汰说明内存不足,命中率会随之下降
主从 master_repl_offset、slave_repl_offset 两者差值即复制延迟量,需换算为时间
主从 master_link_status 复制链路状态,down 表示从节点已断开
持久化 rdb_last_bgsave_status、aof_last_write_status 非 ok 表示后台保存或 AOF 写入失败,属必须处置项
持久化 latest_fork_usec 最近一次 fork 耗时,直接反映阻塞风险
持久化 rdb_changes_since_last_save 距上次保存的变更量,用于评估恢复点的新旧
集群 cluster_state、槽覆盖情况 ok 表示全部槽有归属且节点达成多数;槽未覆盖时写入失败
集群 cluster_known_nodes、节点角色 节点数量与角色异常需区分计划内变更与意外故障

判读的两条经验:

  1. 命中率单独看无意义。键被淘汰、数据批量过期、业务查询模式变化都会造成命中率下降,需要与键数量、淘汰计数、数据库 QPS 一起观察;
  2. 复制延迟要换算为时间。以偏移量差值除以主节点的写入速率得到大致延迟秒数,再与业务可接受窗口比较。

2.3 容量规划

单实例内存上限的经验边界

约束 影响
fork 耗时与内存成正比 内存越大,单次 fork 停顿越长,保存与重写期间的延迟抖动越明显
故障恢复时间与数据量成正比 实例越大,故障后全量同步与重启加载耗时越长,故障窗口越难控制
单节点带宽与 CPU 上限 内存越大通常伴随更高的 QPS,单节点成为瓶颈后无法通过加内存解决

工程上的做法是给出单实例内存上限的约定值(常见约定区间为 10GB 至 32GB,具体取值需结合上述三项在本环境中的实测结果确定),超过该值即分片,而不是持续纵向扩容。

数据量与内存开销的关系

实例内存 ≈ 业务数据量 × 类型编码膨胀系数
         + 键与过期字典开销
         + 客户端输出缓冲区
         + 复制缓冲区(AOF 缓冲区、backlog、从节点输出缓冲)
         + 碎片与 fork 期间的页复制峰值
         + 预留余量

规划要点:类型编码决定膨胀系数(小集合使用紧凑编码,元素数量超过阈值后转为哈希表或跳表编码,内存占用会阶跃上升);键本身与过期字典占用与键数量成正比;fork 期间的额外占用与写入速率相关,不能按 0 估算。

分片与垂直扩容的取舍

方式 收益 代价
垂直扩容(提升单机内存) 无需数据迁移,运维方式不变 受 fork 耗时与单节点能力限制,存在上限
分片(集群或客户端分片) 突破单节点内存与吞吐上限,故障域缩小 需要处理多键操作与事务限制、键到分片的映射变化、集群运维复杂度上升
读写分离(增加从节点) 分摊读流量、提供故障切换能力 不提升写入能力与内存上限,并引入复制延迟与一致性问题

扩容触发点应以“内存水位 + 增长斜率 + 单实例上限约定”三者共同判定,而不是等到内存触顶。容量估算与扩容决策方法参见 linux: 性能测试与基线 第 3.7 节。

2.4 变更风险

参数热更新与重启生效的差别

CONFIG SET 可在线修改部分参数,但需要区分三类:

  1. 热更新且立即生效:maxmemory、maxmemory-policy、slowlog-log-slow-than、appendfsync 等,修改后需在配置文件中同步落盘,否则重启后回退;
  2. 热更新但只对新对象生效:涉及编码与结构选择的参数只影响后续创建的对象,已存在的键仍按旧规则;
  3. 必须重启生效:涉及端口、持久化开关、集群模式、协议与数据结构底层的参数。

由此产生的主要风险是运行态配置与配置文件不一致:热修改后未落盘,重启即回退,故障复现时排查依据与现场不符。变更后必须核对运行态与配置文件的差异。

版本升级的主从兼容

升级过程中的风险点:

  1. 新版本写入的数据结构在旧版本中可能不可读,存在不可降级点;
  2. 全量同步(PSYNC、SYNC)的协议与 RDB 版本在跨大版本时可能存在差异;
  3. 升级顺序通常为主节点或从节点先行,需确认复制方向与读写入口的配合方式;
  4. 升级期间副本重建会造成磁盘、网络与内存的额外开销。

升级前需要明确:能否回退、回退需要哪些介质与配置、新版本写入的数据在旧版本下是否可读。

持久化与复制在变更中的影响

  1. 修改持久化开关或刷盘策略会立即改变写入延迟与数据丢失窗口,需在低峰执行;
  2. 修改复制相关参数(backlog 大小、无盘同步)会触发或影响全量同步,进而占用带宽与内存;
  3. 变更副本数量会触发数据同步,期间故障容忍度下降,且主节点内存会因输出缓冲区而上升;
  4. 所有涉及重启、切换与副本重建的变更都应安排在业务低峰,并按节点分批执行,流程参见 linux: 变更与发布管理 第 2.1 节。

三、实现

3.1 部署要点

进程部署与内存相关的系统配置

  1. 内存分配器。使用 jemalloc 可降低碎片率,容器镜像与自编译版本需确认实际链接的分配器;
  2. 透明大页(THP)。开启 THP 会增加 fork 与内存分配的延迟,实例部署时通常关闭;关闭方式与大页配置参见 linux: 内存管理 第 3.6 节;
  3. 超售与页回收。vm.overcommit_memory 设置为 1 可避免后台保存时的内存分配失败,相关机制参见 linux: 内存管理 第 2.12 节;
  4. swappiness。降低该值可减少换出,但无法替代真实的内存余量;
  5. 文件句柄。maxclients、后端连接与持久化文件都需要文件描述符,需同时提高 nofile 限制;
  6. TCP backlog。tcp-backlog 的生效值受内核 somaxconn 限制,两者需一致,网络参数含义参见 linux: 网络 第 2.5 节。
# 关键系统参数(写入 /etc/sysctl.d/99-redis.conf 后执行 sysctl --system 生效)
vm.overcommit_memory = 1
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535

# 关闭透明大页(按主机实际路径调整)
echo never > /sys/kernel/mm/transparent_hugepage/enabled

# 提高文件句柄上限(服务单元或启动脚本中设置 LimitNOFILE)
# LimitNOFILE=65535

容器化部署的注意点

  1. cgroup 内存限制要大于 maxmemory。maxmemory 只约束数据与缓冲,进程自身内存、fork 期间的页复制、碎片都需要额外空间;两者取值过于接近时,容器会先于淘汰策略触发 OOM 终止;
  2. 持久化目录必须挂载到独立卷。容器内目录随容器销毁而丢失,挂载点需落在独立磁盘上,避免与日志、系统盘争抢 I/O;
  3. 限制 CPU 会影响 fork 与后台任务。CPU 配额过低会拉长保存与重写耗时,进而拉长写时复制的持续时间;
  4. 网络模式与端口暴露。集群模式的节点间通信需要可互达的地址与端口范围,需确认容器网络中的节点发现方式;
  5. 优雅停止。终止前应完成一次持久化或确认已有可用备份,避免直接强杀造成数据丢失。

配置文件示例(片段)

# 内存
maxmemory 16gb
maxmemory-policy allkeys-lru
maxmemory-samples 5

# 持久化
save 900 1
save 300 10
appendonly yes
appendfsync everysec
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 512mb
stop-writes-on-bgsave-error yes

# 复制与客户端
repl-backlog-size 256mb
client-output-buffer-limit replica 512mb 128mb 60
client-output-buffer-limit normal 0 0 0
maxclients 10000
timeout 300
tcp-keepalive 60
tcp-backlog 65535

# 慢日志与延迟
slowlog-log-slower-than 10000
slowlog-max-len 1024
latency-monitor-threshold 100

# 持久化目录
dir /data/redis/6379

配置项的取值需与本实例的角色(缓存或持久化存储)一致:作为缓存使用时可容忍淘汰,作为存储使用时必须关闭淘汰并接受写入失败的保护语义。

3.2 监控与告警落地

指标清单与阈值建议

指标 告警级别 阈值建议 持续时间
存活探测 critical 连续探测失败 1 分钟
内存水位(used_memory / maxmemory) critical 达到 85% 5 分钟
内存水位 warning 达到 75% 15 分钟
used_memory_rss 接近容器或主机限制 critical 达到限制的 90% 5 分钟
淘汰数量增速 warning 持续出现淘汰 10 分钟
命中率 warning 低于基线 20% 30 分钟
拒绝连接数 critical 大于 0 5 分钟
主从链路状态 critical master_link_status 为 down 2 分钟
复制延迟 warning 超过业务可接受窗口对应偏移量 10 分钟
RDB 或 AOF 状态 critical 状态非 ok 5 分钟
fork 耗时 warning 超过 500ms 15 分钟
慢命令数量 warning 单位时间新增超过基线 15 分钟
碎片率 warning 高于 1.5 30 分钟
键数量 warning 偏离基线 50% 且单向变化 30 分钟
集群状态 critical cluster_state 非 ok 2 分钟
集群槽覆盖 critical 存在未覆盖槽 2 分钟

阈值需在采集一轮基线后按实际分布调整,基线采集与回归对比方法参见 linux: 性能测试与基线 第 3.4 节与第 3.5 节。

告警分级

沿用主机与服务监控的分级方式:critical 表示服务已不可用或即将不可用,立即通知;warning 表示指标越界但短期不影响服务,汇总通知;info 仅记录;分级与通知路由配置参见 linux: 监控与告警 第 3.3 节,分级与响应要求参见 linux: SLO 与告警设计 第 2.3 节。

Redis 侧需要额外处理两类抑制关系:

  1. 主从切换或集群故障转移期间,抑制从节点的连接与复制类告警,避免一次切换产生大量衍生告警;
  2. 计划内的持久化、副本重建与版本升级期间,对相关延迟与内存告警设置静默,窗口结束后确认告警恢复。

与主机侧监控的分工

层面 关注对象 典型指标
主机层 进程与资源是否可用 CPU、内存、磁盘空间与 I/O 延迟、网络带宽、文件句柄
实例层 服务是否健康 连接、命令、内存、命中率、持久化、复制、集群状态
业务层 效果是否达标 接口响应时间、数据库回源 QPS、缓存命中对应的业务成功率

分工的意义在于避免重复告警与漏报:主机内存告警指向资源不足,实例内存告警指向配置与数据增长;主机磁盘 I/O 延迟升高时,需要同时检查实例的 fork 与持久化耗时,二者是同一原因的不同表现。

告警规则示例

groups:
  - name: redis-operations
    rules:
      - alert: RedisMemoryHigh
        expr: redis_memory_used_bytes / redis_memory_max_bytes > 0.85
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 内存水位超过 85%,淘汰风险升高"

      - alert: RedisEvicting
        expr: increase(redis_evicted_keys_total[10m]) > 0
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 持续发生键淘汰,命中率与业务读延迟需一并核对"

      - alert: RedisReplicationDown
        expr: redis_master_link_up == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 与主节点复制链路断开"

      - alert: RedisPersistenceFailed
        expr: redis_rdb_last_bgsave_status == 0 or redis_aof_last_write_status == 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 持久化失败,需确认是否已拒绝写入"

规则上线后需核对三项:指标是否存在、标签是否具备区分度、持续时间是否过滤了瞬时抖动,检查清单参见 linux: SLO 与告警设计 第 3.3 节。

3.3 日常巡检项

告警处理突发故障,巡检发现趋势问题与配置漂移,分工参见 linux: 巡检与健康检查 第 1.3 节,巡检项分类方法参见同文第 2.1 节。

每日巡检项

项目 判据
实例存活与角色 全部实例可连接,角色与预期一致,无意外切换记录
内存水位 used_memory 与 maxmemory 的比值在阈值内,无持续淘汰
命中率 在基线波动范围内,无阶跃下降
连接数 connected_clients 在基线范围内,rejected_connections 为 0
持久化状态 RDB 与 AOF 状态正常,最近一次保存时间与变更量可接受
fork 耗时 latest_fork_usec 未超过约定上限
复制状态 复制链路正常,复制延迟在可接受范围内
集群状态 cluster_state 为 ok,槽全部覆盖,节点数量与预期一致
慢日志 新增慢命令条目已完成判读,无新的高耗时命令类型
备份产物 备份任务退出码为 0,产物时间戳与大小正常,校验通过
关键日志 无持久化失败、内存分配失败、集群节点失联等错误

每周巡检项

项目 判据
容量趋势 内存与键数量的增长斜率,结合单实例上限约定估算扩容触发点
大 key 分布 大 key 清单与上周对比,新增项需处理
碎片率趋势 单向升高需安排碎片整理或重启窗口
TTL 覆盖 无 TTL 键的占比与总量,无 TTL 键不应持续增长
参数与基线差异 运行态配置与配置文件、上次快照比对,无未登记修改
冷数据与无用键 长期未访问的键或无用前缀清单
权限与账号 无新增未登记账号,rename-command 与访问来源限制符合要求
告警质量 无效告警与重复告警占比,阈值是否需要调整

巡检脚本要点

#!/usr/bin/env bash
# Redis 日常巡检,只读执行
set -uo pipefail
OUT="/var/log/redis-inspection/redis-inspection-$(date +%Y%m%d-%H%M).log"
mkdir -p "$(dirname "$OUT")"
crit=0

info() { redis-cli -h "$1" -p "$2" INFO "$3" 2>/dev/null; }

while read -r host port; do
  [ -z "$host" ] && continue

  # 1. 内存水位
  mem=$(info "$host" "$port" memory)
  used=$(echo "$mem" | awk -F: '/^used_memory:/{print $2}' | tr -d '\r')
  max=$(echo "$mem" | awk -F: '/^maxmemory:/{print $2}' | tr -d '\r')
  if [ "${max:-0}" -gt 0 ]; then
    pct=$(( used * 100 / max ))
    if [ "$pct" -ge 85 ]; then
      echo "CRIT memory        ${host}:${port} used=${pct}% <85%" >>"$OUT"; crit=1
    elif [ "$pct" -ge 75 ]; then
      echo "WARN memory        ${host}:${port} used=${pct}% <75%" >>"$OUT"
    else
      echo "OK   memory        ${host}:${port} used=${pct}% <75%" >>"$OUT"
    fi
  fi

  # 2. 持久化状态与 fork 耗时
  pers=$(info "$host" "$port" persistence)
  rdb=$(echo "$pers" | awk -F: '/^rdb_last_bgsave_status:/{print $2}' | tr -d '\r')
  fork=$(echo "$pers" | awk -F: '/^latest_fork_usec:/{print $2}' | tr -d '\r')
  if [ "$rdb" != "ok" ]; then
    echo "CRIT persistence   ${host}:${port} rdb=${rdb} ok" >>"$OUT"; crit=1
  else
    echo "OK   persistence   ${host}:${port} rdb=${rdb} ok" >>"$OUT"
  fi
  if [ "${fork:-0}" -gt 500000 ]; then
    echo "WARN fork          ${host}:${port} latest_fork_usec=${fork} <500000" >>"$OUT"
  fi

  # 3. 复制状态
  repl=$(info "$host" "$port" replication)
  link=$(echo "$repl" | awk -F: '/^master_link_status:/{print $2}' | tr -d '\r')
  if [ -n "$link" ] && [ "$link" != "up" ]; then
    echo "CRIT replication   ${host}:${port} link=${link} up" >>"$OUT"; crit=1
  fi

  # 4. 连接与拒绝数
  cli=$(info "$host" "$port" clients)
  rejected=$(echo "$cli" | awk -F: '/^rejected_connections:/{print $2}' | tr -d '\r')
  if [ "${rejected:-0}" -gt 0 ]; then
    echo "CRIT clients       ${host}:${port} rejected=${rejected} 0" >>"$OUT"; crit=1
  fi

  # 5. 集群状态
  if redis-cli -h "$host" -p "$port" cluster info >/dev/null 2>&1; then
    state=$(redis-cli -h "$host" -p "$port" cluster info | awk -F: '/^cluster_state:/{print $2}' | tr -d '\r')
    if [ "$state" != "ok" ]; then
      echo "CRIT cluster       ${host}:${port} state=${state} ok" >>"$OUT"; crit=1
    else
      echo "OK   cluster       ${host}:${port} state=${state} ok" >>"$OUT"
    fi
  fi
done < /etc/redis-inspection/instances.conf

echo "SUMMARY crit=${crit} time=$(date -Is)" >>"$OUT"
exit "$crit"

巡检脚本的三条约束:只执行读命令(INFO、CLUSTER INFO、SLOWLOG GET),不执行删除、重写、重启类动作;结构化输出固定字段便于归档比对;结果按日归档并做趋势比对,归档轮转配置参见 linux: logrotate。

3.4 慢查询与性能分析

慢日志配置与判读

# 设置阈值(微秒):仅记录超过 10ms 的命令
redis-cli CONFIG SET slowlog-log-slower-than 10000
redis-cli CONFIG SET slowlog-max-len 1024
# 持久化到配置文件,避免重启后回退
# slowlog-log-slower-than 10000
# slowlog-max-len 1024

redis-cli SLOWLOG GET 10      # 查看最近 10 条
redis-cli SLOWLOG LEN         # 当前条数
redis-cli SLOWLOG RESET       # 清空(会丢失现场,先导出再清空)

判读要点:

  1. 记录中关注命令类型与参数规模是否匹配(例如 HGETALL 出现在非预期场景说明存在大 key 访问);
  2. 客户端地址可用于定位调用方,结合业务日志确认触发路径;
  3. 单条命令耗时通常由数据规模决定,若同一命令在大 key 与正常键上耗时差异明显,应先处理数据分布;
  4. 慢日志只覆盖命令执行时间,不覆盖排队与网络时间,主线程阻塞(fork、内存分配停顿)需通过延迟监控发现。

命令统计与热点命令发现

redis-cli INFO commandstats | sort -t= -k2 -nr | head -n 20
redis-cli --hotkeys            # 需 maxmemory-policy 为 LFU 类策略
redis-cli --bigkeys            # 采样统计各类型元素数量
redis-cli MEMORY USAGE <key>   # 单键内存占用

等待时间与阻塞情况可通过 INFO clients、INFO stats 与客户端埋点结合判断;关注 instantaneous_ops_per_sec 与延迟分位的关系,QPS 不变而延迟上升通常指向阻塞而非负载。

# 延迟监控:查看延时事件类型与分布
redis-cli LATENCY LATEST
redis-cli LATENCY RESET          # 采样结束后重置,避免历史事件干扰判断
redis-cli LATENCY DOCTOR

内存分析与大 key 扫描

redis-cli INFO memory            # used_memory、used_memory_rss、mem_fragmentation_ratio
redis-cli MEMORY DOCTOR
redis-cli --bigkeys
redis-cli --scan --pattern 'prod:user:profile:*' | wc -l   # 按前缀统计键数量(控制执行速率)

大 key 的判定与治理方式属于工程侧内容,扫描结果需要与业务侧的键设计规范比对:元素数量大的集合是否可拆分、是否有未裁剪的列表或流、是否有未设 TTL 的键。

内存碎片处理

# 查看碎片情况
redis-cli INFO memory | grep mem_fragmentation_ratio

# 开启在线碎片整理(可热更新,也可写入配置文件持久化)
redis-cli CONFIG SET activedefrag yes
redis-cli CONFIG SET active-defrag-ignore-bytes 100mb
redis-cli CONFIG SET active-defrag-threshold-lower 10

注意三点:碎片整理会消耗 CPU 与内存,应在低峰开启并观察延迟;碎片率高伴随 used_memory_rss 明显高于 used_memory 时收益最明显;碎片整理不替代容量规划,碎片率持续升高的根因通常是写入模式(大量删除与插入混合、频繁扩容的小集合)。

延迟监控手段

手段 覆盖范围 说明
LATENCY LATEST / LATENCY DOCTOR 服务端内部事件(fork、过期、命令执行) 用于区分慢命令与阻塞
慢日志 命令执行耗时 定位具体命令
INFO persistence 中的 fork 与保存耗时 持久化阻塞 与磁盘 I/O 指标联合判断
主机侧 I/O 与 CPU 指标 操作系统层阻塞 参考 linux: 页缓存与 IO 性能 中“脏页回写机制”一节
压测与基线对比 性能回归 用于确认延迟变化是否来自负载,方法参见 linux: 性能测试与基线 第 3.4 节与第 3.6 节

3.5 备份与恢复

备份目标是 RPO 与 RTO 的落地,目标定义与 3-2-1 原则参见 linux: 备份与容灾 第 2.1 节与第 2.2 节。

RDB 与 AOF 的备份策略

方式 备份动作 优点 限制
RDB 文件备份 由 BGSAVE 生成快照后复制 dump.rdb 文件紧凑、恢复速度快、适合按时间点归档 两次快照之间的数据会丢失
AOF 文件备份 复制 appendonly.aof 及其清单文件 数据丢失窗口小 文件体积大,恢复需要重放,耗时长
逻辑导出 按键或按业务前缀导出为文本结构 可选择性恢复、可跨版本迁移 大数据量下耗时长,需控制速率避免影响在线服务
主从复制 从节点作为在线副本 可随时切换、延迟低 不是备份,误删除与逻辑错误会同步到从节点

建议组合方式:以 RDB 快照作为归档基线并按保留策略保存多代,以 AOF 或增量方式补齐 RPO 窗口,同时保留至少一份异机或异地副本。

备份文件校验

# 校验 RDB 文件是否完整可读
redis-check-rdb /data/backup/dump-20260922.rdb

# AOF 文件校验(部分版本提供)
redis-check-aof --aof-file /data/backup/appendonly-20260922.aof

# 归档时计算摘要,恢复前核对
sha256sum /data/backup/dump-20260922.rdb

未经过校验与恢复演练的备份不构成可用备份,这一点与通用备份原则一致。

恢复流程与演练

1. 确认恢复目标:恢复到哪个时间点、恢复到哪个实例或环境
2. 停止目标实例写入,确认业务侧已切换或降级
3. 将备份文件放入持久化目录,确认文件属主与权限与实例运行用户一致
4. 启动实例并观察加载日志:RDB 加载耗时、AOF 重放进度、错误信息
5. 校验数据:键数量、关键业务键存在性、按业务口径抽样比对
6. 恢复读写入口,观察命中率、延迟与错误率
7. 记录实际 RPO 与 RTO,归档恢复过程与差异说明

恢复演练的组织方式与记录模板参见 linux: 备份与容灾 第 3.8 节。演练的判定标准是“能在目标 RTO 内恢复到可用状态并校验通过”,而不是“备份任务执行成功”。

跨环境恢复注意点

  1. 版本差异:低版本无法加载高版本生成的 RDB 文件,需确认版本兼容或使用逻辑导出方式;
  2. 配置差异:maxmemory、淘汰策略、持久化目录与集群模式需按目标环境调整,直接沿用源配置可能造成内存超限或启动失败;
  3. 数据范围差异:跨环境迁移时需确认是否需要脱敏或裁剪,避免把生产全量数据带入测试环境;
  4. 集群模式差异:单机 RDB 无法直接用于集群实例,需转换或重新分片;
  5. 时区与时钟:涉及逻辑过期时间、TTL 的数据在时钟不一致的环境下会出现提前或延后过期。

高危:清空持久化文件(删除 dump.rdb、appendonly.aof 或执行 CONFIG SET appendonly no 后删除文件)会使实例在下次重启后变为空实例,且在线数据与已归档备份之间的关系将被破坏。兜底方式:操作前确认异机备份可用并已校验;只在确认要从备份恢复的场景下执行,且执行前停止写入;保留被删除文件的副本直至恢复验证完成。

3.6 升级与迁移

版本升级顺序与验证项

阶段 动作 验证项
升级前 备份 RDB 与配置,记录当前版本与参数快照,确认回退介质 备份校验通过,回退路径明确,不可降级点已确认
升级中 按从节点到主节点或按分片分批升级,逐个确认复制重建完成 节点角色正常,复制链路 up,槽覆盖完整
升级后 核对业务指标与实例指标 命中率、延迟分位、命令成功率、复制延迟、持久化状态与升级前比对
客户端 确认客户端库兼容性 重连行为、超时与错误处理无变化,连接池未出现异常增长

关键约束:复制方向的调整需与读写入口配合,避免从节点升级期间被继续作为读入口;升级窗口与业务低峰对齐。

数据迁移方式

方式 过程 优点 限制
复制搬迁 把新实例设为旧实例的从节点,同步完成后切换读写入口 对源实例影响小、可反复重试、可实现较短停写窗口 需要源与目标网络可达;全量同步期间源实例内存与带宽开销上升
导入导出 导出 RDB 或逻辑数据后在目标实例加载 实现简单、适合跨网络与跨版本 需要停写或接受数据滞后;大实例导出与加载耗时较长
工具搬迁 使用迁移工具按键或按槽搬运并校验 可分批、可控制速率 需要工具与版本兼容,搬迁期间的写入需要额外同步手段

迁移期间的双写与校验

迁移的核心难点是“切换瞬间的数据不丢不重”。可选做法:

  1. 停写迁移。停写窗口内完成同步与切换,实现最简单,代价是业务中断;
  2. 双写。业务同时写入源与目标实例,校验通过后切换读取并停止写源;双写期间需接受两边短暂不一致,并在切换前做一次全量或增量校验;
  3. 反向补偿。切换后保留源实例一段时间并记录新写入,用于补差。
  4. 校验方式:按键抽样比对值、按业务前缀统计键数量、按业务口径核对关键数据总量;抽样比对需覆盖近期写入的热点键与业务关键键。

回滚方案

回滚需要具备三个前提:源实例在切换后未被清空、写入可切回、双写或反向补偿期间的数据可用于对齐。回滚动作本身同样属于变更,需要窗口与验证项。迁移期间不应执行任何清理、重写或副本重建类操作,以免破坏回滚所需的现场。

3.7 故障排查

排障顺序遵循“止损优先、保护数据、保留证据”,通用排障顺序与止损原则参见 linux: 故障案例库 第 2.2 节与第 2.3 节。

内存被写满

现象:写入报错或大量键被淘汰,命中率下降,业务回源 QPS 上升。

处置顺序:

  1. 确认当前策略与水位:INFO memory、CONFIG GET maxmemory、CONFIG GET maxmemory-policy;
  2. 区分“淘汰型写满”与“拒绝型写满”:evicted_keys 增长为前者,写入报错为后者;
  3. 定位增长来源:键数量是否暴涨、是否存在无 TTL 的键、是否有大 key、客户端缓冲区与复制缓冲区是否异常增长;
  4. 止损手段:削减非关键缓存数据、缩短 TTL、扩容分片、临时放宽 maxmemory;
  5. 记录并处理后,重新评估容量与淘汰策略。

高危:为释放内存而批量删除键或执行 FLUSHDB、FLUSHALL 会造成命中率骤降并可能击穿数据库。兜底方式:优先按业务前缀分批删除并限制速率,在业务低峰执行;确认被删数据可从权威数据源重建;删除前确认数据库容量并准备限流。

持久化失败导致写入被拒

现象:写入返回错误,日志中出现后台保存失败或 AOF 写入失败,rdb_last_bgsave_status 或 aof_last_write_status 非 ok。

原因通常是磁盘空间不足、磁盘只读、权限变化或持久化目录被挂载点覆盖。处置顺序:先确认磁盘空间与挂载状态(参考磁盘写满与文件系统只读案例的处理方式,见 linux: 故障案例库 第 3.1 节与第 3.3 节),再恢复写入能力,最后确认数据丢失窗口。

高危:把 stop-writes-on-bgsave-error 改为 no 只是解除写入限制,并不会修复持久化失败,会扩大数据丢失窗口。兜底方式:仅在已确认磁盘问题可在短时间内修复、且业务写入不可中断时临时调整,并同步安排持久化恢复与一次完整备份;不能作为长期状态保留。

主从全量同步反复

现象:从节点不断触发全量同步,主节点磁盘、网络与内存开销周期性升高。

常见原因与判断:

  1. repl-backlog-size 过小,从节点短暂断开后无法增量同步;
  2. 从节点输出缓冲区超限被主节点断开,检查 client-output-buffer-limit replica 与网络带宽;
  3. 主节点写入量突增,从节点处理不及;
  4. 实例内存大导致 RDB 生成与传输耗时长,期间再次断开;
  5. 网络不稳定或存在短时丢包。

处置:先保证带宽与缓冲区配置匹配,再考虑调大 backlog、使用无盘同步并控制并发;反复失败时核对从节点的磁盘 I/O 与 CPU 是否饱和。

高危:在主从链路异常期间执行主从切换(REPLICAOF、故障转移命令)会造成数据回退或数据分歧。兜底方式:切换前核对从节点的复制偏移量与主节点是否接近、确认业务可接受的数据回退范围;保留原主节点数据目录直至新主稳定运行并完成对账,切换演练方法参见 linux: 高可用与集群 第 3.5 节。

集群节点失联

现象:cluster_state 非 ok、槽未覆盖、部分键访问失败、客户端出现重定向错误。

处置顺序:

  1. 确认失联节点是计划内维护还是意外故障,核对变更记录;
  2. 核对节点数量与多数派状态:多数派不满足时槽不可用,写入会被拒绝;
  3. 定位原因:进程终止、网络隔离、端口与防火墙变更、内存不足被 OOM 终止;
  4. 恢复节点并观察槽迁移与复制重建进度,期间避免同时执行其他高开销变更。

连接数暴涨

常见原因:客户端未复用连接、连接池配置过大、容器重建后连接未释放、故障重连风暴、空闲连接未被超时回收。

判断与处置:区分连接数与业务 QPS 的关系(QPS 平稳而连接数上升指向连接泄漏);按客户端地址与账号聚类定位来源;服务端通过 maxclients、timeout 与访问来源限制兜底,同时确认文件句柄上限(文件描述符耗尽的排查方式见 linux: 故障案例库 第 3.5 节);最终需要客户端侧修复连接复用与池配置。

延迟抖动

现象:QPS 未明显变化但响应时间分位升高,或周期性出现尖刺。

排查顺序:

  1. 检查持久化与复制事件:保存、重写、fork 耗时是否与抖动时间吻合;
  2. 检查慢日志与延迟监控,确认是否为命令层面问题;
  3. 检查主机侧资源:CPU 抢占、内存回收、swap、磁盘 I/O 延迟、网络重传;
  4. 检查是否存在大 key 访问或 Lua 脚本长耗时;
  5. 检查是否与容器 CPU 配额、内存限制相关。

键被意外批量删除的取证与恢复顺序

排障的第一动作是保留证据,而不是立即恢复,证据保留要求参见 linux: 故障案例库 第 2.4 节。

1. 停止进一步写入或变更,避免覆盖现场
2. 采集现场:INFO all、CONFIG GET 快照、CLIENT LIST、SLOWLOG GET 全量、键数量与关键前缀统计
3. 确认删除来源:客户端地址与命令(由慢日志或审计与命令留痕确认)、是否有定时任务或运维脚本执行
4. 确认影响范围:受影响的前缀、键数量、业务影响面
5. 选择恢复方式:从 RDB 或 AOF 备份恢复到隔离实例并只回补受影响键;或由业务按数据源重建缓存
6. 恢复后核对:键数量、关键键存在性、命中率、业务口径抽样比对

恢复顺序上遵循“先恢复只读可用性、再补齐数据、最后复盘追责”的原则:缓存数据通常可重建,优先恢复业务读路径,避免为追求数据完整而延长业务不可用时间。

3.8 变更与合规

参数与结构变更的评审要点

变更类型 评审要点
内存与淘汰策略 影响命中率与写入行为,需评估数据是否可丢、是否需要保留无 TTL 的数据
持久化开关与刷盘策略 影响数据丢失窗口与写入延迟,需明确 RPO
复制参数与副本数量 触发同步或重建,影响带宽、内存与故障容忍度
客户端连接参数 影响连接复用与故障时的重连行为,需与客户端配置同步调整
数据结构与键设计 影响内存占用、键数量与大 key 风险
版本升级 影响兼容性与回退路径,需明确不可降级点

变更管理要求(分级、窗口、可逆性设计、灰度与回滚)参见 linux: 变更与发布管理 第 2.3 节与第 3.1 节。

高危:参数热改(CONFIG SET)在大范围修改内存、持久化或复制相关参数时,会立即改变运行行为且可能触发保存、淘汰或同步。兜底方式:变更前导出完整参数快照(CONFIG GET *);修改前确认该参数是热生效还是需重启;修改后立即写入配置文件避免重启回退;一次只改一项并观察一个完整的监控周期,异常时用快照回退。

审计与命令留痕

  1. 敏感命令禁用或重命名(如 FLUSHALL、FLUSHDB、KEYS、CONFIG、DEBUG),依据权限模型与职责分离原则控制,参见 linux: 合规与审计 第 2.3 节;
  2. 管理操作通过统一入口执行并留痕:谁、何时、对哪个实例、执行了什么命令、结果如何,操作留痕方式参见同文第 3.3 节;
  3. 会话级命令记录:可用 MONITOR 短时抓取,或由代理层记录命令日志;MONITOR 开销大,仅用于短时排障与审计取证;
  4. 变更记录与参数快照、备份产物一并归档,形成可回溯的证据链,审计三要素与证据链要求参见同文第 2.2 节;
  5. 定期核对账号清单、访问来源与权限范围,避免权限长期放宽后无人回收。

四、总结

  • Redis 的运维约束来自三条性质:内存是硬上限、命令执行串行导致慢命令影响全局、持久化与复制会引入额外的内存与 I/O 开销
  • 关键配置项彼此关联:内存与淘汰策略决定写入行为,持久化与刷盘策略决定数据丢失窗口,复制缓冲与客户端缓冲决定内存的隐性占用
  • 监控围绕内存、命中、吞吐、慢命令、连接、键空间、复制、持久化与集群状态九类指标构建,命中率与复制延迟都必须结合其他指标换算后才能判读
  • 容量规划以单实例内存上限约定为核心,同时计入编码膨胀、缓冲区、碎片与 fork 期间的页复制峰值;扩容触发点由水位、增长斜率与实测上限共同决定
  • 变更风险集中在参数热更新与配置文件不一致、版本升级的不可降级点、以及持久化与复制变更对资源的连带影响,热改后必须同步落盘并核对差异
  • 部署阶段需确认内存分配器、透明大页、内存超售、文件句柄与 TCP backlog,容器化部署时 cgroup 内存限制必须大于 maxmemory
  • 监控与主机侧监控分工明确:主机层看资源可用性,实例层看服务健康,业务层看效果;告警需处理切换与计划变更期间的抑制关系
  • 巡检只读执行并归档比对,日常看状态与水位,每周看趋势、大 key、TTL 覆盖与配置漂移
  • 性能分析依靠慢日志、命令统计、延迟监控与大 key 扫描四条线索,碎片整理解决碎片但替代不了容量规划
  • 备份必须与恢复演练绑定,RDB 用于归档基线、AOF 缩短丢失窗口、从节点不是备份;跨环境恢复需核对版本、配置、数据范围与时钟
  • 升级与迁移的关键是回退路径与切换瞬间的数据不丢不重,迁移期间禁止执行清理与重建类操作以保留现场
  • 故障处置遵循先止损、再保护数据、后定位的顺序,内存写满、持久化失败、全量同步反复、集群失联、连接暴涨与延迟抖动各有明确的排查入口
  • 键被意外批量删除时先取证再恢复,缓存数据可重建时应优先恢复业务读路径,而不是延长业务不可用时间
  • 参数与结构变更需评审、留痕与快照,FLUSHALL、FLUSHDB、批量删除、主从切换、参数热改、数据迁移与清空持久化文件均属高危操作,必须给出回滚或兜底方式