内容总览
一、起源:内存型数据库的运维特殊性
1.1 内存是硬约束
磁盘型数据库在数据量增长时表现为查询变慢,内存型数据库在内存耗尽时表现为数据被淘汰或写入被拒绝,两者都是容量问题,但后果不同:
- 达到
maxmemory后按淘汰策略删除键,被删除的键可能是热点数据,命中率会在短时间内坍塌,压力随即转移到数据库; - 淘汰策略为
noeviction时写入直接失败,业务出现写入报错,且失败发生在业务链路上而非运维侧; - 内存不足时机器触发内存回收与 swap,进程被换出会带来毫秒级以上的响应抖动;容器环境下超出 cgroup 限制会直接触发 OOM 终止;
- 内存占用不止业务数据:客户端输出缓冲区、复制缓冲区、AOF 缓冲区、fork 期间的页复制都会叠加占用,容量规划必须计入这些开销。
因此内存水位是 Redis 最核心的容量指标,配置与规划都以它为起点。
1.2 慢命令影响全局
Redis 处理命令的主线程是单线程(现代版本的部分后台任务与 I/O 多线程化不改变命令执行的串行性质)。单条复杂度高的命令会阻塞其后全部请求:
- 大 key 上的
HGETALL、SMEMBERS、LRANGE、DEL等操作,耗时随元素数量增长; - 涉及大量键的命令(
KEYS、FLUSHALL、不带分片的批量删除)会长时间独占主线程; - Lua 脚本在服务端串行执行,脚本内出现大范围遍历会阻塞全部请求;
- 慢命令造成的阻塞会同时抬高所有客户端的响应时间,表现为“整体延迟上升而 QPS 不高”。
这条性质决定了运维上必须同时具备慢日志、延迟监控与大 key 扫描三种手段:慢日志定位具体命令,延迟监控发现非命令层面的停顿(fork、AOF 重写、操作系统调度),大 key 扫描从数据分布上预防问题发生。
1.3 持久化与复制带来的额外开销
Redis 的持久化与复制都依赖主进程 fork 出子进程或复制缓冲区,开销体现在四处:
- fork 的代价。fork 需要复制页表,耗时与实例内存成正比;实例内存越大,单次 fork 的停顿时长越长,
latest_fork_usec即用于观测这一耗时; - 写时复制的内存放大。fork 之后主进程的写入会触发页复制,同一时间段内的写入量越大,额外内存占用越高,极端情况下接近数据量的一倍;
- 复制缓冲区的累积。从节点处理速度跟不上主节点写入速度时,主节点的复制缓冲区(输出缓冲区)持续增长,可能耗尽内存;
- 磁盘 I/O 的连带影响。RDB 保存与 AOF 重写产生大量顺序写,多个实例共用磁盘时会互相干扰,页缓存与回写机制的影响参见 linux: 页缓存与 IO 性能 中“脏页回写机制”与“fsync、fdatasync、sync 的语义差异”两节。
由此得到运维上的基本判断:任何增加内存与写入量的变更,都会同步放大持久化与复制的开销,变更评估不能只看业务功能。
二、原理
2.1 关键配置项的作用与相互影响
内存与淘汰策略
| 配置项 | 含义 | 调整影响 |
|---|---|---|
maxmemory | 实例可用内存上限 | 设置过小会导致频繁淘汰,设置过大在容器或共享主机上会触发 OOM |
maxmemory-policy | 淘汰策略 | noeviction 保证不丢数据但写入会失败;allkeys-* 可淘汰任意键,volatile-* 只淘汰设置了 TTL 的键 |
maxmemory-samples | 淘汰采样数量 | 增大可提高淘汰精度,代价是 CPU 开销 |
maxmemory-clients | 客户端缓冲区总量上限 | 用于抑制缓冲区过高导致的内存增长 |
volatile-* 类策略要求键设置了 TTL,使用该策略时无 TTL 的键不会被淘汰,内存耗尽后仍会写入失败。淘汰策略的选择需与业务数据分类一致:缓存实例可用 allkeys-lru 或 allkeys-lfu;同时承载不可丢数据的实例应使用 noeviction 并靠内存水位告警提前介入。
持久化相关
| 配置项 | 含义 | 取舍 |
|---|---|---|
save | RDB 触发条件 | 触发越频繁,fork 与磁盘写越频繁,恢复点越新 |
appendonly | 是否开启 AOF | 开启后写入需要追加日志,延迟上升,数据丢失窗口缩短 |
appendfsync | AOF 刷盘策略 | always 每条刷盘最安全、延迟最高;everysec 为常用折中;no 交由操作系统回写,损失窗口不可控 |
auto-aof-rewrite-percentage、auto-aof-rewrite-min-size | AOF 重写触发条件 | 重写期间内存与磁盘开销上升,触发过于频繁会持续占用资源 |
stop-writes-on-bgsave-error | 后台保存失败时是否拒绝写入 | 默认拒绝写入,可保护数据但会造成业务写入失败,见 3.7 节 |
rdbcompression、rdbchecksum | RDB 压缩与校验 | 压缩节省磁盘、消耗 CPU;校验增强一致性检测 |
复制相关
| 配置项 | 含义 | 调整影响 |
|---|---|---|
repl-backlog-size | 复制积压缓冲区大小 | 过小会导致从节点短暂断开后无法增量同步,退化为全量同步 |
client-output-buffer-limit replica | 从节点输出缓冲区上限 | 超限会断开与从节点的连接,需与网络带宽匹配 |
repl-diskless-sync、repl-diskless-sync-delay | 无磁盘全量同步 | 避免落盘,但会同时给多个从节点推送数据,需控制并发 |
replica-read-only | 从节点是否只读 | 从节点可写会造成主从数据分歧,除非有明确需求否则保持只读 |
客户端与连接
| 配置项 | 含义 | 调整影响 |
|---|---|---|
maxclients | 最大客户端连接数 | 与文件句柄上限配合设置,达到上限后新连接被拒绝 |
timeout | 空闲连接超时 | 过短会频繁断开连接池中的空闲连接,过长会积累僵尸连接 |
client-output-buffer-limit normal | 普通客户端输出缓冲区上限 | 用于防止慢客户端造成内存增长,超限后连接被关闭 |
tcp-keepalive | TCP 保活探测间隔 | 用于及时发现半开连接 |
timeout 与连接池的配合 | 客户端连接池的空闲回收时间应小于服务端超时 | 避免使用已被服务端关闭的连接导致请求失败 |
慢日志与延迟监控
| 配置项 | 含义 | 取值思路 |
|---|---|---|
slowlog-log-slower-than | 记录阈值(微秒) | 以业务响应时间预算为参照,而非固定默认值 |
slowlog-max-len | 慢日志最大长度 | 保留足够样本并设置定期采集,避免只保留少量条目 |
latency-monitor-threshold | 延迟监控阈值(毫秒) | 用于捕获 fork、命令执行等造成的延迟事件 |
latency-tracking | 客户端延迟统计 | 用于定位具体客户端的延迟来源 |
TCP 与内核参数
Redis 本身暴露的 TCP 参数有限,更多依赖操作系统侧配置:连接队列长度(tcp-backlog)需与内核的 somaxconn 一致;内存超售与页回收策略影响 fork 行为;透明大页会拉长 fork 与内存分配的延迟。内核与网络参数的完整说明参见 linux: 网络 第 2.5 节与第 3.7.7 节,内存相关机制参见 linux: 内存管理 第 2.7 节与第 2.13 节。
2.2 监控指标的含义
| 类别 | 指标 | 含义与判读 |
|---|---|---|
| 内存 | used_memory | 已分配内存,与 maxmemory 的差值决定剩余空间 |
| 内存 | used_memory_rss | 操作系统视角的驻留内存,与 used_memory 的差异反映碎片与页复制开销 |
| 内存 | mem_fragmentation_ratio | 驻留内存与逻辑内存之比,长期高于 1.5 说明碎片明显,低于 1 说明发生 swap |
| 内存 | maxmemory_policy | 当前淘汰策略,需与实际配置一致 |
| 命中 | keyspace_hits、keyspace_misses | 命中率等于命中数除以总请求数,持续下降需结合键数量与数据变更一起判断 |
| 吞吐 | instantaneous_ops_per_sec | 每秒命令数,用于与基线比较 |
| 吞吐 | total_net_input_bytes、total_net_output_bytes | 网络吞吐,大 key 场景下需重点观察输出字节数 |
| 慢命令 | slowlog 条目数与耗时分布 | 记录数增长说明出现复杂度高的命令或大 key 访问 |
| 连接 | connected_clients、rejected_connections | 拒绝数大于 0 说明触达 maxclients 上限,属必须处置项 |
| 连接 | blocked_clients | 阻塞在 BLPOP 等命令上的客户端数量 |
| 键空间 | keys、expires、expired_keys | 键数量与过期键数量的趋势反映 TTL 覆盖程度与淘汰是否正常 |
| 淘汰 | evicted_keys | 持续淘汰说明内存不足,命中率会随之下降 |
| 主从 | master_repl_offset、slave_repl_offset | 两者差值即复制延迟量,需换算为时间 |
| 主从 | master_link_status | 复制链路状态,down 表示从节点已断开 |
| 持久化 | rdb_last_bgsave_status、aof_last_write_status | 非 ok 表示后台保存或 AOF 写入失败,属必须处置项 |
| 持久化 | latest_fork_usec | 最近一次 fork 耗时,直接反映阻塞风险 |
| 持久化 | rdb_changes_since_last_save | 距上次保存的变更量,用于评估恢复点的新旧 |
| 集群 | cluster_state、槽覆盖情况 | ok 表示全部槽有归属且节点达成多数;槽未覆盖时写入失败 |
| 集群 | cluster_known_nodes、节点角色 | 节点数量与角色异常需区分计划内变更与意外故障 |
判读的两条经验:
- 命中率单独看无意义。键被淘汰、数据批量过期、业务查询模式变化都会造成命中率下降,需要与键数量、淘汰计数、数据库 QPS 一起观察;
- 复制延迟要换算为时间。以偏移量差值除以主节点的写入速率得到大致延迟秒数,再与业务可接受窗口比较。
2.3 容量规划
单实例内存上限的经验边界
| 约束 | 影响 |
|---|---|
| fork 耗时与内存成正比 | 内存越大,单次 fork 停顿越长,保存与重写期间的延迟抖动越明显 |
| 故障恢复时间与数据量成正比 | 实例越大,故障后全量同步与重启加载耗时越长,故障窗口越难控制 |
| 单节点带宽与 CPU 上限 | 内存越大通常伴随更高的 QPS,单节点成为瓶颈后无法通过加内存解决 |
工程上的做法是给出单实例内存上限的约定值(常见约定区间为 10GB 至 32GB,具体取值需结合上述三项在本环境中的实测结果确定),超过该值即分片,而不是持续纵向扩容。
数据量与内存开销的关系
实例内存 ≈ 业务数据量 × 类型编码膨胀系数
+ 键与过期字典开销
+ 客户端输出缓冲区
+ 复制缓冲区(AOF 缓冲区、backlog、从节点输出缓冲)
+ 碎片与 fork 期间的页复制峰值
+ 预留余量
规划要点:类型编码决定膨胀系数(小集合使用紧凑编码,元素数量超过阈值后转为哈希表或跳表编码,内存占用会阶跃上升);键本身与过期字典占用与键数量成正比;fork 期间的额外占用与写入速率相关,不能按 0 估算。
分片与垂直扩容的取舍
| 方式 | 收益 | 代价 |
|---|---|---|
| 垂直扩容(提升单机内存) | 无需数据迁移,运维方式不变 | 受 fork 耗时与单节点能力限制,存在上限 |
| 分片(集群或客户端分片) | 突破单节点内存与吞吐上限,故障域缩小 | 需要处理多键操作与事务限制、键到分片的映射变化、集群运维复杂度上升 |
| 读写分离(增加从节点) | 分摊读流量、提供故障切换能力 | 不提升写入能力与内存上限,并引入复制延迟与一致性问题 |
扩容触发点应以“内存水位 + 增长斜率 + 单实例上限约定”三者共同判定,而不是等到内存触顶。容量估算与扩容决策方法参见 linux: 性能测试与基线 第 3.7 节。
2.4 变更风险
参数热更新与重启生效的差别
CONFIG SET 可在线修改部分参数,但需要区分三类:
- 热更新且立即生效:
maxmemory、maxmemory-policy、slowlog-log-slow-than、appendfsync等,修改后需在配置文件中同步落盘,否则重启后回退; - 热更新但只对新对象生效:涉及编码与结构选择的参数只影响后续创建的对象,已存在的键仍按旧规则;
- 必须重启生效:涉及端口、持久化开关、集群模式、协议与数据结构底层的参数。
由此产生的主要风险是运行态配置与配置文件不一致:热修改后未落盘,重启即回退,故障复现时排查依据与现场不符。变更后必须核对运行态与配置文件的差异。
版本升级的主从兼容
升级过程中的风险点:
- 新版本写入的数据结构在旧版本中可能不可读,存在不可降级点;
- 全量同步(
PSYNC、SYNC)的协议与 RDB 版本在跨大版本时可能存在差异; - 升级顺序通常为主节点或从节点先行,需确认复制方向与读写入口的配合方式;
- 升级期间副本重建会造成磁盘、网络与内存的额外开销。
升级前需要明确:能否回退、回退需要哪些介质与配置、新版本写入的数据在旧版本下是否可读。
持久化与复制在变更中的影响
- 修改持久化开关或刷盘策略会立即改变写入延迟与数据丢失窗口,需在低峰执行;
- 修改复制相关参数(backlog 大小、无盘同步)会触发或影响全量同步,进而占用带宽与内存;
- 变更副本数量会触发数据同步,期间故障容忍度下降,且主节点内存会因输出缓冲区而上升;
- 所有涉及重启、切换与副本重建的变更都应安排在业务低峰,并按节点分批执行,流程参见 linux: 变更与发布管理 第 2.1 节。
三、实现
3.1 部署要点
进程部署与内存相关的系统配置
- 内存分配器。使用
jemalloc可降低碎片率,容器镜像与自编译版本需确认实际链接的分配器; - 透明大页(THP)。开启 THP 会增加 fork 与内存分配的延迟,实例部署时通常关闭;关闭方式与大页配置参见 linux: 内存管理 第 3.6 节;
- 超售与页回收。
vm.overcommit_memory设置为1可避免后台保存时的内存分配失败,相关机制参见 linux: 内存管理 第 2.12 节; - swappiness。降低该值可减少换出,但无法替代真实的内存余量;
- 文件句柄。
maxclients、后端连接与持久化文件都需要文件描述符,需同时提高nofile限制; - TCP backlog。
tcp-backlog的生效值受内核somaxconn限制,两者需一致,网络参数含义参见 linux: 网络 第 2.5 节。
# 关键系统参数(写入 /etc/sysctl.d/99-redis.conf 后执行 sysctl --system 生效)
vm.overcommit_memory = 1
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
# 关闭透明大页(按主机实际路径调整)
echo never > /sys/kernel/mm/transparent_hugepage/enabled
# 提高文件句柄上限(服务单元或启动脚本中设置 LimitNOFILE)
# LimitNOFILE=65535
容器化部署的注意点
- cgroup 内存限制要大于
maxmemory。maxmemory只约束数据与缓冲,进程自身内存、fork 期间的页复制、碎片都需要额外空间;两者取值过于接近时,容器会先于淘汰策略触发 OOM 终止; - 持久化目录必须挂载到独立卷。容器内目录随容器销毁而丢失,挂载点需落在独立磁盘上,避免与日志、系统盘争抢 I/O;
- 限制 CPU 会影响 fork 与后台任务。CPU 配额过低会拉长保存与重写耗时,进而拉长写时复制的持续时间;
- 网络模式与端口暴露。集群模式的节点间通信需要可互达的地址与端口范围,需确认容器网络中的节点发现方式;
- 优雅停止。终止前应完成一次持久化或确认已有可用备份,避免直接强杀造成数据丢失。
配置文件示例(片段)
# 内存
maxmemory 16gb
maxmemory-policy allkeys-lru
maxmemory-samples 5
# 持久化
save 900 1
save 300 10
appendonly yes
appendfsync everysec
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 512mb
stop-writes-on-bgsave-error yes
# 复制与客户端
repl-backlog-size 256mb
client-output-buffer-limit replica 512mb 128mb 60
client-output-buffer-limit normal 0 0 0
maxclients 10000
timeout 300
tcp-keepalive 60
tcp-backlog 65535
# 慢日志与延迟
slowlog-log-slower-than 10000
slowlog-max-len 1024
latency-monitor-threshold 100
# 持久化目录
dir /data/redis/6379
配置项的取值需与本实例的角色(缓存或持久化存储)一致:作为缓存使用时可容忍淘汰,作为存储使用时必须关闭淘汰并接受写入失败的保护语义。
3.2 监控与告警落地
指标清单与阈值建议
| 指标 | 告警级别 | 阈值建议 | 持续时间 |
|---|---|---|---|
| 存活探测 | critical | 连续探测失败 | 1 分钟 |
内存水位(used_memory / maxmemory) | critical | 达到 85% | 5 分钟 |
| 内存水位 | warning | 达到 75% | 15 分钟 |
used_memory_rss 接近容器或主机限制 | critical | 达到限制的 90% | 5 分钟 |
| 淘汰数量增速 | warning | 持续出现淘汰 | 10 分钟 |
| 命中率 | warning | 低于基线 20% | 30 分钟 |
| 拒绝连接数 | critical | 大于 0 | 5 分钟 |
| 主从链路状态 | critical | master_link_status 为 down | 2 分钟 |
| 复制延迟 | warning | 超过业务可接受窗口对应偏移量 | 10 分钟 |
| RDB 或 AOF 状态 | critical | 状态非 ok | 5 分钟 |
| fork 耗时 | warning | 超过 500ms | 15 分钟 |
| 慢命令数量 | warning | 单位时间新增超过基线 | 15 分钟 |
| 碎片率 | warning | 高于 1.5 | 30 分钟 |
| 键数量 | warning | 偏离基线 50% 且单向变化 | 30 分钟 |
| 集群状态 | critical | cluster_state 非 ok | 2 分钟 |
| 集群槽覆盖 | critical | 存在未覆盖槽 | 2 分钟 |
阈值需在采集一轮基线后按实际分布调整,基线采集与回归对比方法参见 linux: 性能测试与基线 第 3.4 节与第 3.5 节。
告警分级
沿用主机与服务监控的分级方式:critical 表示服务已不可用或即将不可用,立即通知;warning 表示指标越界但短期不影响服务,汇总通知;info 仅记录;分级与通知路由配置参见 linux: 监控与告警 第 3.3 节,分级与响应要求参见 linux: SLO 与告警设计 第 2.3 节。
Redis 侧需要额外处理两类抑制关系:
- 主从切换或集群故障转移期间,抑制从节点的连接与复制类告警,避免一次切换产生大量衍生告警;
- 计划内的持久化、副本重建与版本升级期间,对相关延迟与内存告警设置静默,窗口结束后确认告警恢复。
与主机侧监控的分工
| 层面 | 关注对象 | 典型指标 |
|---|---|---|
| 主机层 | 进程与资源是否可用 | CPU、内存、磁盘空间与 I/O 延迟、网络带宽、文件句柄 |
| 实例层 | 服务是否健康 | 连接、命令、内存、命中率、持久化、复制、集群状态 |
| 业务层 | 效果是否达标 | 接口响应时间、数据库回源 QPS、缓存命中对应的业务成功率 |
分工的意义在于避免重复告警与漏报:主机内存告警指向资源不足,实例内存告警指向配置与数据增长;主机磁盘 I/O 延迟升高时,需要同时检查实例的 fork 与持久化耗时,二者是同一原因的不同表现。
告警规则示例
groups:
- name: redis-operations
rules:
- alert: RedisMemoryHigh
expr: redis_memory_used_bytes / redis_memory_max_bytes > 0.85
for: 5m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 内存水位超过 85%,淘汰风险升高"
- alert: RedisEvicting
expr: increase(redis_evicted_keys_total[10m]) > 0
for: 10m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 持续发生键淘汰,命中率与业务读延迟需一并核对"
- alert: RedisReplicationDown
expr: redis_master_link_up == 0
for: 2m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 与主节点复制链路断开"
- alert: RedisPersistenceFailed
expr: redis_rdb_last_bgsave_status == 0 or redis_aof_last_write_status == 0
for: 5m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 持久化失败,需确认是否已拒绝写入"
规则上线后需核对三项:指标是否存在、标签是否具备区分度、持续时间是否过滤了瞬时抖动,检查清单参见 linux: SLO 与告警设计 第 3.3 节。
3.3 日常巡检项
告警处理突发故障,巡检发现趋势问题与配置漂移,分工参见 linux: 巡检与健康检查 第 1.3 节,巡检项分类方法参见同文第 2.1 节。
每日巡检项
| 项目 | 判据 |
|---|---|
| 实例存活与角色 | 全部实例可连接,角色与预期一致,无意外切换记录 |
| 内存水位 | used_memory 与 maxmemory 的比值在阈值内,无持续淘汰 |
| 命中率 | 在基线波动范围内,无阶跃下降 |
| 连接数 | connected_clients 在基线范围内,rejected_connections 为 0 |
| 持久化状态 | RDB 与 AOF 状态正常,最近一次保存时间与变更量可接受 |
| fork 耗时 | latest_fork_usec 未超过约定上限 |
| 复制状态 | 复制链路正常,复制延迟在可接受范围内 |
| 集群状态 | cluster_state 为 ok,槽全部覆盖,节点数量与预期一致 |
| 慢日志 | 新增慢命令条目已完成判读,无新的高耗时命令类型 |
| 备份产物 | 备份任务退出码为 0,产物时间戳与大小正常,校验通过 |
| 关键日志 | 无持久化失败、内存分配失败、集群节点失联等错误 |
每周巡检项
| 项目 | 判据 |
|---|---|
| 容量趋势 | 内存与键数量的增长斜率,结合单实例上限约定估算扩容触发点 |
| 大 key 分布 | 大 key 清单与上周对比,新增项需处理 |
| 碎片率趋势 | 单向升高需安排碎片整理或重启窗口 |
| TTL 覆盖 | 无 TTL 键的占比与总量,无 TTL 键不应持续增长 |
| 参数与基线差异 | 运行态配置与配置文件、上次快照比对,无未登记修改 |
| 冷数据与无用键 | 长期未访问的键或无用前缀清单 |
| 权限与账号 | 无新增未登记账号,rename-command 与访问来源限制符合要求 |
| 告警质量 | 无效告警与重复告警占比,阈值是否需要调整 |
巡检脚本要点
#!/usr/bin/env bash
# Redis 日常巡检,只读执行
set -uo pipefail
OUT="/var/log/redis-inspection/redis-inspection-$(date +%Y%m%d-%H%M).log"
mkdir -p "$(dirname "$OUT")"
crit=0
info() { redis-cli -h "$1" -p "$2" INFO "$3" 2>/dev/null; }
while read -r host port; do
[ -z "$host" ] && continue
# 1. 内存水位
mem=$(info "$host" "$port" memory)
used=$(echo "$mem" | awk -F: '/^used_memory:/{print $2}' | tr -d '\r')
max=$(echo "$mem" | awk -F: '/^maxmemory:/{print $2}' | tr -d '\r')
if [ "${max:-0}" -gt 0 ]; then
pct=$(( used * 100 / max ))
if [ "$pct" -ge 85 ]; then
echo "CRIT memory ${host}:${port} used=${pct}% <85%" >>"$OUT"; crit=1
elif [ "$pct" -ge 75 ]; then
echo "WARN memory ${host}:${port} used=${pct}% <75%" >>"$OUT"
else
echo "OK memory ${host}:${port} used=${pct}% <75%" >>"$OUT"
fi
fi
# 2. 持久化状态与 fork 耗时
pers=$(info "$host" "$port" persistence)
rdb=$(echo "$pers" | awk -F: '/^rdb_last_bgsave_status:/{print $2}' | tr -d '\r')
fork=$(echo "$pers" | awk -F: '/^latest_fork_usec:/{print $2}' | tr -d '\r')
if [ "$rdb" != "ok" ]; then
echo "CRIT persistence ${host}:${port} rdb=${rdb} ok" >>"$OUT"; crit=1
else
echo "OK persistence ${host}:${port} rdb=${rdb} ok" >>"$OUT"
fi
if [ "${fork:-0}" -gt 500000 ]; then
echo "WARN fork ${host}:${port} latest_fork_usec=${fork} <500000" >>"$OUT"
fi
# 3. 复制状态
repl=$(info "$host" "$port" replication)
link=$(echo "$repl" | awk -F: '/^master_link_status:/{print $2}' | tr -d '\r')
if [ -n "$link" ] && [ "$link" != "up" ]; then
echo "CRIT replication ${host}:${port} link=${link} up" >>"$OUT"; crit=1
fi
# 4. 连接与拒绝数
cli=$(info "$host" "$port" clients)
rejected=$(echo "$cli" | awk -F: '/^rejected_connections:/{print $2}' | tr -d '\r')
if [ "${rejected:-0}" -gt 0 ]; then
echo "CRIT clients ${host}:${port} rejected=${rejected} 0" >>"$OUT"; crit=1
fi
# 5. 集群状态
if redis-cli -h "$host" -p "$port" cluster info >/dev/null 2>&1; then
state=$(redis-cli -h "$host" -p "$port" cluster info | awk -F: '/^cluster_state:/{print $2}' | tr -d '\r')
if [ "$state" != "ok" ]; then
echo "CRIT cluster ${host}:${port} state=${state} ok" >>"$OUT"; crit=1
else
echo "OK cluster ${host}:${port} state=${state} ok" >>"$OUT"
fi
fi
done < /etc/redis-inspection/instances.conf
echo "SUMMARY crit=${crit} time=$(date -Is)" >>"$OUT"
exit "$crit"
巡检脚本的三条约束:只执行读命令(INFO、CLUSTER INFO、SLOWLOG GET),不执行删除、重写、重启类动作;结构化输出固定字段便于归档比对;结果按日归档并做趋势比对,归档轮转配置参见 linux: logrotate。
3.4 慢查询与性能分析
慢日志配置与判读
# 设置阈值(微秒):仅记录超过 10ms 的命令
redis-cli CONFIG SET slowlog-log-slower-than 10000
redis-cli CONFIG SET slowlog-max-len 1024
# 持久化到配置文件,避免重启后回退
# slowlog-log-slower-than 10000
# slowlog-max-len 1024
redis-cli SLOWLOG GET 10 # 查看最近 10 条
redis-cli SLOWLOG LEN # 当前条数
redis-cli SLOWLOG RESET # 清空(会丢失现场,先导出再清空)
判读要点:
- 记录中关注命令类型与参数规模是否匹配(例如
HGETALL出现在非预期场景说明存在大 key 访问); - 客户端地址可用于定位调用方,结合业务日志确认触发路径;
- 单条命令耗时通常由数据规模决定,若同一命令在大 key 与正常键上耗时差异明显,应先处理数据分布;
- 慢日志只覆盖命令执行时间,不覆盖排队与网络时间,主线程阻塞(fork、内存分配停顿)需通过延迟监控发现。
命令统计与热点命令发现
redis-cli INFO commandstats | sort -t= -k2 -nr | head -n 20
redis-cli --hotkeys # 需 maxmemory-policy 为 LFU 类策略
redis-cli --bigkeys # 采样统计各类型元素数量
redis-cli MEMORY USAGE <key> # 单键内存占用
等待时间与阻塞情况可通过 INFO clients、INFO stats 与客户端埋点结合判断;关注 instantaneous_ops_per_sec 与延迟分位的关系,QPS 不变而延迟上升通常指向阻塞而非负载。
# 延迟监控:查看延时事件类型与分布
redis-cli LATENCY LATEST
redis-cli LATENCY RESET # 采样结束后重置,避免历史事件干扰判断
redis-cli LATENCY DOCTOR
内存分析与大 key 扫描
redis-cli INFO memory # used_memory、used_memory_rss、mem_fragmentation_ratio
redis-cli MEMORY DOCTOR
redis-cli --bigkeys
redis-cli --scan --pattern 'prod:user:profile:*' | wc -l # 按前缀统计键数量(控制执行速率)
大 key 的判定与治理方式属于工程侧内容,扫描结果需要与业务侧的键设计规范比对:元素数量大的集合是否可拆分、是否有未裁剪的列表或流、是否有未设 TTL 的键。
内存碎片处理
# 查看碎片情况
redis-cli INFO memory | grep mem_fragmentation_ratio
# 开启在线碎片整理(可热更新,也可写入配置文件持久化)
redis-cli CONFIG SET activedefrag yes
redis-cli CONFIG SET active-defrag-ignore-bytes 100mb
redis-cli CONFIG SET active-defrag-threshold-lower 10
注意三点:碎片整理会消耗 CPU 与内存,应在低峰开启并观察延迟;碎片率高伴随 used_memory_rss 明显高于 used_memory 时收益最明显;碎片整理不替代容量规划,碎片率持续升高的根因通常是写入模式(大量删除与插入混合、频繁扩容的小集合)。
延迟监控手段
| 手段 | 覆盖范围 | 说明 |
|---|---|---|
LATENCY LATEST / LATENCY DOCTOR | 服务端内部事件(fork、过期、命令执行) | 用于区分慢命令与阻塞 |
| 慢日志 | 命令执行耗时 | 定位具体命令 |
INFO persistence 中的 fork 与保存耗时 | 持久化阻塞 | 与磁盘 I/O 指标联合判断 |
| 主机侧 I/O 与 CPU 指标 | 操作系统层阻塞 | 参考 linux: 页缓存与 IO 性能 中“脏页回写机制”一节 |
| 压测与基线对比 | 性能回归 | 用于确认延迟变化是否来自负载,方法参见 linux: 性能测试与基线 第 3.4 节与第 3.6 节 |
3.5 备份与恢复
备份目标是 RPO 与 RTO 的落地,目标定义与 3-2-1 原则参见 linux: 备份与容灾 第 2.1 节与第 2.2 节。
RDB 与 AOF 的备份策略
| 方式 | 备份动作 | 优点 | 限制 |
|---|---|---|---|
| RDB 文件备份 | 由 BGSAVE 生成快照后复制 dump.rdb | 文件紧凑、恢复速度快、适合按时间点归档 | 两次快照之间的数据会丢失 |
| AOF 文件备份 | 复制 appendonly.aof 及其清单文件 | 数据丢失窗口小 | 文件体积大,恢复需要重放,耗时长 |
| 逻辑导出 | 按键或按业务前缀导出为文本结构 | 可选择性恢复、可跨版本迁移 | 大数据量下耗时长,需控制速率避免影响在线服务 |
| 主从复制 | 从节点作为在线副本 | 可随时切换、延迟低 | 不是备份,误删除与逻辑错误会同步到从节点 |
建议组合方式:以 RDB 快照作为归档基线并按保留策略保存多代,以 AOF 或增量方式补齐 RPO 窗口,同时保留至少一份异机或异地副本。
备份文件校验
# 校验 RDB 文件是否完整可读
redis-check-rdb /data/backup/dump-20260922.rdb
# AOF 文件校验(部分版本提供)
redis-check-aof --aof-file /data/backup/appendonly-20260922.aof
# 归档时计算摘要,恢复前核对
sha256sum /data/backup/dump-20260922.rdb
未经过校验与恢复演练的备份不构成可用备份,这一点与通用备份原则一致。
恢复流程与演练
1. 确认恢复目标:恢复到哪个时间点、恢复到哪个实例或环境
2. 停止目标实例写入,确认业务侧已切换或降级
3. 将备份文件放入持久化目录,确认文件属主与权限与实例运行用户一致
4. 启动实例并观察加载日志:RDB 加载耗时、AOF 重放进度、错误信息
5. 校验数据:键数量、关键业务键存在性、按业务口径抽样比对
6. 恢复读写入口,观察命中率、延迟与错误率
7. 记录实际 RPO 与 RTO,归档恢复过程与差异说明
恢复演练的组织方式与记录模板参见 linux: 备份与容灾 第 3.8 节。演练的判定标准是“能在目标 RTO 内恢复到可用状态并校验通过”,而不是“备份任务执行成功”。
跨环境恢复注意点
- 版本差异:低版本无法加载高版本生成的 RDB 文件,需确认版本兼容或使用逻辑导出方式;
- 配置差异:
maxmemory、淘汰策略、持久化目录与集群模式需按目标环境调整,直接沿用源配置可能造成内存超限或启动失败; - 数据范围差异:跨环境迁移时需确认是否需要脱敏或裁剪,避免把生产全量数据带入测试环境;
- 集群模式差异:单机 RDB 无法直接用于集群实例,需转换或重新分片;
- 时区与时钟:涉及逻辑过期时间、TTL 的数据在时钟不一致的环境下会出现提前或延后过期。
高危:清空持久化文件(删除 dump.rdb、appendonly.aof 或执行 CONFIG SET appendonly no 后删除文件)会使实例在下次重启后变为空实例,且在线数据与已归档备份之间的关系将被破坏。兜底方式:操作前确认异机备份可用并已校验;只在确认要从备份恢复的场景下执行,且执行前停止写入;保留被删除文件的副本直至恢复验证完成。
3.6 升级与迁移
版本升级顺序与验证项
| 阶段 | 动作 | 验证项 |
|---|---|---|
| 升级前 | 备份 RDB 与配置,记录当前版本与参数快照,确认回退介质 | 备份校验通过,回退路径明确,不可降级点已确认 |
| 升级中 | 按从节点到主节点或按分片分批升级,逐个确认复制重建完成 | 节点角色正常,复制链路 up,槽覆盖完整 |
| 升级后 | 核对业务指标与实例指标 | 命中率、延迟分位、命令成功率、复制延迟、持久化状态与升级前比对 |
| 客户端 | 确认客户端库兼容性 | 重连行为、超时与错误处理无变化,连接池未出现异常增长 |
关键约束:复制方向的调整需与读写入口配合,避免从节点升级期间被继续作为读入口;升级窗口与业务低峰对齐。
数据迁移方式
| 方式 | 过程 | 优点 | 限制 |
|---|---|---|---|
| 复制搬迁 | 把新实例设为旧实例的从节点,同步完成后切换读写入口 | 对源实例影响小、可反复重试、可实现较短停写窗口 | 需要源与目标网络可达;全量同步期间源实例内存与带宽开销上升 |
| 导入导出 | 导出 RDB 或逻辑数据后在目标实例加载 | 实现简单、适合跨网络与跨版本 | 需要停写或接受数据滞后;大实例导出与加载耗时较长 |
| 工具搬迁 | 使用迁移工具按键或按槽搬运并校验 | 可分批、可控制速率 | 需要工具与版本兼容,搬迁期间的写入需要额外同步手段 |
迁移期间的双写与校验
迁移的核心难点是“切换瞬间的数据不丢不重”。可选做法:
- 停写迁移。停写窗口内完成同步与切换,实现最简单,代价是业务中断;
- 双写。业务同时写入源与目标实例,校验通过后切换读取并停止写源;双写期间需接受两边短暂不一致,并在切换前做一次全量或增量校验;
- 反向补偿。切换后保留源实例一段时间并记录新写入,用于补差。
- 校验方式:按键抽样比对值、按业务前缀统计键数量、按业务口径核对关键数据总量;抽样比对需覆盖近期写入的热点键与业务关键键。
回滚方案
回滚需要具备三个前提:源实例在切换后未被清空、写入可切回、双写或反向补偿期间的数据可用于对齐。回滚动作本身同样属于变更,需要窗口与验证项。迁移期间不应执行任何清理、重写或副本重建类操作,以免破坏回滚所需的现场。
3.7 故障排查
排障顺序遵循“止损优先、保护数据、保留证据”,通用排障顺序与止损原则参见 linux: 故障案例库 第 2.2 节与第 2.3 节。
内存被写满
现象:写入报错或大量键被淘汰,命中率下降,业务回源 QPS 上升。
处置顺序:
- 确认当前策略与水位:
INFO memory、CONFIG GET maxmemory、CONFIG GET maxmemory-policy; - 区分“淘汰型写满”与“拒绝型写满”:
evicted_keys增长为前者,写入报错为后者; - 定位增长来源:键数量是否暴涨、是否存在无 TTL 的键、是否有大 key、客户端缓冲区与复制缓冲区是否异常增长;
- 止损手段:削减非关键缓存数据、缩短 TTL、扩容分片、临时放宽
maxmemory; - 记录并处理后,重新评估容量与淘汰策略。
高危:为释放内存而批量删除键或执行 FLUSHDB、FLUSHALL 会造成命中率骤降并可能击穿数据库。兜底方式:优先按业务前缀分批删除并限制速率,在业务低峰执行;确认被删数据可从权威数据源重建;删除前确认数据库容量并准备限流。
持久化失败导致写入被拒
现象:写入返回错误,日志中出现后台保存失败或 AOF 写入失败,rdb_last_bgsave_status 或 aof_last_write_status 非 ok。
原因通常是磁盘空间不足、磁盘只读、权限变化或持久化目录被挂载点覆盖。处置顺序:先确认磁盘空间与挂载状态(参考磁盘写满与文件系统只读案例的处理方式,见 linux: 故障案例库 第 3.1 节与第 3.3 节),再恢复写入能力,最后确认数据丢失窗口。
高危:把 stop-writes-on-bgsave-error 改为 no 只是解除写入限制,并不会修复持久化失败,会扩大数据丢失窗口。兜底方式:仅在已确认磁盘问题可在短时间内修复、且业务写入不可中断时临时调整,并同步安排持久化恢复与一次完整备份;不能作为长期状态保留。
主从全量同步反复
现象:从节点不断触发全量同步,主节点磁盘、网络与内存开销周期性升高。
常见原因与判断:
repl-backlog-size过小,从节点短暂断开后无法增量同步;- 从节点输出缓冲区超限被主节点断开,检查
client-output-buffer-limit replica与网络带宽; - 主节点写入量突增,从节点处理不及;
- 实例内存大导致 RDB 生成与传输耗时长,期间再次断开;
- 网络不稳定或存在短时丢包。
处置:先保证带宽与缓冲区配置匹配,再考虑调大 backlog、使用无盘同步并控制并发;反复失败时核对从节点的磁盘 I/O 与 CPU 是否饱和。
高危:在主从链路异常期间执行主从切换(REPLICAOF、故障转移命令)会造成数据回退或数据分歧。兜底方式:切换前核对从节点的复制偏移量与主节点是否接近、确认业务可接受的数据回退范围;保留原主节点数据目录直至新主稳定运行并完成对账,切换演练方法参见 linux: 高可用与集群 第 3.5 节。
集群节点失联
现象:cluster_state 非 ok、槽未覆盖、部分键访问失败、客户端出现重定向错误。
处置顺序:
- 确认失联节点是计划内维护还是意外故障,核对变更记录;
- 核对节点数量与多数派状态:多数派不满足时槽不可用,写入会被拒绝;
- 定位原因:进程终止、网络隔离、端口与防火墙变更、内存不足被 OOM 终止;
- 恢复节点并观察槽迁移与复制重建进度,期间避免同时执行其他高开销变更。
连接数暴涨
常见原因:客户端未复用连接、连接池配置过大、容器重建后连接未释放、故障重连风暴、空闲连接未被超时回收。
判断与处置:区分连接数与业务 QPS 的关系(QPS 平稳而连接数上升指向连接泄漏);按客户端地址与账号聚类定位来源;服务端通过 maxclients、timeout 与访问来源限制兜底,同时确认文件句柄上限(文件描述符耗尽的排查方式见 linux: 故障案例库 第 3.5 节);最终需要客户端侧修复连接复用与池配置。
延迟抖动
现象:QPS 未明显变化但响应时间分位升高,或周期性出现尖刺。
排查顺序:
- 检查持久化与复制事件:保存、重写、fork 耗时是否与抖动时间吻合;
- 检查慢日志与延迟监控,确认是否为命令层面问题;
- 检查主机侧资源:CPU 抢占、内存回收、swap、磁盘 I/O 延迟、网络重传;
- 检查是否存在大 key 访问或 Lua 脚本长耗时;
- 检查是否与容器 CPU 配额、内存限制相关。
键被意外批量删除的取证与恢复顺序
排障的第一动作是保留证据,而不是立即恢复,证据保留要求参见 linux: 故障案例库 第 2.4 节。
1. 停止进一步写入或变更,避免覆盖现场
2. 采集现场:INFO all、CONFIG GET 快照、CLIENT LIST、SLOWLOG GET 全量、键数量与关键前缀统计
3. 确认删除来源:客户端地址与命令(由慢日志或审计与命令留痕确认)、是否有定时任务或运维脚本执行
4. 确认影响范围:受影响的前缀、键数量、业务影响面
5. 选择恢复方式:从 RDB 或 AOF 备份恢复到隔离实例并只回补受影响键;或由业务按数据源重建缓存
6. 恢复后核对:键数量、关键键存在性、命中率、业务口径抽样比对
恢复顺序上遵循“先恢复只读可用性、再补齐数据、最后复盘追责”的原则:缓存数据通常可重建,优先恢复业务读路径,避免为追求数据完整而延长业务不可用时间。
3.8 变更与合规
参数与结构变更的评审要点
| 变更类型 | 评审要点 |
|---|---|
| 内存与淘汰策略 | 影响命中率与写入行为,需评估数据是否可丢、是否需要保留无 TTL 的数据 |
| 持久化开关与刷盘策略 | 影响数据丢失窗口与写入延迟,需明确 RPO |
| 复制参数与副本数量 | 触发同步或重建,影响带宽、内存与故障容忍度 |
| 客户端连接参数 | 影响连接复用与故障时的重连行为,需与客户端配置同步调整 |
| 数据结构与键设计 | 影响内存占用、键数量与大 key 风险 |
| 版本升级 | 影响兼容性与回退路径,需明确不可降级点 |
变更管理要求(分级、窗口、可逆性设计、灰度与回滚)参见 linux: 变更与发布管理 第 2.3 节与第 3.1 节。
高危:参数热改(CONFIG SET)在大范围修改内存、持久化或复制相关参数时,会立即改变运行行为且可能触发保存、淘汰或同步。兜底方式:变更前导出完整参数快照(CONFIG GET *);修改前确认该参数是热生效还是需重启;修改后立即写入配置文件避免重启回退;一次只改一项并观察一个完整的监控周期,异常时用快照回退。
审计与命令留痕
- 敏感命令禁用或重命名(如
FLUSHALL、FLUSHDB、KEYS、CONFIG、DEBUG),依据权限模型与职责分离原则控制,参见 linux: 合规与审计 第 2.3 节; - 管理操作通过统一入口执行并留痕:谁、何时、对哪个实例、执行了什么命令、结果如何,操作留痕方式参见同文第 3.3 节;
- 会话级命令记录:可用
MONITOR短时抓取,或由代理层记录命令日志;MONITOR开销大,仅用于短时排障与审计取证; - 变更记录与参数快照、备份产物一并归档,形成可回溯的证据链,审计三要素与证据链要求参见同文第 2.2 节;
- 定期核对账号清单、访问来源与权限范围,避免权限长期放宽后无人回收。
四、总结
- Redis 的运维约束来自三条性质:内存是硬上限、命令执行串行导致慢命令影响全局、持久化与复制会引入额外的内存与 I/O 开销
- 关键配置项彼此关联:内存与淘汰策略决定写入行为,持久化与刷盘策略决定数据丢失窗口,复制缓冲与客户端缓冲决定内存的隐性占用
- 监控围绕内存、命中、吞吐、慢命令、连接、键空间、复制、持久化与集群状态九类指标构建,命中率与复制延迟都必须结合其他指标换算后才能判读
- 容量规划以单实例内存上限约定为核心,同时计入编码膨胀、缓冲区、碎片与 fork 期间的页复制峰值;扩容触发点由水位、增长斜率与实测上限共同决定
- 变更风险集中在参数热更新与配置文件不一致、版本升级的不可降级点、以及持久化与复制变更对资源的连带影响,热改后必须同步落盘并核对差异
- 部署阶段需确认内存分配器、透明大页、内存超售、文件句柄与 TCP backlog,容器化部署时 cgroup 内存限制必须大于
maxmemory - 监控与主机侧监控分工明确:主机层看资源可用性,实例层看服务健康,业务层看效果;告警需处理切换与计划变更期间的抑制关系
- 巡检只读执行并归档比对,日常看状态与水位,每周看趋势、大 key、TTL 覆盖与配置漂移
- 性能分析依靠慢日志、命令统计、延迟监控与大 key 扫描四条线索,碎片整理解决碎片但替代不了容量规划
- 备份必须与恢复演练绑定,RDB 用于归档基线、AOF 缩短丢失窗口、从节点不是备份;跨环境恢复需核对版本、配置、数据范围与时钟
- 升级与迁移的关键是回退路径与切换瞬间的数据不丢不重,迁移期间禁止执行清理与重建类操作以保留现场
- 故障处置遵循先止损、再保护数据、后定位的顺序,内存写满、持久化失败、全量同步反复、集群失联、连接暴涨与延迟抖动各有明确的排查入口
- 键被意外批量删除时先取证再恢复,缓存数据可重建时应优先恢复业务读路径,而不是延长业务不可用时间
- 参数与结构变更需评审、留痕与快照,
FLUSHALL、FLUSHDB、批量删除、主从切换、参数热改、数据迁移与清空持久化文件均属高危操作,必须给出回滚或兜底方式