内容总览
一、起源
缓存不是先有产品、后有场景的技术,而是被数据源在读取路径上的固有成本逼出来的解法。理解它为什么出现,比记住它有哪些组件更重要。
1.1 数据库成为瓶颈的三类现象
单实例数据库在链路简单、流量平稳时工作良好,但读请求的规模增长会以三种方式把压力集中到数据库上。
- 读放大
- 同一条数据在一次业务流程中被多次读取:列表页渲染、循环内查询、关联对象的逐条加载,都会把一次业务请求放大成多次查询。
- 数据库每次查询都要经过解析、优化、执行、结果封装与网络传输;即使数据命中数据库自身的缓冲池,计算与传输的开销依然存在。
- 读放大使连接数、CPU 与网络带宽成为最先被耗尽的资源,而磁盘 IO 可能仍有余量。
- 放大倍数随代码结构与业务复杂度变化,难以通过单次压测穷举,因此容量规划容易失真。
- 热点数据的重复计算
- 少量数据被高频访问:首页配置、排行榜、商品详情、字典表,其访问量在整个数据集中占比很低,却承担了大部分请求。
- 计算结果所需的成本是固定的:多表关联、聚合、排序、权限过滤,每次访问都重新执行一次,等于把固定成本乘以访问次数。
- 热点分布随时间变化且不均匀:促销、突发事件会把原本普通的键瞬间推成热点,静态扩容无法跟随这种变化。
- 并发峰值
- 峰值流量在短时间内集中到达(秒杀开售、定时任务集中触发、上游重试风暴),数据库的处理能力由最慢环节决定,通常是磁盘 IO、锁竞争与连接数。
- 数据库不像无状态服务那样可以随意增加实例:扩容涉及数据分布与复制一致性约束,主从复制可以分担读流量,但同时引入了延迟与一致性权衡,机制见 mysql: 主从同步原理。
- 按峰值配置的容量在峰值过后长期闲置,资源利用率偏低;按均值配置则在峰值时不可用。
1.2 缓存的收益来源
缓存的收益并非来自"用了某个组件",而是来自两个可以量化的来源:存储介质之间的访问延迟差异,以及数据访问的局部性。
- 访问延迟差异
- 内存访问在纳秒量级,机械磁盘在毫秒量级,两者相差数个数量级;速度差距的量化关系与页缓存的设计动机见 linux: 页缓存与 IO 性能。
- 把数据放在更近的位置同样能减少网络往返与序列化开销,因此收益不只来自介质差异,也来自路径长度。
- 单次请求耗时下降会缩短连接与线程的占用时间,同一份连接资源可以服务更多请求,收益会在并发场景中被放大。
- 局部性原理
- 时间局部性:近期被访问的内容,短期内大概率被再次访问,这是缓存命中率能够成立的前提。
- 空间局部性:某条数据被访问后,其相邻数据(同一列表、同一批商品、同一页结果)大概率被连续访问,这是批量缓存与预热的依据。
- 局部性来自业务访问模式而非数据本身,因此命中率会随业务分布变化,需要作为运行指标持续观测。
- 局部性与淘汰策略的机制说明见 linux: 内存管理 中关于局部性与 LRU 双链表的章节。
- 容量成本的换算
- 缓存把读流量从数据库转移到内存,数据库只需按写流量与未命中部分规划容量,而内存的扩容成本高于磁盘但低于提升数据库整体吞吐。
- 收益的上限由"可被缓存覆盖的读请求比例"决定:命中率越高,数据库承接的读请求越少。
1.3 引入缓存后的新增代价
缓存把一部分读取成本换成了四类新的问题。这些问题不会因为使用了成熟的缓存组件而消失,只能被设计手段约束。
- 一致性问题
- 同一份数据同时存在于缓存与数据库两处,任何一次写入都必须决定更新顺序,两种存储之间无法构成原子操作。
- 缓存通常不提供与数据库事务的联动,因此写入路径上必然存在一段时间的不一致窗口,窗口的长度由更新顺序与并发交错决定。
- 存在多个写入方(其他服务、批量任务、人工改库)时,遗漏失效路径比更新顺序问题更常见。
- 失效与穿透
- 缓存依赖过期或主动删除来维持新鲜度,失效策略不当会表现为持续回源、批量失效或在错误的时刻失效。
- 查询不存在的数据无法被缓存命中,正常请求与恶意构造的请求都会直接落到数据库。
- 热点键在失效瞬间会引发并发回源,键越热、并发越高,回源峰值越集中。
- 内存成本与运维复杂度
- 缓存数据全部驻留内存,容量以内存计价,容量规划直接影响成本;同时内存到达上限后的淘汰行为会改变命中率。
- 需要额外维护缓存集群的部署、扩容、故障转移、版本升级与监控,故障域从"应用 + 数据库"扩展为三部分。
- 故障放大
- 缓存层不可用时,原本被挡住的全部读流量会瞬间回落到数据库,数据库承受的负载可能远超其峰值容量。
- 缓存中的错误数据会被放大到所有读该键的下游,错误的影响范围与命中率成正比。
- 命中率下降往往是台阶式的而非缓慢恶化,因此需要熔断、降级与限流作为兜底,而非仅靠扩容。
二、原理
本节讨论与具体产品无关的通用机制:缓存的位置与命中范围、读写模式、失效策略、一致性、三类典型故障、热点与大 key、命中率与容量。具体产品的数据结构、命令与集群形态不在此展开。
2.1 缓存的分层与位置
缓存不是某一个组件,而是一组按"距调用方的距离"排列的层。每一层的命中范围不同,失效难度也不同。
| 层级 | 命中范围 | 数据来源 | 失效难度 | 典型内容 |
|---|---|---|---|---|
| 客户端缓存 | 单个终端设备 | 本地存储与内存 | 高,服务端无法可靠下达失效命令 | 静态资源、少量列表数据、接口结果 |
| CDN / 边缘缓存 | 某个地域或运营商 | 回源到网关或源站 | 中,刷新需要传播时间 | 图片、脚本、可公开的静态响应 |
| 网关与反向代理缓存 | 单个节点上的全部后端实例 | 代理到应用实例 | 中,按节点逐个失效 | 可缓存的读接口结果、页面片段 |
| 应用进程内缓存 | 单个应用实例 | 本进程内存 | 高,多实例无法同时清理 | 配置、字典、热点小对象 |
| 分布式缓存 | 全集群共享 | 数据源或由应用回填 | 低,可集中失效 | 会话、热点业务数据、计算结果 |
| 数据库自身缓存 | 数据库实例 | 磁盘数据页 | 不由应用控制,随数据变更自动失效 | 数据页、索引页、查询结果 |
- 客户端缓存
- 由 HTTP 缓存语义(过期时间、校验标识)或客户端框架控制,命中时不需要任何网络请求,延迟最低。
- 服务端无法保证失效命令被立即执行,因此只适合可容忍短暂陈旧的数据,通常用较短的过期时间配合校验机制。
- CDN 与边缘缓存
- 命中范围是地域与运营商,适合静态资源与不包含用户私有数据的响应。
- 失效通过刷新与预热完成,刷新在全网传播存在延迟,因此需要为内容设计可版本化的访问路径(路径变更即失效)。
- 网关与反向代理缓存
- 命中范围是该节点后面的全部应用实例,能显著降低应用层的请求量。
- 缓存键必须包含影响结果的全部维度(租户、语言、权限范围、区域),维度遗漏会把不同用户的结果混在一起。
- 与鉴权、路由逻辑耦合,缓存命中时必须跳过或正确复现鉴权判断。
- 应用进程内缓存
- 访问不经过网络,延迟最低,适合变更频率极低且体积较小的数据。
- 多实例各持一份,无法被其它实例主动清理,因此只适合"变更后可容忍一段时间陈旧"的数据,或通过版本号让旧值在读取时被识别出来。
- 进程重启会全部丢失,需要保证冷启动阶段能够承受短时的加载压力。
- 分布式缓存
- 命中范围覆盖全集群,失效可集中管理,是本文主要讨论的层;Redis 是这一层的常见实现之一。
- 代价是一次网络往返,以及一个额外的运维对象(集群部署、扩容、故障转移、监控)。
- 数据库自身缓存
- 数据库缓冲池缓存数据页与索引页,属于数据库进程内的页缓存,应用无需感知,容量由参数控制,例如 InnoDB 的缓冲池容量与分片参数见 mysql: 关于 MySQL 服务配置 中的应用配置示例。
- 缓冲池与页缓存共享同一套思路:以内存缓存更慢存储上的数据页,依赖访问局部性与近似的 LRU 淘汰,区别在于缓冲池由数据库进程自行管理,而页缓存由操作系统统一管理;两者与 LRU 回收的机制说明见 linux: 页缓存与 IO 性能 与 linux: 内存管理。
- 部分数据库曾提供按 SQL 文本缓存结果集的查询缓存,由于任何一张表的写入都会使相关结果全部失效、失效粒度太粗,在多数版本中已被移除。
各层的位置关系可以用一个简化视图表示:
[ 客户端:浏览器 / App ] 本地缓存,延迟最低,服务端不可控
|
v
[ CDN / 边缘节点 ] 地域级缓存,刷新有传播延迟
|
v
[ 网关 / 反向代理 ] 节点级缓存,键需覆盖全部结果维度
|
v
[ 应用实例 ] <-- 进程内缓存 每实例各一份,无法集中失效
|
v
[ 分布式缓存集群 ] 全集群共享,可集中失效,一次网络往返
|
v
[ 数据库 ] <-- Buffer Pool 数据页缓存,随数据变更自动失效
- 分层的取舍规律是:越靠近调用方的层延迟越低、命中范围越小、失效越难统一;越靠近数据源的层命中范围越大、失效越容易、延迟越高。
- 因此常见的组合是"近端短过期 + 远端长过期",用近端较短的过期时间弥补它无法被主动失效的缺陷。
- 层数增加会同时增加一致性的维护面:每一层都需要各自的失效策略,任何一层遗漏都会表现为"看起来已经改过,读到的还是旧值"。
2.2 缓存模式
缓存模式描述的是读路径与写路径的动作顺序,以及缓存本身承担多少职责。四种常见模式如下。
| 模式 | 读路径动作 | 写路径动作 | 一致性表现 | 复杂度 | 适用场景 |
|---|---|---|---|---|---|
| Cache-Aside(旁路缓存) | 先查缓存,未命中则查数据源并回填 | 更新数据源后删除缓存 | 存在短暂不一致窗口,收敛依赖删除与过期时间 | 低,由应用两侧维护 | 绝大多数读多写少场景 |
| Read-Through(读穿透) | 应用只访问缓存,未命中由缓存组件回源并回填 | 不覆盖 | 读路径行为统一,写路径仍由应用与数据源负责 | 中,需缓存组件理解数据源 | 读逻辑需要统一管理的场景 |
| Write-Through(写穿透) | 同 Read-Through | 写入缓存的同时同步写入数据源,返回时两侧均已更新 | 读路径不会读到尚未落库的数据 | 中高,写入延迟由较慢一侧决定 | 对读后立即一致有要求、写入量可控的场景 |
| Write-Behind(回写) | 同 Read-Through | 只写入缓存即返回,由缓存异步批量回写数据源 | 最弱,回写前数据只存在于缓存 | 高,需处理回写失败与顺序 | 计数、埋点等高频写且可容忍丢失的场景 |
- Cache-Aside
- 缓存不参与数据源写入,由应用负责"未命中回源并回填"与"写入后删除"两件事。
- 写路径推荐"先更新数据源,再删除缓存",原因见 2.4 节。
- 主要风险来自遗漏:新增写入路径时忘记删除缓存,或删除调用失败后旧值继续驻留。
- 因此必须配合兜底过期时间,让所有的遗漏最终都能收敛。
- Read-Through
- 把"未命中回源"的加载逻辑收敛到缓存组件或统一的数据访问层,业务代码只与缓存交互。
- 收益是读路径不会出现各写各的回源逻辑,代价是缓存层必须理解数据源的加载方式,跨服务或跨语言时适配成本较高。
- Write-Through
- 写入缓存与写入数据源同步完成,读路径不会读到尚未落库的数据,一致性强于 Cache-Aside。
- 写入延迟由两侧较慢的一方决定;数据源写入失败时缓存中的新值必须被回退,否则会出现"缓存有、数据源无"。
- Write-Behind
- 写入只落到缓存即返回,回写由缓存异步合并执行,写入延迟最低且可合并多次写。
- 缓存故障会丢失尚未回写的写入,属于四种模式中一致性最弱的一种,仅适用于可容忍丢失的计数、统计类数据。
Cache-Aside 的读写路径可以用一个简化视图表示:
读路径
应用 --查询--> 缓存 --命中--> 返回结果
|
未命中
v
数据源查询 --> 回填缓存 --> 返回结果
写路径
应用 --写入--> 数据源 --成功--> 删除缓存
|
删除失败
v
记录待补偿任务 / 等待兜底过期时间
- 四种模式不是互斥选项,同一系统内不同数据可以采用不同模式:核心写入用 Cache-Aside,配置类读取用 Read-Through,统计计数用 Write-Behind。
- 选择的关键在于"数据源与缓存哪一侧是权威":以数据源为权威时选 Cache-Aside 或 Write-Through;以缓存为权威、数据源仅作为持久化落点时选 Write-Behind。
2.3 更新与失效策略
失效策略决定缓存数据的新鲜度,也决定回源压力在时间上的分布。
2.3.1 设置过期时间
- 过期时间取值的四个依据:
- 业务可容忍的陈旧时间:配置类数据可以容忍分钟级陈旧,价格、库存等数据通常要求秒级。
- 数据变更频率:变更越频繁,同样的过期时间下读到旧值的概率越高。
- 回源成本:回源一次的成本越高(多表关联、外部调用),过期时间越应放长。
- 并发规模:同一时刻的并发越高,过期瞬间的集中回源越严重。
- 过期时间的随机化:
- 同一批键若被同时写入且过期时间相同,会在同一时刻集体失效,把回源压力集中到一个时间点,形成雪崩的必要条件(见 2.7 节)。
- 做法是在基准值上叠加随机抖动,使失效时间在区间内散布;抖动的幅度可按基准值的比例设置。
- 随机化只解决"同时失效",不解决单个热点键在失效瞬间的并发回源(见 2.6 节)。
- 兜底过期时间:
- 即使采用主动删除或事件驱动失效,每个键仍应设置一个较长的过期时间,用于在删除消息丢失、订阅链路中断等情况下兜底。
- 兜底过期时间的长度应不小于业务可容忍的最长陈旧时间,否则兜底本身会成为一致性问题。
在基准过期时间上叠加抖动的示例:
// 同一批写入的键若过期时间完全一致,会在同一时刻集中失效
// 在基准值上叠加抖动,使失效时刻在区间内散布
public long ttlWithJitterSeconds(long baseSeconds, double ratio) {
long jitterRange = (long) (baseSeconds * ratio); // ratio 例如 0.2
long jitter = ThreadLocalRandom.current().nextLong(jitterRange + 1);
return baseSeconds + jitter;
}
2.3.2 主动删除与更新
- 删除优先于更新:
- 删除是幂等操作,重复执行不产生额外影响;更新在并发或乱序执行时可能把旧的中间值写入缓存。
- 删除不会把未经校验的数据写入缓存,键缺失时由回源路径重新加载,数据的来源始终唯一。
- 因此绝大多数场景采用"写入数据源后删除缓存",而不采用"写入数据源后更新缓存"。
- 更新缓存的适用情形:
- 缓存内容与数据源记录不是一一对应(聚合结果、多条记录拼接)时,一次删除无法精确失效,需要重新计算并写回。
- 回源成本极高且该数据的写入方只有本系统时,可以更新缓存以避免大范围回源,但必须配合版本号比较,避免旧值覆盖新值。
- 删除失败的处理:
- 删除失败(网络抖动、缓存不可用、超时)会让旧值一直驻留到过期时间到达,因此兜底过期时间是必要条件而非可选优化。
- 对一致性要求较高的数据,删除失败应进入重试队列或记录为待补偿任务,并纳入监控;重试与补偿的通用思路可参考 消息可靠性与幂等设计。
- 删除的粒度:
- 一次写入可能影响多个键(列表页、聚合结果、多个维度的组合),删除时需要覆盖全部派生键,遗漏会表现为"部分页面已更新、部分未更新"。
- 无法枚举派生键时,应改为按前缀或按版本号整体失效。
2.3.3 事件驱动失效
- 做法:由数据源的变更日志(二进制日志、变更数据流)驱动失效,而不是由业务代码在写入后调用删除。
- 优点:
- 失效与业务代码解耦,能覆盖全部写入路径,包括其他服务写入、批量任务与人工改库。
- 删除动作按日志位点顺序执行,天然与数据变更顺序一致。
- 业务代码不需要在写入路径上承担缓存逻辑,写入路径的故障面更小。
- 代价与约束:
- 引入日志采集与消息投递两个环节,失效存在延迟,延迟取决于日志链路与消费速率。
- 消息可能重复投递,消费端必须幂等;删除本身幂等,因此这一环节的幂等成本较低。
- 日志链路的可靠性成为一致性的一部分,其滞后与断流需要监控,处理方式与消息消费的滞后类似,可对照 mysql: 主从同步原理 中关于位点推进与延迟的讨论。
- 日志格式决定可行性:只有记录行级变更的日志格式才能还原出需要删除的键;仅记录原始语句的格式在函数、随机值等场景下难以确定影响范围。
2.3.4 版本号与逻辑过期
- 版本号:
- 在缓存值中携带版本字段(或把版本写入键名),读取时比对当前期望版本,不匹配则视为未命中并回源。
- 适合"一次写入影响多个键"的场景:只提升版本号即可让同一批旧数据整体失效,无需逐个枚举删除。
- 代价是版本来源需要集中管理(配置中心、数据库中的版本行),版本读取本身也要避免成为新的瓶颈。
- 逻辑过期:
- 缓存值中保存逻辑过期时间,物理上不设置过期时间或设置很长的过期时间;读到逻辑过期的数据时不阻塞返回旧值,同时触发异步刷新。
- 收益是热点键在逻辑过期时不会出现请求集中回源,读路径始终保持低延迟。
- 代价是在异步刷新完成前读到的是旧值,对不一致的容忍度要求更高;异步刷新任务需要去重(同一键只需一个刷新者)与失败重试,刷新失败时旧值会长期驻留,必须对刷新任务的失败与延迟告警。
- 两种手段的共同点是把"失效"从"删除键"改为"标记不可用"或"改变读取判定",从而避免大量请求在同一时刻落到数据源。
2.4 缓存与数据库一致性
只要数据存放在两处,"谁先写、谁后写"就决定了不一致窗口的形状与长度。
2.4.1 四种更新顺序
| 顺序 | 动作 | 不一致窗口 | 说明 |
|---|---|---|---|
| 先更新数据库,再删除缓存 | 写入数据源成功后再删除 | 极短,仅覆盖删除前的瞬间 | Cache-Aside 的推荐顺序;长期不一致需要"读回填与删缓存的交错"同时发生 |
| 先删除缓存,再更新数据库 | 先失效缓存,再提交数据源写入 | 较长,覆盖整个数据源写入与提交过程 | 删除后至提交前的读请求会把旧值重新加载回缓存,并在写入完成后继续使用,四种组合中窗口最长 |
| 先更新数据库,再更新缓存 | 写入数据源后把新值写入缓存 | 由并发写决定,可能长期停留旧值 | 两个并发写的提交顺序与缓存写入顺序可能相反,缓存最终停留先提交的旧值,且无法通过重试纠正 |
| 先更新缓存,再更新数据库 | 先改缓存,再写数据源 | 由数据源写入是否成功决定 | 数据源写入失败时缓存中已是新值,读路径会持续读到不存在的数据 |
- 结论是优先选择"先更新数据库,再删除缓存":它把不可逆的动作放在数据源一侧,缓存侧只做删除,任何删除遗漏都能由过期时间收敛。
- "先删除缓存,再更新数据库"在写少读多的场景中看似简单,实际窗口最长,应避免作为默认方案。
- "更新缓存"只有在无法用一次删除精确失效派生键时才使用,并且必须配合版本比较或重新计算后写回。
- 不一致窗口的存在不意味着问题必然出现,但意味着需要明确该窗口内读到旧值是否可被业务接受,并将窗口长度写成具体数值。
2.4.2 延迟双删
- 做法:更新数据源前先删除一次缓存,数据源更新提交后延迟一段时间再次删除。
- 目的:覆盖"第一次删除后、数据源提交前读请求回填旧值"的窗口,让第二次删除把回填的旧值清掉。
- 代价与限制:
- 延迟时长需要大于"一次读请求回源并回填的最长耗时 + 数据源主从延迟",取值只能估计,无法证明覆盖全部交错。
- 第二次删除通常是异步动作,进程重启或任务丢失即失效,因此仍需要兜底过期时间。
- 写并发高时,双删会增加缓存删除压力,且只是缩小窗口出现的概率,并不消除窗口。
- 适用条件:读写并发不高、可容忍主从延迟、且不具备订阅变更日志能力(见 2.3.3 节)的系统。
2.4.3 基于变更日志的最终一致
- 做法:以数据源的变更日志作为唯一的失效来源(见 2.3.3 节),缓存侧只执行删除,不执行写入。
- 特点:
- 一致性级别为最终一致,收敛时间取决于日志链路与消费的延迟。
- 覆盖所有写入路径,不依赖业务代码的执行顺序,这是它相对延迟双删的主要优势。
- 需要把日志链路的滞后与失败当作一致性的一部分来监控,把"滞后超过阈值"作为故障而非正常波动处理。
- 与跨服务一致性的关系:日志驱动的失效与"本地消息表 + 对账补偿"属于同一类思路——以可靠的事件流把两侧数据收敛到一致,只是失效的载体是变更日志而不是业务消息;相关方案谱系与边界见 消息一致性:事务消息与最终一致性。
- 兜底:变更日志链路中断期间,缓存会停留在旧值,因此过期时间仍不可省略。
2.4.4 强一致场景的取舍
- 缓存不提供跨存储的事务,因此要求强一致时只有两条可行路径:
- 不使用缓存:读路径直接访问数据源,通过索引、只读副本、连接池与查询优化解决读取压力;实现简单且语义明确。
- 读写串行化:把同一份数据的读写路由到同一串行通道(按业务键路由到固定分片或固定执行队列),使缓存与数据源的更新在同一顺序中执行;代价是吞吐上限下降与实现复杂度显著上升,且需要处理通道内单个处理单元故障时的接管。
- 折中做法:允许短暂不一致,但限制不一致的暴露范围,把字段按敏感度分层——展示类字段走缓存,判定类字段(余额是否足够、库存是否可扣)不走缓存或在数据源侧完成原子判断。
- 判定依据是业务能否为该字段定义不一致窗口的上限:能定义则可缓存,不能定义则应把该字段的读写都放在数据源侧。
2.4.5 不一致的表达与观测
- 一致性目标应写成具体时长与范围,例如"写入后 1 秒内任一路径读到新值",并把它作为设计与监控的目标,而不是笼统的"最终一致";以时间窗口表达目标的方式可参考 linux: SLO 与告警治理 中关于指标与目标值的定义。
- 观测手段:
- 抽样比对:写入后按时间窗口抽样,比较缓存值与数据源的值,统计不一致比例与收敛时间分布。
- 失效链路观测:统计删除失败次数、变更日志滞后、失效任务的堆积量。
- 回源观测:未命中率与回源量的异常上升往往是失效异常的第一个信号。
- 需要注意读路径的数据来源:若读请求访问的是只读副本,主从延迟本身会造成"数据源已更新但读到旧值",其表现与缓存不一致相同,定位时需要先区分来源。
2.5 缓存穿透
缓存穿透指请求的键在缓存与数据源中都不存在,缓存无法拦截这类请求,每次都会落到数据源。
- 成因
- 查询不存在的数据:业务上合法的查询(比如按一个已删除的标识查询)在数据源中没有结果,缓存也不会留下记录。
- 恶意请求:构造大量不存在的键(随机标识、负数标识、超长字符串),绕过缓存直接压向数据源。
- 参数未校验:非法参数直接进入查询路径,既无法命中缓存,也可能触发代价更高的执行计划。
- 四种应对
| 手段 | 做法 | 拦截位置 | 副作用 |
|---|---|---|---|
| 空值缓存 + 短过期时间 | 查询结果为空时也写入缓存,过期时间设得比正常数据短 | 缓存层 | 占用额外内存;键被合法创建后存在短暂读到"空"的窗口;需要区分"业务空值"与"不存在" |
| 布隆过滤器 | 写入数据时登记,查询前判断"可能存在"或"一定不存在",一定不存在时直接返回 | 缓存之前 | 存在误判(将不存在判为可能存在)但不会漏判;普通实现不支持删除,需要计数型变体;与数据写入的同步与重建存在空窗 |
| 参数校验 | 在入口校验标识的格式、范围与长度,非法请求在进入查询路径前拒绝 | 应用入口 | 只能拦截格式非法的请求,对格式合法但不存在的键无效 |
| 限流 | 对同一来源、同一键或同一接口的频次设上限,超出则拒绝或排队 | 应用入口与缓存层之间 | 可能影响正常的突发流量,阈值需结合业务峰值设定;属于兜底手段,不能替代前三种 |
- 组合使用的次序:入口参数校验 → 限流 → 布隆过滤器 → 缓存(含空值)→ 数据源。
- 空值缓存的过期时间需要与"数据被合法创建的最短可感知时间"匹配:取值过长会让新建数据长时间读不到,取值过短则内存中的空值键数量膨胀。
- 布隆过滤器的容量与误判率由登记元素数量决定,元素数量超出预估后误判率上升,需要按业务增长重新规划并重建;重建期间的空窗应由限流与空值缓存承接。
2.6 缓存击穿
缓存击穿指某个热点键在失效的瞬间,所有并发请求同时未命中,全部回源到数据源。
- 与穿透的区别:穿透是键不存在,任何时刻都不会命中;击穿是键存在且此前一直命中,只是刚好在失效瞬间失去保护。
- 影响:回源请求量等于该瞬间的并发量,且集中在极短时间内;键越热,峰值越集中,可能直接压垮数据源。
| 手段 | 做法 | 读延迟 | 一致性 | 复杂度 |
|---|---|---|---|---|
| 互斥重建(分布式锁) | 未命中时只有一个请求获得锁去回源并回填,其余请求等待或短暂重试 | 等待者延迟上升,甚至超时失败 | 回填值来自单次回源,不会长期读到旧值 | 中高,需处理锁超时、持有者崩溃、误删他人锁 |
| 逻辑过期 | 不设置物理过期时间,值中保存逻辑过期时间;读到逻辑过期数据时先返回旧值,同时异步刷新 | 无阻塞 | 刷新完成前读到旧值 | 中,需保证刷新任务去重与失败重试 |
| 永不过期 + 异步刷新 | 热点键不设置过期时间,由后台任务按周期或按变更事件刷新 | 无阻塞 | 刷新失败时长期停留旧值,必须告警 | 中高,需维护热点集合与刷新任务 |
- 互斥重建
- 适用于回源成本高、可容忍部分请求短暂等待或失败的场景。
- 锁的获取、续期与释放需要按超时与持有者标识处理,避免持锁进程崩溃后锁无法释放,或释放时误删他人的锁。
- 等待策略需要设置上限:无上限等待会把压力从数据源转移到应用的连接与线程上,形成新的瓶颈。
- 锁服务不可用时必须有降级路径,例如直接返回旧值、快速失败或短暂穿透到数据源并配合限流。
- 逻辑过期
- 适用于读延迟敏感、且能接受刷新完成前读到旧值的热点数据。
- 异步刷新需要保证同一键只有一个执行者,否则逻辑过期只是把并发回源从读路径转移到了刷新路径。
- 永不过期 + 异步刷新
- 彻底消除失效瞬间的回源尖峰,代价是新鲜度完全依赖刷新任务,必须对刷新失败与刷新延迟设置告警,并保留主动删除路径用于数据变更时的立即失效。
- 三种手段可以叠加:热点键使用逻辑过期或永不过期,普通键使用互斥重建;热点键的识别见 2.8 节,未识别出热点时,针对击穿的措施无从下手。
2.7 缓存雪崩
缓存雪崩指缓存层在某个时间点大面积失去作用,导致回源请求量远超数据源的承载能力。
- 三种触发形态
- 大批键在同一时刻失效:批量预热时写入相同的过期时间,或缓存重启后集中加载,使失效时刻重合。
- 缓存层整体不可用:节点故障、集群切换、网络分区、客户端连接数耗尽。
- 缓存被大量淘汰:内存到达上限后淘汰策略把仍有价值的数据逐出,命中率断崖式下降,回源量随之上升。
| 手段 | 针对形态 | 做法 | 代价 |
|---|---|---|---|
| 过期时间随机化 | 大批键同时失效 | 在基准值上叠加随机抖动,并避免在整点或批量任务结束时集中预热 | 只解决同时失效,不覆盖单个热点键 |
| 多级缓存 | 分布式缓存整体不可用 | 在进程内或代理层保留一层容量较小的缓存,分布式缓存不可用时承接部分读请求 | 多级之间的一致性更复杂,进程内缓存无法主动失效,需要配合短过期时间 |
| 熔断与降级 | 缓存层不可用 | 回源请求超过阈值时熔断,改为返回兜底数据、静态快照或排队拒绝 | 降级期间读到的是兜底数据,需要预先定义业务可接受范围 |
| 限流与排队 | 缓存与数据源同时承压 | 对回源请求限流,超出部分排队或快速失败;按业务优先级分配回源配额 | 正常请求也可能被拒绝 |
| 缓存预热 | 缓存重启或上线 | 在流量进入前按已知热点加载数据,避免冷启动阶段全部回源 | 预热分布可能与真实访问分布不一致,需要按实际命中情况调整 |
| 容量与淘汰策略匹配 | 内存到达上限 | 使容量覆盖工作集,并按访问分布选择淘汰策略(见 2.9 节) | 内存成本上升 |
- 雪崩的直接后果不是"读到旧数据",而是"数据源被击垮",因此熔断、降级与限流的优先级高于一致性优化。
- 缓存不可用时的回源流量应作为容量规划的一部分:需要明确"缓存全部失效时数据源能承接多少回源流量、超出部分如何拒绝",并验证过该场景,而不是假设缓存始终可用。
- 缓存集群的切换、扩容与故障转移过程同样会短时降低可用性,因此这类操作应放在业务低峰并配合预热。
- 命中率与回源量的监控口径与告警阈值设计见 linux: 监控与告警。
2.8 热点数据与大 key
2.8.1 热点键的识别与打散
- 识别
- 按键统计访问频次与带宽占用,找出排名靠前的少量键;统计维度需要区分读与写。
- 观察分片或节点之间的负载是否显著不均衡:热点键会让其所在分片的负载长期高于其他分片。
- 结合业务事件预判:促销、定时任务、突发热点对应的键在特定时间会集中被访问。
- 影响
- 热点键集中在单个分片上,扩容其他分片无法分担该键的负载。
- 对同一键的高并发读写会形成锁竞争与网络集中,单节点成为整条链路的瓶颈。
- 打散手段
- 键名分片:为同一份数据生成多个副本键(加编号后缀),读请求选择一个副本;写请求需要更新全部副本,或通过版本号让旧副本在读取时被识别并淘汰。代价是一致性更难维护、内存占用成倍增加。
- 本地缓存前置:在应用进程内缓存热点数据,减少对分布式缓存的请求量;代价是进程内数据无法主动失效,需要通过版本号或较短过期时间保证收敛。
- 拆分粒度:把一个大对象拆成多个可独立访问的小键,使访问分散到不同分片。
- 读写分离:热点键的读请求分散到多个只读副本,写请求仍指向单点;代价是副本同步延迟带来的读旧值。
2.8.2 大 key 的判定与拆分维度
- 判定依据(按维度判断,不依赖固定阈值)
- 值的大小:单个值占用的内存明显高于其他键。
- 元素数量:集合、列表、哈希、有序集合等结构中的元素个数。
- 单次操作耗时:一次读取或删除操作占用时间明显偏长,会阻塞其他请求的处理。
- 常见来源
- 把整个列表或聚合结果存成一个键。
- 把明细数据全量放入集合类结构,且没有元素上限。
- 把日志、消息或任务堆积在列表结构中,只写不清理。
- 拆分维度
- 按时间:按天或按小时分键,天然支持过期与滚动清理。
- 按标识区间:按业务主键取模或哈希分段。
- 按字段:把一个大哈希按字段组拆成多个键,只读取需要的字段组。
- 按访问模式:把"总是整体读取"的部分与"按元素读取"的部分分开存放,避免为读取单个元素而传输整个对象。
- 放大影响
- 网络:一次读取需要传输大量字节,占用带宽并拉长响应时间,同节点上的其他请求被连带影响。
- 内存:单个大对象造成内存分配不均衡,更容易触发大块分配失败与内存碎片,内存使用量的统计与预测也更困难。
- 主从复制:写操作需要复制到从节点,单次大 key 的复制会占用复制缓冲区并可能造成从节点阻塞与复制延迟;复制与位点的机制可对照 mysql: 主从同步原理。
- 过期与删除:删除大 key 是耗时操作,若大量大 key 同时过期或被批量删除,会出现明显的延迟抖动。
2.8.3 处置要点
- 对已存在的大 key:先把读取路径改为按拆分后的键访问,再做数据迁移,迁移期间对读写路径做双写与双读过渡,不在业务高峰直接删除。
- 对易膨胀的集合结构:设置元素数量上限与逐出策略,或按时间分片并给每个分片设置过期时间。
- 对热点键:优先使用本地缓存与键名分片,而不是单纯扩大单节点容量。
- 对删除操作:大 key 的删除应分批或异步执行,避免单次长耗时操作阻塞其他请求。
2.9 命中率与容量
2.9.1 命中率
- 计算方式:命中率 = 命中次数 /(命中次数 + 未命中次数)。按请求口径与按键口径统计会得到不同数值,因此统计口径需要固定并写入监控定义。
- 未命中需要二次分类:区分"未命中后回源并成功回填"与"键本身不存在",后者属于穿透而非失效,两类问题的影响不同。
- 合理区间没有通用标准,取决于数据访问的集中度与过期时间设置。判断方式是看趋势与对照:
- 与自身历史基线比较,观察变化的时间点与幅度。
- 与同业务的其他集群比较,排除个体异常。
- 与变更前后的窗口比较,把命中率变化与发布、配置调整关联起来。
- 命中率下降通常来自三类原因:过期时间变短或发生批量失效、工作集超出容量后被淘汰、访问模式改变导致缓存了此前未被访问的数据。
- 命中率需要与平均延迟、回源量、数据源负载一起观察:命中率下降会同时抬高延迟与数据源负载,只有一起观察才能区分"缓存问题"与"数据源问题";指标口径与告警阈值设计可参考 linux: 监控与告警,容量与性能的判断方法可参考 linux: 压测与性能基线。
2.9.2 容量与淘汰策略
- 容量与命中率的关系:容量需要覆盖工作集,即被反复访问的数据集合。覆盖之后,继续扩容对命中率的提升迅速减小,成本却线性增加。
- 淘汰策略的选择依据:
- 访问分布呈现明显长尾时,淘汰近期最少使用的数据能把有限容量留给热点。
- 数据有明确新旧之分时,按过期时间淘汰比按访问频率淘汰更贴合业务语义。
- 淘汰策略决定的是"空间不足时回收谁",不改变局部性本身。访问模式没有局部性时,扩容与更换策略都无法显著提升命中率。
- 容量规划的依据:
- 工作集大小:按业务数据量与访问覆盖比例估算,而不是按全量数据估算。
- 每条数据的内存开销:除值本身外,还有键、元数据与内部结构的开销,实际占用高于业务数据的净大小。
- 冗余与碎片:预留余量应对副本、内存碎片与访问突增。
- 增长预期:容量规划覆盖一段时间内的数据增长,而不是当前水位。
- 容量不足时的行为需要被设计而不是被动接受:内存到达上限后,淘汰会造成命中率下降与回源上升;如果数据源无法承接这部分回源,就需要限制写入、缩短数据的过期时间或缩减缓存范围。
2.9.3 缓存价值的评估
- 收益侧
- 回源请求的减少量乘以单次回源的资源成本(数据源 CPU、IO、连接占用)。
- 读延迟下降对超时率与用户体验的影响。
- 数据源得以按写流量规划容量,节省的扩容成本。
- 成本侧
- 内存成本:容量乘以单位价格,高于磁盘。
- 运维成本:集群部署、监控、故障处理与版本升级。
- 复杂度成本:一致性方案、失效链路与降级逻辑带来的故障面与排查成本。
- 判断方式
- 命中率长期偏低、回源请求占比很小、数据几乎不被重复访问时,缓存没有承担实质流量,其成本大于收益。
- 数据源的读压力主要由少数热点键构成时,缓存的收益最直接,且可以用较小容量取得明显效果。
- 收益与成本都需要以数据表达,而不是以"提升性能"这类结论表达。
- 缓存层级的选择:延迟要求极高且能接受短暂不一致的数据放在进程内缓存;需要全局一致失效的数据放在分布式缓存;可公开且不含用户私有数据的结果放在 CDN 或反向代理;数据页级别的加速则交给数据库自身的缓冲池。
三、实现
本节给出与具体产品无关的判定依据与设计规范。涉及具体产品的数据结构、命令、集群形态与参数时,指向对应的实现文档,分工见 3.6 节。
3.1 键设计规范
3.1.1 命名与分段
- 采用分层命名:
<业务域>:<实体>:<标识>[:<维度>],例如order:detail:1024、user:profile:1024:zh。 - 分段使用统一分隔符,避免大小写混用、空格与不可见字符,避免在键中嵌入二进制内容。
- 键中必须包含影响缓存内容的全部维度:租户、语言、权限范围、数据版本。缺少维度会把不同用户的结果混在同一键上,产生串数据或越权读取。
- 避免把查询条件直接拼成键:条件组合的数量会随时间增长,导致命中率下降与键数量膨胀;只对确定性高的主标识与固定维度建键。
- 键名应可读、可检索:排查问题需要按前缀批量查找与统计,不可读的键无法定位来源。
- 键的长度需要控制:键本身也占用内存,过长的键会放大元数据开销。
3.1.2 避免大 key
- 值保持在较小规模,具体上限取决于所选缓存组件与网络配置,超过后应拆分。
- 集合类数据按时间或标识区间分片,每个分片设置独立的过期时间,避免单个集合无限增长。
- 集合元素数量需要显式上限:达到上限后拒绝写入或按策略逐出,避免"意外的大 key"在业务增长中形成。
- 大对象(文件、报表、明细列表)存放在对象存储,缓存中只保存引用地址与必要的元数据。
- 新增键类型时同步评估最坏情况下的元素数量与值大小,并写入设计约定,避免依赖运行期发现。
3.1.3 过期策略
- 每个键都要有兜底过期时间,包括已经采用主动删除与事件驱动失效的键;兜底值应不小于业务可容忍的最长陈旧时间。
- 过期时间按数据敏感度分层设置,并叠加随机抖动;同一批写入的键避免使用完全相同的过期时间。
- 批量预热的时间点应错开,避免在整点或批量任务结束时集中加载,形成集中的失效时刻。
- 过期不改变业务语义:过期后回源必须能得到正确结果,缓存的缺失不能造成业务失败;无法重新加载的数据不应放入缓存。
- 过期时间的取值应记录在配置或设计说明中,并与数据变更频率的评估结果对应,避免长期积累出无法解释的取值。
3.2 缓存接入的判定清单
适合缓存的数据:
- 读多写少:读请求量远大于写请求量,命中率才有意义。
- 可容忍短暂不一致:业务能为该数据定义不一致窗口的具体时长,且该窗口可被接受。
- 可重建:缓存数据可由数据源重新计算或读取得到,缓存丢失不影响数据正确性。
- 回源成本高于缓存访问成本:回源涉及多表关联、聚合或外部调用时收益明显。
- 访问具有局部性:访问集中在部分键上,工作集可以放入规划的容量。
不适合缓存的数据:
| 特征 | 原因 | 替代方向 |
|---|---|---|
| 强一致要求(余额、库存扣减所依据的判定值) | 缓存无法与数据源原子更新,任何不一致窗口都不可接受 | 直接读写数据源,用行锁或乐观锁保证判定正确 |
| 写多读少 | 每次写入都要失效,缓存几乎不命中,还增加了删除动作与失败处理 | 不缓存,改为优化写入路径与数据源容量 |
| 超大对象或明细列表 | 单次访问代价高,容易形成大 key,并放大网络与复制开销 | 对象存储 + 索引,缓存只保存引用 |
| 访问无局部性 | 每次访问的键都不相同,命中率接近零 | 不缓存,改为优化查询或增加只读副本 |
| 数据量远超可用内存 | 工作集无法被覆盖,淘汰持续发生,命中率不稳定 | 缩小缓存范围,只缓存热点部分 |
| 安全敏感且不可跨用户共享 | 缓存可能被其他用户读到 | 按用户维度隔离键与权限,或不经缓存 |
判定顺序:
- 确认读写的比例与访问分布,估算可以达到的命中率上限。
- 确认业务可容忍的不一致窗口,并写为具体时长与适用范围。
- 确认缓存丢失后能否重建,明确回源路径与回源容量。
- 估算内存成本与回源减少量,确认收益为正。
- 确认一致性方案、失效链路、监控与降级策略已设计完成。
3.3 一致性方案的选择表
| 业务场景 | 数据特征 | 推荐方案 | 一致性目标 | 兜底方式 |
|---|---|---|---|---|
| 商品详情、内容页 | 读多写少,允许秒级到分钟级陈旧 | Cache-Aside:先更新数据源,再删除缓存,配合兜底过期时间 | 秒级最终一致 | 过期时间到期自动收敛 |
| 库存、价格 | 展示值与判定值并存 | 展示值走缓存并设置较短过期时间;判定值不走缓存,在数据源侧原子扣减 | 判定值强一致,展示值秒级最终一致 | 数据源行锁或乐观锁 |
| 会话、登录态 | 读多写少,写入即需失效 | Cache-Aside,写入路径删除对应会话键,登出直接删除 | 删除后立即生效 | 较短过期时间兜底 |
| 配置、字典 | 变更频率低,读取极频繁 | 进程内缓存 + 分布式缓存,使用版本号或事件驱动失效 | 变更后秒级生效 | 较长过期时间 + 版本号校验 |
| 计数器、排行榜 | 高频写,允许短暂偏差 | 缓存内原子累加,周期回写或异步落库 | 最终一致,偏差有上限 | 定期对账与全量重建 |
| 跨服务聚合结果 | 由多个数据源计算得出 | 变更日志驱动删除,或把数据源版本号组合进缓存键 | 最终一致 | 兜底过期时间 |
- 表中方案的前提是写入路径可控;若存在其他服务或人工直接改库,应叠加变更日志驱动的失效(见 2.3.3 节)。
- 一致性目标必须写成具体时长与适用范围,"最终一致"需要给出收敛时间的上限。
- 库存类数据的分工要点是:可缓存的只是展示值与可重建的派生结果,扣减所依据的判定必须在数据源侧完成。
写入路径的骨架示例(先更新数据源、再删除缓存,删除失败进入补偿队列):
public void updateProduct(Product product) {
// 1. 以数据源为权威,先提交写入
productRepository.update(product);
// 2. 再删除缓存;删除失败不抛出业务异常,转为待补偿任务
try {
cache.delete(productKey(product.getId()));
} catch (Exception e) {
// 兜底:过期时间最终会让旧值收敛;补偿任务负责尽快删除
compensationQueue.enqueue(productKey(product.getId()));
}
}
3.4 灰度与回滚
缓存逻辑的变更(键结构、序列化格式、一致性方案)无法只靠回滚代码恢复,因为缓存中的数据格式已经在运行中改变,因此上线按三个阶段推进。
- 阶段一:同时兼容两种格式的读取与写入
- 新代码支持旧格式与新格式的读取,写入按新格式执行或双写两种键结构。
- 目的是让新旧实例在灰度期间可以共存,任意一个实例都能处理另一个实例产生的数据。
- 此阶段不改变对外行为,代码可随时回滚。
- 阶段二:切换读写路径
- 确认新格式的覆盖率满足要求后,按实例或按流量比例逐步把读路径切到新键结构。
- 切换期间同时观察命中率、回源量、错误率与数据源负载,确认没有维度恶化。
- 回滚点:此阶段的回滚需要同时回退代码与处理已写入的新格式数据,因此新代码必须保留读取旧格式的能力,直至确认不再有旧数据。
- 阶段三:清理旧数据
- 高危:批量删除键或清空缓存会立即把对应请求全部转为回源,数据源可能在短时间内承受数倍于平常的负载,且删除不可撤销。执行前确认回源容量、限流与降级已经就位,按前缀分批删除并同步观察数据源负载,不在业务高峰执行。兜底方式:被删除的数据可由数据源重建,但重建期间的压力与延迟无法回退,只能依靠限流、降级与扩容承接;若无法确认旧键已无人读取,应改为保留旧键、仅停止写入,让其随过期时间自然收敛。
- 删除旧数据前应确认新键的覆盖率与读取路径已经全部切换,并以监控数据为依据,而不是以发布时间为依据。
- 一致性方案的切换
- 高危:切换一致性方案(例如从延迟双删改为变更日志驱动)会在切换点前后对同一份数据产生不同行为,切换瞬间可能出现部分数据按新方案失效、部分仍按旧方案驻留的情况。切换前应确认两种方案对同一份数据都会收敛到正确值(例如都具备兜底过期时间),按数据类别分批切换,并保留切回旧方案的开关。回退方式:切回旧方案并等待兜底过期时间收敛,收敛期间存在持续一段时间的不一致。
- 切换过程需要监控不一致比例与回源量,并准备人工补偿入口。
- 变更的分级、窗口选择与可逆性设计可参考 linux: 变更与发布管理。
过渡期开关的示意配置:
cache:
# 键结构版本:灰度期间新旧实例共存,回退时改回 v1
key-schema: v2
# 过渡期双写:同时写入新旧两种键结构,保证任一实例都能读到数据
dual-write: true
# 兜底过期时间:无论采用哪种一致性方案,都保证数据最终收敛
fallback-ttl-seconds: 3600
# 删除失败进入补偿队列,由后台任务重试
delete-retry:
max-attempts: 3
backoff: 1s
3.5 常见问题的定位顺序
3.5.1 命中率下降
- 确认统计口径:口径是否变化、是否把探测请求或无效请求计入了分母。
- 确认数据与容量:工作集是否变大、访问分布是否改变、容量是否已不足以覆盖工作集。
- 确认失效侧:是否发生批量失效、过期时间是否被调短、是否存在主动删除风暴。
- 确认访问侧:是否出现新的查询类型绕过缓存、缓存键是否引入了过多维度导致命中分散。
- 确认组件侧:分片或节点是否发生故障转移,导致数据被重建或淘汰。
3.5.2 内存增长
- 区分是"键变多"还是"值变大":分别看键数量与平均大小的变化。
- 找出大 key 与增长最快的键前缀,判断是业务写入膨胀、缺少过期时间,还是出现了未按约定分片的集合。
- 确认淘汰策略是否生效、是否存在无法淘汰的键(未设置过期时间且访问频繁)。
- 确认内存碎片与内部结构开销,排除"业务数据未增长但内存增长"的情况;内存口径与泄漏判定方法可参考 linux: 内存管理。
- 高危:为释放内存直接删除键或清空缓存会把回源压力瞬时转移到数据源。执行前确认回源容量与降级策略已经就位,按前缀分批执行并监控数据源负载。兜底方式:数据可由数据源重建,但重建期间的容量压力需要由限流与降级承接,删除动作本身不可回退。
3.5.3 回源变多
- 区分回源是"未命中"还是"键不存在":前者是缓存失效问题,后者是穿透问题。
- 确认失效侧:是否发生批量删除、过期时间是否过短、变更日志链路是否在重复或异常触发失效。
- 确认击穿:回源是否集中在少量热点键、是否发生在键失效的时间点。
- 确认并发侧:是否存在缓存不可用导致的整体回源,或某个分片、节点的故障转移。
- 处置顺序:先限流与降级保护数据源,再定位失效来源;通用排障顺序与先止损后定位的原则可参考 linux: 故障案例库。
3.5.4 数据不一致
- 确认收敛性:是短暂窗口还是持续存在。持续存在通常来自更新顺序错误或失效路径遗漏;短暂窗口属于预期范围。
- 确认写入路径:所有写入路径是否都触发了失效,包括其他服务、批量任务与人工改库。
- 确认失效链路:删除是否失败、变更日志是否滞后或断流、补偿任务是否堆积。
- 确认并发交错:是否命中 2.4.1 节列出的四种顺序中的不一致窗口。
- 确认读取来源:读路径是否访问只读副本,主从延迟会造成与缓存不一致相同的表现(见 2.4.5 节)。
- 抽样比对时按数据的更新时间取最近变更的记录,与缓存值逐条核对:
-- 抽样比对:取最近变化的记录,与缓存中的值核对,统计不一致比例与收敛时间
SELECT id, title, price, version, updated_at
FROM product
WHERE updated_at >= NOW() - INTERVAL 10 MINUTE
ORDER BY updated_at DESC
LIMIT 100;
命中、未命中与删除失败的统计可用日志计数完成,口径需要与应用侧保持一致:
# 统计单位时间内的命中与未命中,计算命中率趋势
grep -c "cache=hit" /var/log/app/cache.log
grep -c "cache=miss" /var/log/app/cache.log
# 统计删除失败次数,用于定位失效链路问题
grep -c "cacheDelete=failed" /var/log/app/cache.log
3.6 与实现文档的分工
- 本节只给出与具体产品无关的判据。落到具体缓存组件时,以下内容属于实现文档的范围,按主题划分归属。
- Redis 在本仓库中位于
../implements/目录,与本文所属的theoreticalbasis/目录并列,分工如下:
| 主题 | 归属文档 | 内容范围 |
|---|---|---|
| 数据结构与命令 | Redis 核心与数据结构 | 各数据结构的语义与适用场景、命令族、原子操作与复杂度 |
| 缓存问题处置与分布式锁 | Redis 缓存实践与常见问题 | 穿透、击穿、雪崩的具体实现(空值缓存、布隆过滤器、互斥重建、逻辑过期),分布式锁的获取、续期与释放 |
| 集群与高可用 | Redis 高可用与集群 | 复制、故障转移、分片集群与各类机制下的一致性取舍 |
| 监控与调优 | Redis 运维与监控 | 指标采集、内存与慢查询观测、参数调优、容量与巡检 |
- 本文使用"缓存""分布式缓存"等通用表述,Redis 仅作为分布式缓存的一种举例;具体命令、参数与集群形态以对应的实现文档为准。
- 与其它文档的衔接:操作系统缓存与内存回收的机制见 linux: 页缓存与 IO 性能 与 linux: 内存管理;数据库缓冲池与主从复制见 mysql: 关于 MySQL 服务配置 与 mysql: 主从同步原理;最终一致与幂等相关方案见 消息一致性:事务消息与最终一致性 与 消息可靠性与幂等设计。
四、总结
缓存是被数据源读取成本逼出来的解法。它通过内存与磁盘之间数个数量级的延迟差异、以及访问的局部性,把读流量从数据源转移到内存,同时引入一致性问题、失效与穿透、内存成本与故障放大四类代价。是否引入缓存,取决于这些代价能否被一致性目标、失效链路与降级策略覆盖。
原理层面需要区分三条主线:位置决定能力,越靠近调用方的层延迟越低、命中范围越小、越难统一失效,近端短过期加远端长过期的组合正是为了兼顾两者;模式决定写入顺序,Cache-Aside 以"先更新数据源、再删除缓存"作为默认选择,Write-Behind 以一致性换取写入延迟;失效策略决定新鲜度与回源压力的分布,过期时间随机化解决同时失效,逻辑过期与异步刷新解决热点键失效瞬间的并发回源。一致性只能在明确的窗口内被承诺,四种更新顺序的不一致窗口长度不同,延迟双删缩小概率而不消除窗口,变更日志驱动把失效从业务代码移到可靠事件流,强一致场景的结论是不使用缓存或把读写串行化。
实现层面的关键结论可以收敛为几条:键名分段并覆盖全部结果维度,任何键都要有兜底过期时间;接入前先按读多写少、可容忍短暂不一致、可重建三条准则判定,强一致与写多读少的数据不缓存;一致性方案按场景选择,判定类字段留在数据源侧;缓存逻辑变更按"兼容两种格式、切换读写路径、清理旧数据"三阶段推进,批量删除与一致性方案切换按高危操作处理并准备回滚或兜底;排障时先区分命中率下降、内存增长、回源变多与数据不一致四类现象,按既定顺序确认口径、容量、失效与并发四类原因。具体产品的数据结构、命令、集群形态与调优参数,交由对应的实现文档承载。