本文说明内容分发网络的原理与接入方式。缓存的通用模型与一致性取舍见 缓存基础与一致性,反向代理缓存与缓存状态观测见 Nginx 缓存机制与实践,域名解析与就近调度见 DNS 解析与排障,协议版本对传输的影响见 HTTP 协议版本演进与落地,入口层的访问控制与签名见 Nginx 安全加固与防护,访问日志与命中分析见 nginx 访问日志分析与在线监控。
一、起源
1.1 三项约束
| 约束 | 表现 | 影响 |
| 物理距离 | 往返时延随距离上升 | 首屏与交互延迟变高 |
| 带宽成本 | 跨地域出口带宽昂贵 | 成本随流量线性增长 |
| 源站压力 | 全部请求落到源站 | 峰值需要按全局流量规划容量 |
三项约束的解法都是"把内容放到离用户更近的位置",因此内容分发网络的核心不是加速技术,而是缓存位置与调度决策。
1.2 定位
| 能力 | 内容 |
| 边缘缓存 | 在靠近用户的节点缓存内容,命中时不回源 |
| 智能调度 | 把用户请求导向就近或负载合适的节点 |
| 传输优化 | 在回源链路与边缘到用户链路上优化协议与路由 |
| 边缘安全 | 承载一部分访问控制、防刷与清洗能力 |
1.3 取舍
| 选择 | 获得 | 付出 |
| 接入分发网络 | 时延与带宽成本下降、源站压力下降 | 引入第三方依赖、缓存一致性变复杂、排障链路变长 |
| 自建多地域 | 完全可控 | 建设与运维成本高,边缘覆盖难与商用网络相比 |
二、原理
2.1 请求路径
用户 -> 调度(域名解析或任播)-> 边缘节点
|-- 命中 -> 直接返回
|-- 未命中 -> 中间层节点 -> 源站 -> 逐级回填并缓存
| 环节 | 决策依据 | 常见问题 |
| 调度 | 地理与运营商归属、节点健康与负载 | 调度结果与预期线路不符 |
| 边缘 | 缓存键与缓存时间 | 该缓存的没缓存,不该缓存的缓存了 |
| 回源 | 回源协议、回源主机与鉴权 | 回源 5xx、回源地址暴露、回源被打满 |
按域名调度依赖解析结果,因此解析器的来源会影响调度准确性,这一点与 DNS 解析与排障 中就近调度的讨论一致;按任播方式则由网络层就近收敛,调度不由解析决定。
2.2 缓存层级
| 层级 | 位置 | 命中后的收益 |
| 边缘 | 最靠近用户 | 无回源流量,时延最低 |
| 中间层 | 区域内共享 | 减少源站压力,回填边缘 |
| 源站 | 内容来源 | 命中即无外部回源 |
父子层结构的价值在于把"边缘节点各自回源"改为"边缘向中间层回源、中间层统一回源",从而把源站看到的回源请求量压缩一个数量级。代价是多一跳回填延迟,因此中间层的缓存策略需要与边缘区别设置。
2.3 缓存关键机制
| 机制 | 说明 | 容易出错的地方 |
| 缓存键 | 决定"什么算同一份内容" | 把查询参数、Cookie、请求头全部纳入键,导致命中率极低 |
| 缓存时间 | 由边缘配置或遵循源站响应头 | 覆盖源站头后,源站的策略调整不再生效 |
| 遵循源站头 | 按源站的缓存指令决定是否缓存与缓多久 | 源站未给缓存指令时,边缘的默认策略起决定作用 |
| 忽略指定参数 | 把无意义的参数(如统计参数)排除出缓存键 | 忽略过度会把有区分意义的参数也排除,造成串内容 |
| 分段请求 | 支持按范围返回,视频与断点续传依赖 | 边缘不支持时会退化为整体回源 |
| 压缩与合并 | 边缘按客户端能力压缩 | 压缩与缓存键的关系需明确,避免同一份内容多次压缩 |
与代理缓存的机制同源,缓存键与缓存时间的取舍可对照 Nginx 缓存机制与实践。
2.4 刷新与预热
| 操作 | 作用 | 生效时间 |
| 刷新(按 URL 或按目录) | 令边缘缓存失效,下次请求回源 | 需要传播到全部节点,存在延迟 |
| 强制不缓存回源 | 请求时携带特定参数绕过缓存 | 即时,但仅对单次请求有效 |
| 预热 | 提前把内容推到边缘 | 需要提前触发,避免发布瞬间集中回源 |
三条操作纪律:
- 发布流程中把刷新放在发布之后,而不是之前;顺序颠倒会导致旧内容被重新缓存。
- 目录级刷新比单 URL 刷新范围大,但传播慢且对源站压力大,应优先使用精确刷新。
- 大版本发布先预热关键资源再放量,避免发布瞬间大量未命中请求集中回源。
2.5 静态缓存与动态加速
| 类型 | 机制 | 适用 |
| 静态缓存 | 边缘直接返回缓存内容 | 图片、脚本、样式、下载、视频分片 |
| 动态传输优化 | 不缓存正文,优化回源链路与协议 | 接口请求、个性化页面 |
| 混合 | 静态走边缘,动态走优化链路 | 大多数网站的实际形态 |
判断依据是内容是否对同一 URL 的所有访问者一致。与缓存一致性的通用取舍一致:内容会因用户而异的接口不应进入共享缓存。
2.6 回源控制
| 控制项 | 作用 |
| 回源协议 | 边缘到源站使用加密或明文,需与源站能力匹配 |
| 回源主机 | 指定回源到哪个域名或地址,用于区分业务 |
| 回源鉴权 | 让源站能识别请求来自可信边缘,拒绝直接访问 |
| 回源限速与并发 | 控制未命中时对源站的冲击 |
| 源站隐藏 | 源站只接受来自边缘的流量,避免被直接攻击 |
回源鉴权与源站隐藏应同时实施:仅隐藏源站地址但允许任意来源回源,攻击者仍可通过边缘节点间接打源站。
2.7 安全手段
| 手段 | 机制 | 注意 |
| 防盗链 | 校验来源页地址 | 来源头可伪造,只能作为基础手段 |
| 签名地址 | 在地址中附加时效签名 | 有效期与密钥管理是关键 |
| 访问控制 | 按来源网络段或地域限制 | 需与业务覆盖范围匹配 |
| 防刷与限速 | 按来源或会话限制速率 | 阈值需基于真实流量分布设定 |
| 清洗与防护 | 在边缘拦截常见攻击流量 | 规则误报会影响正常用户 |
三、实现
3.1 接入前核对清单
| 核对项 | 要求 |
| 加速域名 | 与证书、源站业务域名一致,避免证书不匹配 |
| 证书 | 在边缘与源站两侧都有效,且不支持降级到明文 |
| 缓存规则 | 静态资源长缓存并带内容指纹,动态接口明确不缓存 |
| 源站响应头 | 明确哪些头由源站决定、哪些被边缘覆盖 |
| 回源鉴权 | 源站仅接受边缘回源,且能区分正常用户直连 |
| 日志 | 边缘日志与源站日志都能获取,且包含命中状态与来源节点 |
| 刷新流程 | 明确刷新方式、责任人与生效时间的观测手段 |
3.2 命中率与回源观测
# 边缘侧:命中与回源比例(字段名以接入方提供为准)
# 关键指标:请求数、命中率、回源率、回源带宽、边缘状态码分布
# 源站侧:按来源识别边缘回源与用户直连,分别统计
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
# 源站侧:统计边缘回源占比(以来源网段区分)
grep -cE '^10\.10\.' /var/log/nginx/access.log
wc -l < /var/log/nginx/access.log
# 边缘缓存状态观测(若使用自建代理作为中间层)
curl -sI https://www.example.com/static/app.9f3c1a.js | grep -iE 'x-cache|age|via'
# 确认内容是否被缓存以及缓存时长
curl -sI https://www.example.com/static/app.9f3c1a.js | grep -iE 'cache-control|age|expires'
# 命中率低的排查顺序
1. 缓存键是否包含了每次都变化的参数或头
2. 缓存规则是否覆盖该路径与后缀
3. 源站是否返回了禁止缓存的响应头
4. 缓存时间是否过短导致频繁过期
5. 刷新是否过于频繁
6. 内容是否本身就不适合缓存(如带用户信息的接口)
3.3 刷新与灰度
# 发布流程中的顺序
1. 源站发布新版本(文件名带内容指纹的静态资源可不清缓存)
2. 触发精确刷新(按变更的 URL 列表)
3. 抽查多个地域的响应,确认新内容已生效
4. 对入口页面与配置类资源执行预热
5. 观察源站回源量与边缘命中率回到基线后再结束发布
# 加速域名的配置变更(缓存规则、回源配置)应按地域或按比例灰度
# 保留快速回退方式:规则可一键回退到上一版本配置
3.4 排障顺序
# 1. 确认解析与调度:不同地域解析到哪些节点
dig +short www.example.com @223.5.5.5
dig +short www.example.com @8.8.8.8
# 2. 确认边缘响应特征:命中状态、来源节点、缓存时长
curl -sI https://www.example.com/static/app.js | grep -iE 'x-cache|via|age|cdn'
# 3. 确认内容是否与源站一致(用同一路径分别取边缘与源站内容做摘要比对)
curl -s https://www.example.com/static/app.js | md5sum
curl -s -H 'Host: www.example.com' http://源站地址/static/app.js | md5sum
# 4. 确认回源是否正常:观察源站是否收到对应请求与状态码
tail -f /var/log/nginx/access.log | grep -i 'app.js'
# 5. 确认是否为区域性问题(多地域抽查,判断是单节点还是全局)
# 三类典型结论
不同地区结果不一致:调度到不同节点且缓存状态不同,属于缓存未同步或刷新未传播
内容长期未更新:缓存时间过长或刷新未生效,需核对规则与刷新记录
源站出现大量 5xx:回源链路异常或未命中激增,需限制回源并发并扩容源站
3.5 常见问题对照
| 现象 | 常见原因 | 处置 |
| 命中率极低 | 缓存键包含变化参数或头 | 精简缓存键,忽略无意义参数 |
| 内容更新后用户仍看到旧版本 | 缓存未过期或刷新未传播 | 精确刷新并抽查多地域 |
| 不该缓存的接口被缓存 | 动态路径未明确排除 | 为该路径设置不缓存并遵循源站指令 |
| 不同用户看到同一份个性化内容 | 共享缓存中混入了与用户相关的内容 | 排除该类内容或按用户维度区分缓存键 |
| 源站被打满 | 未命中激增或回源未限速 | 限制回源并发与速率,预热关键资源 |
| 源站地址被直接访问 | 未做回源鉴权与源站隐藏 | 源站仅允许可信来源并校验回源标识 |
| 视频拖动卡顿 | 边缘不支持分段请求 | 确认边缘支持范围请求并核对回源行为 |
| 证书报错 | 加速域名与证书不匹配,或未启用加密 | 统一域名并强制加密 |
| 防盗链配置后正常用户被拒 | 来源校验过严 | 放宽校验范围或改用签名地址 |
| 发布瞬间源站压力陡增 | 未预热且刷新与发布顺序不当 | 先预热再放量,刷新放在发布之后 |
| 静态资源未被缓存 | 响应头禁止缓存或使用了带随机参数的地址 | 调整源站响应头并统一资源地址 |
四、总结
- 内容分发网络解决的是时延、带宽成本与源站压力三项约束,核心是缓存位置与调度决策,而不是某种加速技术。
- 请求路径分调度、边缘、回源三段,调度依赖解析或任播,因此解析器来源会影响调度准确性。
- 多级缓存与父子层结构把源站看到的回源量压缩一个数量级,代价是多一跳回填延迟。
- 缓存键与缓存时间是命中率与正确性的两个决定因素,把变化参数纳入键会导致命中率极低,排除过度则会造成内容串号。
- 遵循源站头可以让源站掌握缓存策略,但边缘覆盖源站头后源站的策略调整将不再生效,需要明确由谁决定。
- 刷新与预热是发布流程的一部分:刷新放在发布之后,关键资源先预热再放量,目录级刷新应谨慎使用。
- 静态缓存与动态传输优化的分工依据是内容是否对所有访问者一致,与用户相关的接口不应进入共享缓存。
- 回源鉴权与源站隐藏必须同时实施,只隐藏地址而不校验来源仍可被间接攻击。
- 排障顺序是确认调度、确认边缘响应特征、与源站比对内容、确认回源状态、再做多地域抽查以区分单节点与全局问题。
- 接入前的核对重点是域名与证书一致性、缓存规则、源站响应头的决定权、回源鉴权、日志可用性与刷新流程六项。