本文说明内容分发网络的原理与接入方式。缓存的通用模型与一致性取舍见 缓存基础与一致性,反向代理缓存与缓存状态观测见 Nginx 缓存机制与实践,域名解析与就近调度见 DNS 解析与排障,协议版本对传输的影响见 HTTP 协议版本演进与落地,入口层的访问控制与签名见 Nginx 安全加固与防护,访问日志与命中分析见 nginx 访问日志分析与在线监控。

一、起源

1.1 三项约束

约束 表现 影响
物理距离 往返时延随距离上升 首屏与交互延迟变高
带宽成本 跨地域出口带宽昂贵 成本随流量线性增长
源站压力 全部请求落到源站 峰值需要按全局流量规划容量

三项约束的解法都是"把内容放到离用户更近的位置",因此内容分发网络的核心不是加速技术,而是缓存位置与调度决策。

1.2 定位

能力 内容
边缘缓存 在靠近用户的节点缓存内容,命中时不回源
智能调度 把用户请求导向就近或负载合适的节点
传输优化 在回源链路与边缘到用户链路上优化协议与路由
边缘安全 承载一部分访问控制、防刷与清洗能力

1.3 取舍

选择 获得 付出
接入分发网络 时延与带宽成本下降、源站压力下降 引入第三方依赖、缓存一致性变复杂、排障链路变长
自建多地域 完全可控 建设与运维成本高,边缘覆盖难与商用网络相比

二、原理

2.1 请求路径

用户 -> 调度(域名解析或任播)-> 边缘节点
                                  |-- 命中 -> 直接返回
                                  |-- 未命中 -> 中间层节点 -> 源站 -> 逐级回填并缓存
环节 决策依据 常见问题
调度 地理与运营商归属、节点健康与负载 调度结果与预期线路不符
边缘 缓存键与缓存时间 该缓存的没缓存,不该缓存的缓存了
回源 回源协议、回源主机与鉴权 回源 5xx、回源地址暴露、回源被打满

按域名调度依赖解析结果,因此解析器的来源会影响调度准确性,这一点与 DNS 解析与排障 中就近调度的讨论一致;按任播方式则由网络层就近收敛,调度不由解析决定。

2.2 缓存层级

层级 位置 命中后的收益
边缘 最靠近用户 无回源流量,时延最低
中间层 区域内共享 减少源站压力,回填边缘
源站 内容来源 命中即无外部回源

父子层结构的价值在于把"边缘节点各自回源"改为"边缘向中间层回源、中间层统一回源",从而把源站看到的回源请求量压缩一个数量级。代价是多一跳回填延迟,因此中间层的缓存策略需要与边缘区别设置。

2.3 缓存关键机制

机制 说明 容易出错的地方
缓存键 决定"什么算同一份内容" 把查询参数、Cookie、请求头全部纳入键,导致命中率极低
缓存时间 由边缘配置或遵循源站响应头 覆盖源站头后,源站的策略调整不再生效
遵循源站头 按源站的缓存指令决定是否缓存与缓多久 源站未给缓存指令时,边缘的默认策略起决定作用
忽略指定参数 把无意义的参数(如统计参数)排除出缓存键 忽略过度会把有区分意义的参数也排除,造成串内容
分段请求 支持按范围返回,视频与断点续传依赖 边缘不支持时会退化为整体回源
压缩与合并 边缘按客户端能力压缩 压缩与缓存键的关系需明确,避免同一份内容多次压缩

与代理缓存的机制同源,缓存键与缓存时间的取舍可对照 Nginx 缓存机制与实践。

2.4 刷新与预热

操作 作用 生效时间
刷新(按 URL 或按目录) 令边缘缓存失效,下次请求回源 需要传播到全部节点,存在延迟
强制不缓存回源 请求时携带特定参数绕过缓存 即时,但仅对单次请求有效
预热 提前把内容推到边缘 需要提前触发,避免发布瞬间集中回源

三条操作纪律:

  • 发布流程中把刷新放在发布之后,而不是之前;顺序颠倒会导致旧内容被重新缓存。
  • 目录级刷新比单 URL 刷新范围大,但传播慢且对源站压力大,应优先使用精确刷新。
  • 大版本发布先预热关键资源再放量,避免发布瞬间大量未命中请求集中回源。

2.5 静态缓存与动态加速

类型 机制 适用
静态缓存 边缘直接返回缓存内容 图片、脚本、样式、下载、视频分片
动态传输优化 不缓存正文,优化回源链路与协议 接口请求、个性化页面
混合 静态走边缘,动态走优化链路 大多数网站的实际形态

判断依据是内容是否对同一 URL 的所有访问者一致。与缓存一致性的通用取舍一致:内容会因用户而异的接口不应进入共享缓存。

2.6 回源控制

控制项 作用
回源协议 边缘到源站使用加密或明文,需与源站能力匹配
回源主机 指定回源到哪个域名或地址,用于区分业务
回源鉴权 让源站能识别请求来自可信边缘,拒绝直接访问
回源限速与并发 控制未命中时对源站的冲击
源站隐藏 源站只接受来自边缘的流量,避免被直接攻击

回源鉴权与源站隐藏应同时实施:仅隐藏源站地址但允许任意来源回源,攻击者仍可通过边缘节点间接打源站。

2.7 安全手段

手段 机制 注意
防盗链 校验来源页地址 来源头可伪造,只能作为基础手段
签名地址 在地址中附加时效签名 有效期与密钥管理是关键
访问控制 按来源网络段或地域限制 需与业务覆盖范围匹配
防刷与限速 按来源或会话限制速率 阈值需基于真实流量分布设定
清洗与防护 在边缘拦截常见攻击流量 规则误报会影响正常用户

三、实现

3.1 接入前核对清单

核对项 要求
加速域名 与证书、源站业务域名一致,避免证书不匹配
证书 在边缘与源站两侧都有效,且不支持降级到明文
缓存规则 静态资源长缓存并带内容指纹,动态接口明确不缓存
源站响应头 明确哪些头由源站决定、哪些被边缘覆盖
回源鉴权 源站仅接受边缘回源,且能区分正常用户直连
日志 边缘日志与源站日志都能获取,且包含命中状态与来源节点
刷新流程 明确刷新方式、责任人与生效时间的观测手段

3.2 命中率与回源观测

# 边缘侧:命中与回源比例(字段名以接入方提供为准)
# 关键指标:请求数、命中率、回源率、回源带宽、边缘状态码分布

# 源站侧:按来源识别边缘回源与用户直连,分别统计
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

# 源站侧:统计边缘回源占比(以来源网段区分)
grep -cE '^10\.10\.' /var/log/nginx/access.log
wc -l < /var/log/nginx/access.log

# 边缘缓存状态观测(若使用自建代理作为中间层)
curl -sI https://www.example.com/static/app.9f3c1a.js | grep -iE 'x-cache|age|via'

# 确认内容是否被缓存以及缓存时长
curl -sI https://www.example.com/static/app.9f3c1a.js | grep -iE 'cache-control|age|expires'
# 命中率低的排查顺序
1. 缓存键是否包含了每次都变化的参数或头
2. 缓存规则是否覆盖该路径与后缀
3. 源站是否返回了禁止缓存的响应头
4. 缓存时间是否过短导致频繁过期
5. 刷新是否过于频繁
6. 内容是否本身就不适合缓存(如带用户信息的接口)

3.3 刷新与灰度

# 发布流程中的顺序
1. 源站发布新版本(文件名带内容指纹的静态资源可不清缓存)
2. 触发精确刷新(按变更的 URL 列表)
3. 抽查多个地域的响应,确认新内容已生效
4. 对入口页面与配置类资源执行预热
5. 观察源站回源量与边缘命中率回到基线后再结束发布

# 加速域名的配置变更(缓存规则、回源配置)应按地域或按比例灰度
# 保留快速回退方式:规则可一键回退到上一版本配置

3.4 排障顺序

# 1. 确认解析与调度:不同地域解析到哪些节点
dig +short www.example.com @223.5.5.5
dig +short www.example.com @8.8.8.8

# 2. 确认边缘响应特征:命中状态、来源节点、缓存时长
curl -sI https://www.example.com/static/app.js | grep -iE 'x-cache|via|age|cdn'

# 3. 确认内容是否与源站一致(用同一路径分别取边缘与源站内容做摘要比对)
curl -s https://www.example.com/static/app.js | md5sum
curl -s -H 'Host: www.example.com' http://源站地址/static/app.js | md5sum

# 4. 确认回源是否正常:观察源站是否收到对应请求与状态码
tail -f /var/log/nginx/access.log | grep -i 'app.js'

# 5. 确认是否为区域性问题(多地域抽查,判断是单节点还是全局)
# 三类典型结论
不同地区结果不一致:调度到不同节点且缓存状态不同,属于缓存未同步或刷新未传播
内容长期未更新:缓存时间过长或刷新未生效,需核对规则与刷新记录
源站出现大量 5xx:回源链路异常或未命中激增,需限制回源并发并扩容源站

3.5 常见问题对照

现象 常见原因 处置
命中率极低 缓存键包含变化参数或头 精简缓存键,忽略无意义参数
内容更新后用户仍看到旧版本 缓存未过期或刷新未传播 精确刷新并抽查多地域
不该缓存的接口被缓存 动态路径未明确排除 为该路径设置不缓存并遵循源站指令
不同用户看到同一份个性化内容 共享缓存中混入了与用户相关的内容 排除该类内容或按用户维度区分缓存键
源站被打满 未命中激增或回源未限速 限制回源并发与速率,预热关键资源
源站地址被直接访问 未做回源鉴权与源站隐藏 源站仅允许可信来源并校验回源标识
视频拖动卡顿 边缘不支持分段请求 确认边缘支持范围请求并核对回源行为
证书报错 加速域名与证书不匹配,或未启用加密 统一域名并强制加密
防盗链配置后正常用户被拒 来源校验过严 放宽校验范围或改用签名地址
发布瞬间源站压力陡增 未预热且刷新与发布顺序不当 先预热再放量,刷新放在发布之后
静态资源未被缓存 响应头禁止缓存或使用了带随机参数的地址 调整源站响应头并统一资源地址

四、总结

  1. 内容分发网络解决的是时延、带宽成本与源站压力三项约束,核心是缓存位置与调度决策,而不是某种加速技术。
  2. 请求路径分调度、边缘、回源三段,调度依赖解析或任播,因此解析器来源会影响调度准确性。
  3. 多级缓存与父子层结构把源站看到的回源量压缩一个数量级,代价是多一跳回填延迟。
  4. 缓存键与缓存时间是命中率与正确性的两个决定因素,把变化参数纳入键会导致命中率极低,排除过度则会造成内容串号。
  5. 遵循源站头可以让源站掌握缓存策略,但边缘覆盖源站头后源站的策略调整将不再生效,需要明确由谁决定。
  6. 刷新与预热是发布流程的一部分:刷新放在发布之后,关键资源先预热再放量,目录级刷新应谨慎使用。
  7. 静态缓存与动态传输优化的分工依据是内容是否对所有访问者一致,与用户相关的接口不应进入共享缓存。
  8. 回源鉴权与源站隐藏必须同时实施,只隐藏地址而不校验来源仍可被间接攻击。
  9. 排障顺序是确认调度、确认边缘响应特征、与源站比对内容、确认回源状态、再做多地域抽查以区分单节点与全局问题。
  10. 接入前的核对重点是域名与证书一致性、缓存规则、源站响应头的决定权、回源鉴权、日志可用性与刷新流程六项。