一、起源
1.1 传统 VLAN 的两项限制
| 限制 | 具体表现 | 后果 |
|---|---|---|
| 标识空间有限 | 标识字段长度决定可用数量上限 | 多租户场景下标识很快耗尽,且需要全局协调 |
| 依赖二层连通 | 同一 VLAN 需在同一二层域内 | 跨机房与跨园区扩展需要打通二层,成本与风险都高 |
| 生成树约束 | 环路避免机制限制多路径利用 | 带宽利用率低,扩展性受限 |
1.2 覆盖网络的思路
把逻辑网络与物理网络解耦:
物理网络(底层):保证三层可达、可多路径转发
逻辑网络(覆盖层):用隧道封装承载二层帧或三层报文,标识由隧道头携带
由此得到三项收益:标识空间大幅扩展、逻辑网络不再依赖物理二层连通、逻辑拓扑变更不影响物理网络。
1.3 取舍
| 选择 | 获得 | 付出 |
|---|---|---|
| 使用覆盖网络 | 标识空间大、跨机房能力、逻辑与物理解耦、部署快 | 封装开销、最大传输单元问题、底层与覆盖层两套排障视角、控制面复杂度 |
二、原理
2.1 封装结构
一个被封装的数据帧由三部分组成:
外层首部(传输协议头) + 隧道首部(含隧道标识) + 原始数据帧
| 部分 | 作用 | 说明 |
|---|---|---|
| 外层首部 | 在底层网络中寻址与转发 | 源与目的都是隧道端点的地址 |
| 隧道首部 | 承载隧道标识 | 标识用于区分不同的逻辑网络 |
| 原始数据帧 | 承载实际载荷 | 对底层网络不可见,可以是二层帧或三层报文 |
外层使用用户数据报协议承载,端口固定,因此底层网络的访问控制策略必须放行该端口,否则隧道无法建立且现象与"链路不通"完全一致。
2.2 隧道端点与转发流程
| 步骤 | 动作 |
|---|---|
| 1 | 源侧端点收到来自本地逻辑网络的帧,查表确定目的端点 |
| 2 | 加上外层首部与隧道首部封装,交由底层网络转发 |
| 3 | 目的端点收到后剥离外层与隧道首部,按原始帧继续处理 |
| 4 | 若目的地址未知,则按控制面方式(泛洪或查询)确定目的端点 |
封装的收益与代价都在第 1 步与第 2 步:收益是一次查表与一次封装即可跨机房转发;代价是每个报文都增加一次封装与解封装开销,且报文长度变长。
2.3 控制面:两种方式
| 方式 | 机制 | 优点 | 代价 |
|---|---|---|---|
| 数据面学习 | 未知地址时泛洪,按回包学习地址与端点的对应关系 | 无需额外控制面组件 | 泛洪量大、收敛依赖流量触发、规模大时不可控 |
| 路由协议承载 | 用路由协议发布地址与端点及标识的对应关系 | 可控、可聚合、支持多路径与快速收敛 | 需要设备或组件支持,配置与排障复杂度上升 |
泛洪的实现方式本身又分两种:使用组播在底层网络中转发,或由源端点为每个目的端点复制一份(头端复制)。前者依赖底层网络支持组播,后者在规模大时源侧负载高。规模超过一定量级后,路由协议承载的控制面几乎是唯一可行选择。
2.4 底层网络的三项要求
| 要求 | 原因 | 不满足的后果 |
|---|---|---|
| 三层可达 | 端点之间需要互相可达 | 部分端点无法建立隧道 |
| 等价多路径 | 覆盖网络的流量集中且大 | 单路径成为瓶颈,扩容困难 |
| 足够大的最大传输单元 | 封装会占用额外字节 | 大报文被丢弃或分片,表现为业务卡顿 |
2.5 封装开销与有效载荷
物理链路 1500
外层首部与隧道首部占用(典型约 50)
-> 覆盖网络内可用长度约 1450
若覆盖层内部还叠加其他封装(如安全隧道),还需继续扣除
由此产生的问题与处置:
| 问题 | 表现 | 处置 |
|---|---|---|
| 覆盖层通知的长度过大 | 小报文正常,大报文(如带证书的握手、大查询结果)卡住 | 在端点或逻辑接口上显式设置较小的长度 |
| 底层不支持大帧 | 无法通过增大物理链路长度一次性解决 | 按上述方式在端点侧调整 |
| 路径发现被差错报文过滤阻断 | 无反馈且持续重传,现象与"应用无响应"相同 | 检查中间设备策略或改用端点侧静态设置 |
判定方法很简单:覆盖网络内小报文可达而大报文不可达,几乎总是长度问题。这与 TCP 性能与疑难排查 中描述的路径最大传输单元黑洞是同一类现象。
2.6 与容器网络的关系
容器网络插件通常把覆盖网络作为默认实现之一,常见形态包括基于该封装的隧道模式与基于三层封装的其他形式,二者都会引入封装开销与长度问题。
| 关注点 | 说明 |
|---|---|
| 性能 | 隧道模式引入封装与解封装,主机间通信开销高于同主机通信 |
| 长度 | 插件通常会自动设置逻辑接口长度,自建底层网络时需要核对 |
| 隔离 | 通过标识实现租户或命名空间隔离,需与网络策略配合 |
| 排障 | 需要同时看容器内、宿主机、底层网络三个层次 |
具体实现与配置见 容器网络 与 Kubernetes 运维。
2.7 排障的三类典型问题
| 类别 | 现象 | 判定方向 |
|---|---|---|
| 隧道不通 | 覆盖网络内完全不可达 | 底层端点间可达性与隧道端口是否放行 |
| 隧道通但部分报文不通 | 小报文可达、大报文卡住 | 长度与封装开销 |
| 部分地址不可达或时通时不通 | 同一逻辑网络内部分地址不通 | 控制面未同步(泛洪未触发、标识不匹配、地址学习缺失) |
三、实现
3.1 创建与核对隧道接口
# 创建隧道接口(示例:标识 100,远端端点 10.0.0.2,底层出口 eth0)
sudo ip link add vxlan100 type vxlan \
id 100 \
remote 10.0.0.2 \
local 10.0.0.1 \
dstport 4789 \
dev eth0
sudo ip link set vxlan100 up
sudo ip addr add 192.168.100.1/24 dev vxlan100
# 核对接口与长度设置
ip -d link show vxlan100
ip addr show vxlan100 | grep -E 'inet|mtu'
# 显式设置覆盖层长度(按底层长度减去封装开销)
sudo ip link set dev vxlan100 mtu 1450
# 核对转发数据库(目的地址与端点的对应关系)
bridge fdb show dev vxlan100
# 核对底层端点可达性
ping -c 3 10.0.0.2
ip route get 10.0.0.2
# 多端点场景:通过转发数据库指定对端,避免泛洪
sudo bridge fdb append 00:00:00:00:00:00 dev vxlan100 dst 10.0.0.3
bridge fdb show dev vxlan100 | head -20
3.2 抓包验证封装
# 抓取底层接口:应能看到封装报文与隧道标识
sudo tcpdump -i eth0 -nn -vv 'udp port 4789' | head -30
# 解码查看外层与内层结构(以常见分析工具的命令行为例)
sudo tcpdump -i eth0 -nn -e 'udp port 4789' -c 5
# 抓取隧道接口:直接观察解封装后的原始报文
sudo tcpdump -i vxlan100 -nn -c 5
# 验证长度问题:ping 不同大小的报文
ping -c 2 -s 1200 192.168.100.2 # 小报文
ping -c 2 -s 1472 192.168.100.2 # 超过覆盖层可承载长度,预期失败
ping -M do -c 2 -s 1400 192.168.100.2 # 禁止分片,验证路径可承载长度
# 判定表
小报文可达、大报文不可达 -> 长度问题,调整覆盖层长度或在底层启用大帧
完全不可达、底层端口无出向报文 -> 隧道端口被安全策略拦截
底层端口有出向报文但无回包 -> 底层路由缺失或对端未启用隧道
内层地址部分不可达 -> 控制面未同步,检查转发数据库与标识一致性
3.3 常见问题对照
| 现象 | 常见原因 | 处置 |
|---|---|---|
| 覆盖网络内完全不通 | 隧道端口被拦截或对端未启用 | 核对策略放行与对端配置 |
| 小报文通、大报文不通 | 封装开销导致实际可承载长度不足 | 调整覆盖层长度或在底层启用大帧 |
| 上传大文件或握手卡住 | 与上一条同源,表现为"应用无响应" | 按长度问题排查,避免误判为应用故障 |
| 部分逻辑网络互通、部分不互通 | 隧道标识不匹配 | 核对两端标识 |
| 首次访问慢、后续正常 | 未知地址触发泛洪学习 | 接受该行为,或改为路由协议承载控制面 |
| 泛洪流量过大 | 采用数据面学习且规模较大 | 改用路由协议承载控制面 |
| 主机间通信性能明显低于同主机 | 封装与解封装开销 | 评估网络插件模式,或调整部署亲和性 |
| 更换底层设备后部分隧道失效 | 底层多路径哈希或策略变化导致不对称 | 核对底层等价多路径与策略一致性 |
| 排查时看不到内层报文 | 只抓了底层接口且未按封装解码 | 同时抓底层与隧道接口,按封装层级解码 |
四、总结
- 覆盖网络解决传统 VLAN 的标识空间有限、依赖二层连通与生成树约束三项限制,做法是在三层可达的底层网络上用隧道封装逻辑网络。
- 封装由外层首部、含标识的隧道首部与原始帧组成,外层使用用户数据报协议承载,因此底层策略必须放行对应端口。
- 隧道端点的转发是"查表确定目的端点、封装、底层转发、对端解封装",收益是跨机房转发能力,代价是每个报文增加封装开销。
- 控制面有数据面泛洪学习与路由协议承载两类,前者简单但泛洪不可控,规模较大后应改用后者。
- 底层网络需要满足三层可达、等价多路径与足够大的最大传输单元三项要求,任一缺失都会限制覆盖网络的可用性。
- 封装会占用数十字节,导致覆盖层实际可承载长度小于物理链路,必须显式调整,否则会出现大报文黑洞。
- "小报文可达而大报文不可达"是长度问题的典型特征,与传输层的路径最大传输单元黑洞是同一类现象,不应误判为应用故障。
- 容器网络插件常以覆盖网络为默认实现之一,排障需要同时覆盖容器内、宿主机与底层网络三个层次。
- 覆盖网络的故障可归为三类:隧道不通、隧道通但大报文不通、控制面未同步导致部分地址不可达,判定方向各不相同。
- 验证手段是"抓底层看封装、抓隧道接口看内层、按不同长度探测",三者结合可快速区分端口、路由、长度与控制面四类原因。