一、起源

1.1 传统 VLAN 的两项限制

限制 具体表现 后果
标识空间有限 标识字段长度决定可用数量上限 多租户场景下标识很快耗尽,且需要全局协调
依赖二层连通 同一 VLAN 需在同一二层域内 跨机房与跨园区扩展需要打通二层,成本与风险都高
生成树约束 环路避免机制限制多路径利用 带宽利用率低,扩展性受限

1.2 覆盖网络的思路

把逻辑网络与物理网络解耦:

物理网络(底层):保证三层可达、可多路径转发
逻辑网络(覆盖层):用隧道封装承载二层帧或三层报文,标识由隧道头携带

由此得到三项收益:标识空间大幅扩展、逻辑网络不再依赖物理二层连通、逻辑拓扑变更不影响物理网络。

1.3 取舍

选择 获得 付出
使用覆盖网络 标识空间大、跨机房能力、逻辑与物理解耦、部署快 封装开销、最大传输单元问题、底层与覆盖层两套排障视角、控制面复杂度

二、原理

2.1 封装结构

一个被封装的数据帧由三部分组成:

外层首部(传输协议头) + 隧道首部(含隧道标识) + 原始数据帧
部分 作用 说明
外层首部 在底层网络中寻址与转发 源与目的都是隧道端点的地址
隧道首部 承载隧道标识 标识用于区分不同的逻辑网络
原始数据帧 承载实际载荷 对底层网络不可见,可以是二层帧或三层报文

外层使用用户数据报协议承载,端口固定,因此底层网络的访问控制策略必须放行该端口,否则隧道无法建立且现象与"链路不通"完全一致。

2.2 隧道端点与转发流程

步骤 动作
1 源侧端点收到来自本地逻辑网络的帧,查表确定目的端点
2 加上外层首部与隧道首部封装,交由底层网络转发
3 目的端点收到后剥离外层与隧道首部,按原始帧继续处理
4 若目的地址未知,则按控制面方式(泛洪或查询)确定目的端点

封装的收益与代价都在第 1 步与第 2 步:收益是一次查表与一次封装即可跨机房转发;代价是每个报文都增加一次封装与解封装开销,且报文长度变长。

2.3 控制面:两种方式

方式 机制 优点 代价
数据面学习 未知地址时泛洪,按回包学习地址与端点的对应关系 无需额外控制面组件 泛洪量大、收敛依赖流量触发、规模大时不可控
路由协议承载 用路由协议发布地址与端点及标识的对应关系 可控、可聚合、支持多路径与快速收敛 需要设备或组件支持,配置与排障复杂度上升

泛洪的实现方式本身又分两种:使用组播在底层网络中转发,或由源端点为每个目的端点复制一份(头端复制)。前者依赖底层网络支持组播,后者在规模大时源侧负载高。规模超过一定量级后,路由协议承载的控制面几乎是唯一可行选择。

2.4 底层网络的三项要求

要求 原因 不满足的后果
三层可达 端点之间需要互相可达 部分端点无法建立隧道
等价多路径 覆盖网络的流量集中且大 单路径成为瓶颈,扩容困难
足够大的最大传输单元 封装会占用额外字节 大报文被丢弃或分片,表现为业务卡顿

2.5 封装开销与有效载荷

物理链路 1500
  外层首部与隧道首部占用(典型约 50)
  -> 覆盖网络内可用长度约 1450

若覆盖层内部还叠加其他封装(如安全隧道),还需继续扣除

由此产生的问题与处置:

问题 表现 处置
覆盖层通知的长度过大 小报文正常,大报文(如带证书的握手、大查询结果)卡住 在端点或逻辑接口上显式设置较小的长度
底层不支持大帧 无法通过增大物理链路长度一次性解决 按上述方式在端点侧调整
路径发现被差错报文过滤阻断 无反馈且持续重传,现象与"应用无响应"相同 检查中间设备策略或改用端点侧静态设置

判定方法很简单:覆盖网络内小报文可达而大报文不可达,几乎总是长度问题。这与 TCP 性能与疑难排查 中描述的路径最大传输单元黑洞是同一类现象。

2.6 与容器网络的关系

容器网络插件通常把覆盖网络作为默认实现之一,常见形态包括基于该封装的隧道模式与基于三层封装的其他形式,二者都会引入封装开销与长度问题。

关注点 说明
性能 隧道模式引入封装与解封装,主机间通信开销高于同主机通信
长度 插件通常会自动设置逻辑接口长度,自建底层网络时需要核对
隔离 通过标识实现租户或命名空间隔离,需与网络策略配合
排障 需要同时看容器内、宿主机、底层网络三个层次

具体实现与配置见 容器网络 与 Kubernetes 运维。

2.7 排障的三类典型问题

类别 现象 判定方向
隧道不通 覆盖网络内完全不可达 底层端点间可达性与隧道端口是否放行
隧道通但部分报文不通 小报文可达、大报文卡住 长度与封装开销
部分地址不可达或时通时不通 同一逻辑网络内部分地址不通 控制面未同步(泛洪未触发、标识不匹配、地址学习缺失)

三、实现

3.1 创建与核对隧道接口

# 创建隧道接口(示例:标识 100,远端端点 10.0.0.2,底层出口 eth0)
sudo ip link add vxlan100 type vxlan \
  id 100 \
  remote 10.0.0.2 \
  local 10.0.0.1 \
  dstport 4789 \
  dev eth0
sudo ip link set vxlan100 up
sudo ip addr add 192.168.100.1/24 dev vxlan100

# 核对接口与长度设置
ip -d link show vxlan100
ip addr show vxlan100 | grep -E 'inet|mtu'

# 显式设置覆盖层长度(按底层长度减去封装开销)
sudo ip link set dev vxlan100 mtu 1450

# 核对转发数据库(目的地址与端点的对应关系)
bridge fdb show dev vxlan100

# 核对底层端点可达性
ping -c 3 10.0.0.2
ip route get 10.0.0.2
# 多端点场景:通过转发数据库指定对端,避免泛洪
sudo bridge fdb append 00:00:00:00:00:00 dev vxlan100 dst 10.0.0.3
bridge fdb show dev vxlan100 | head -20

3.2 抓包验证封装

# 抓取底层接口:应能看到封装报文与隧道标识
sudo tcpdump -i eth0 -nn -vv 'udp port 4789' | head -30

# 解码查看外层与内层结构(以常见分析工具的命令行为例)
sudo tcpdump -i eth0 -nn -e 'udp port 4789' -c 5

# 抓取隧道接口:直接观察解封装后的原始报文
sudo tcpdump -i vxlan100 -nn -c 5

# 验证长度问题:ping 不同大小的报文
ping -c 2 -s 1200 192.168.100.2      # 小报文
ping -c 2 -s 1472 192.168.100.2      # 超过覆盖层可承载长度,预期失败
ping -M do -c 2 -s 1400 192.168.100.2  # 禁止分片,验证路径可承载长度
# 判定表
小报文可达、大报文不可达        -> 长度问题,调整覆盖层长度或在底层启用大帧
完全不可达、底层端口无出向报文  -> 隧道端口被安全策略拦截
底层端口有出向报文但无回包      -> 底层路由缺失或对端未启用隧道
内层地址部分不可达              -> 控制面未同步,检查转发数据库与标识一致性

3.3 常见问题对照

现象 常见原因 处置
覆盖网络内完全不通 隧道端口被拦截或对端未启用 核对策略放行与对端配置
小报文通、大报文不通 封装开销导致实际可承载长度不足 调整覆盖层长度或在底层启用大帧
上传大文件或握手卡住 与上一条同源,表现为"应用无响应" 按长度问题排查,避免误判为应用故障
部分逻辑网络互通、部分不互通 隧道标识不匹配 核对两端标识
首次访问慢、后续正常 未知地址触发泛洪学习 接受该行为,或改为路由协议承载控制面
泛洪流量过大 采用数据面学习且规模较大 改用路由协议承载控制面
主机间通信性能明显低于同主机 封装与解封装开销 评估网络插件模式,或调整部署亲和性
更换底层设备后部分隧道失效 底层多路径哈希或策略变化导致不对称 核对底层等价多路径与策略一致性
排查时看不到内层报文 只抓了底层接口且未按封装解码 同时抓底层与隧道接口,按封装层级解码

四、总结

  1. 覆盖网络解决传统 VLAN 的标识空间有限、依赖二层连通与生成树约束三项限制,做法是在三层可达的底层网络上用隧道封装逻辑网络。
  2. 封装由外层首部、含标识的隧道首部与原始帧组成,外层使用用户数据报协议承载,因此底层策略必须放行对应端口。
  3. 隧道端点的转发是"查表确定目的端点、封装、底层转发、对端解封装",收益是跨机房转发能力,代价是每个报文增加封装开销。
  4. 控制面有数据面泛洪学习与路由协议承载两类,前者简单但泛洪不可控,规模较大后应改用后者。
  5. 底层网络需要满足三层可达、等价多路径与足够大的最大传输单元三项要求,任一缺失都会限制覆盖网络的可用性。
  6. 封装会占用数十字节,导致覆盖层实际可承载长度小于物理链路,必须显式调整,否则会出现大报文黑洞。
  7. "小报文可达而大报文不可达"是长度问题的典型特征,与传输层的路径最大传输单元黑洞是同一类现象,不应误判为应用故障。
  8. 容器网络插件常以覆盖网络为默认实现之一,排障需要同时覆盖容器内、宿主机与底层网络三个层次。
  9. 覆盖网络的故障可归为三类:隧道不通、隧道通但大报文不通、控制面未同步导致部分地址不可达,判定方向各不相同。
  10. 验证手段是"抓底层看封装、抓隧道接口看内层、按不同长度探测",三者结合可快速区分端口、路由、长度与控制面四类原因。