内容总览

linux: 网络管理思维导图

一、起源:网络管理解决的问题

1.1 单机孤立计算

早期计算机独立运行,跨主机共享数据与资源依赖磁盘、磁带等存储介质物理搬运。传输周期长、易出错、人工开销大,无法支撑跨地域协同与高实时性业务。

1.2 协议不统一

各厂商推出私有网络协议,硬件与软件互不兼容。跨厂商组网需要专用转换设备与协议适配,复杂度高、互操作性差。

为此业界提出两套参考框架:

  1. ISO OSI 七层模型:理论参考(物理/数据链路/网络/传输/会话/表示/应用)
  2. TCP/IP 四层模型:工程事实标准(链路/网络/传输/应用),成为 Internet 基础

1.3 并发通信的复杂性

多主机多进程并发通信时,至少需解决五类问题:

  1. 寻址与路由:数据从源到目的,经过哪些中间节点转发
  2. 多路复用与解复用:同一主机多进程共享网络出口,报文需正确送达对应进程
  3. 差错控制:链路干扰或拥塞导致的丢包、损坏、乱序的检测与恢复
  4. 流量控制:发送速率不超过接收方处理能力
  5. 拥塞控制:发送速率不超过网络承载能力,避免雪崩

上述复杂度交由操作系统网络栈统一处理,应用层仅使用套接字抽象。

1.4 安全与隔离

跨网通信面临窃听、篡改、身份伪造等威胁。不同业务或租户的网络需逻辑隔离与访问控制:

  1. 加密与身份认证:TLS、SSH、IPsec
  2. 访问控制:防火墙规则、安全组
  3. 逻辑隔离:VLAN、网络命名空间、虚拟路由与转发(VRF)

二、原理:网络如何工作

2.1 TCP/IP 四层模型与封装

每层加上自己的首部,接收时逐层剥首部,交由对应层处理。

应用层 数据      → HTTP/DNS/SSH payload
传输层 [TCP/UDP头 + 数据]
网络层 [IP头 + TCP头 + 数据]
链路层 [以太头 + IP头 + TCP头 + 数据 + FCS]

2.1.1 链路层

  1. 以太网帧
    • 目的 MAC(6B)、源 MAC(6B)、类型(2B:0x0800 IPv4 / 0x86DD IPv6 / 0x0806 ARP)、payload(46~1500B MTU)、FCS 校验(4B)

    • MTU 默认 1500,叠加 VLAN/VxLAN 等会占用额外字节,需关注巨帧或分片

  2. MAC 寻址与 ARP
    • ARP 请求:广播问询"谁有 IP x.x.x.x,请告知 MAC"

    • ARP 应答:单播返回 MAC → 发送端缓存到 ARP 表,ip neigh 可查

    • 免费 ARP:主机开机广播自己的 IP/MAC,检测冲突/刷新邻居

  3. VLAN(802.1Q)
    • 以太网帧插入 4B VLAN 标签(TPID + TCI),12 bit VLAN ID 共 4096 个

    • 交换机根据 VLAN 隔离广播域;不同 VLAN 间需三层路由互通

  4. 交换机
    • 维护 MAC 地址表(MAC → 端口映射)

    • 未知目的 MAC 泛洪,已知单播转发

2.1.2 网络层(IPv4)

  1. IP 头字段分类
    • 基本信息:版本(4)、IHL 头长度、TOS/DSCP+ECN 区分服务与拥塞标记、总长度

    • 分片:标识(同一报文各片相同)、标志(MF 还有分片 / DF 不分片)、片偏移(8B 单位)

    • 生存:TTL(每跳 -1,0 丢弃并回 ICMP time exceeded,防路由环路)

    • 上层:协议号(6 TCP、17 UDP、1 ICMP)、头校验和

    • 地址:源 IP、目的 IP(各 4B)

    • 选项:IHL > 5 时存在,安全/源路由/时间戳等,少见

  2. CIDR 与子网掩码
    • A/B/C 类已废弃,使用前缀长度(如 /24 等价掩码 255.255.255.0)

    • 网络地址 = IP & 掩码;广播地址 = IP | ~掩码

    • 同一子网直接 ARP 二层可达,不同子网经网关三层转发

  3. 路由表与最长前缀匹配
    • 条目:目的网段 / 下一跳 / 出接口 / 度量(metric)

    • 多条目匹配时取前缀最长者;无匹配则走默认路由(0.0.0.0/0)

  4. ICMP
    • Echo Request/Reply:ping 实现

    • Time Exceeded:TTL=0 超时、traceroute 原理(依次发 TTL=1,2,3... 触发中间节点超时回复)

    • Destination Unreachable:端口未开、主机不可达、分片需求但 DF=1(PMTUD)

  5. IP 分片与重组
    • MTU 不足且 DF=0:发送端或中间路由器按出接口 MTU 分片

    • 标识+偏移+MF 标志在目的主机重组

    • 任一片丢失整个报文丢弃,依赖传输层重传

2.1.3 传输层

TCP(可靠、面向字节流、面向连接)
  1. 头关键字段
    • 源端口/目的端口:多路复用/解复用

    • 序列号 SEQ:本报文字节流第一个字节的序号

    • 确认号 ACK:期望收到的下一个字节序号,累计确认

    • 标志位:SYN/ACK/FIN/RST/PSH/URG

    • 窗口大小:接收端通告窗口 rwnd(字节),配合窗口扩大因子 WSopt

    • 校验和、紧急指针

    • 选项:MSS(最大段大小,默认 MTU-40=1460)、SACK(选择确认,修补多段丢失)、Timestamp(PAWS 防序列号回绕+RTTM)、Window Scale

  2. 连接建立(三次握手)
    • Client:SYN seq=x → 进入 SYN_SENT

    • Server:SYN+ACK seq=y ack=x+1 → 进入 SYN_RCVD;半连接队列保存

    • Client:ACK ack=y+1 → 进入 ESTABLISHED

    • Server:收到 ACK → ESTABLISHED;移入全连接队列(listen backlog),accept() 取出

  3. 连接关闭(四次挥手)
    • Client:FIN seq=u → FIN_WAIT_1

    • Server:ACK ack=u+1 → CLOSE_WAIT;应用读 EOF 后决定何时 close

    • Server:FIN seq=w ack=u+1 → LAST_ACK

    • Client:ACK ack=w+1 → TIME_WAIT;等待 2MSL 后 CLOSED

    • 2MSL 作用:最后一个 ACK 丢失则 Server 重发 FIN;延迟报文自然消亡,避免新连接误用

  4. TCP 状态机关键状态
状态 出现位置 常见异常
SYN_SENT Client 发 SYN 后 Server 不可达/防火墙丢包
SYN_RCVD Server 收 SYN 回 SYNACK 后 SYN 洪水攻击时堆积
ESTABLISHED 连接畅通 正常数据传输
FIN_WAIT_1 / FIN_WAIT_2 Client 主动方前两阶段 FIN_WAIT_2 若对方不 FIN,tcp_fin_timeout 超时回收
CLOSE_WAIT Server 被动方收到 FIN 未 close 应用未调用 close,FD 泄漏
LAST_ACK Server 被动方发 FIN 后 等待最后 ACK
TIME_WAIT Client 主动方收到 FIN 回 ACK 后 端口占用过多影响新连接
LISTEN 服务端监听 accept 前
  1. 可靠保证
    • 序列号 + ACK 累计确认

    • 超时重传 RTO(基于 SRTT/RTO 动态计算),指数退避

    • SACK + FACK 允许接收方告知多段丢失情况,一次重传多条

    • 校验和覆盖伪首部+TCP头+数据,损坏丢弃

  2. 流量控制(滑动窗口 rwnd)
    • 接收端 rwnd 限制发送端 in-flight 字节数,避免接收缓冲区溢出

    • 零窗口探测:rwnd=0 时发送端周期性 ZWP 探测

  3. 拥塞控制
    • 慢启动:cwnd 指数增长,达到 ssthresh 切换拥塞避免

    • 拥塞避免:cwnd 线性(RTT 内 +1 MSS)增长,试探带宽

    • 丢包事件(超时/3 次重复 ACK):降 cwnd 与 ssthresh,重新慢启动或快速恢复

    • 传统 Reno/NewReno 基于丢包判断拥塞;CUBIC(Linux 默认)对称凸凹曲线,公平稳定

    • BBR(需手动启用)基于带宽与最小 RTT 模型,不依赖丢包,高丢包链路利用率更高

  4. Nagle 与 Delayed ACK
    • Nagle:小数据段合并发送(等待 ACK 或累积 MSS),减少小包

    • Delayed ACK:接收方延迟 40~200ms 发 ACK,期望捎带数据

    • 两者交互可造成写-写-读或写-读-写模式下的额外延迟,必要时 TCP_NODELAY 关闭 Nagle

UDP(不可靠、数据报、无连接)

  1. 头仅 8B:源/目的端口、长度、校验和
  2. 无连接、无握手、无状态、无重传、无拥塞控制
  3. 适用于实时业务(音视频、DNS、QUIC)、广播/组播
  4. 接收缓冲区满即丢包,发送端无感知

端口与五元组

  1. 端口 16 位:0~~1023 知名端口、1024~~49151 注册端口、49152~65535 临时端口
  2. 五元组唯一标识连接:{协议, 源IP, 源端口, 目的IP, 目的端口}
  3. 本地端口号范围:/proc/sys/net/ipv4/ip_local_port_range

2.1.4 应用层

  1. HTTP/HTTPS
    • HTTP 报文结构(请求行/头/体、状态行/头/体)、常用方法与状态码

    • HTTPS = HTTP + TLS:TLS 握手(协商套件、交换密钥、验证证书链),对称加密通信

  2. DNS
    • 记录类型:A / AAAA / CNAME / MX / NS / SOA / TXT

    • 解析方式:递归解析(客户端 → 本地递归 DNS 服务器代查)、迭代解析(递归 DNS → 根/顶级/权威 DNS 逐级查询)

    • /etc/resolv.conf 配置 nameserver;systemd-resolved 提供 127.0.0.53 stub listener 与缓存

  3. SSH
    • 非对称加密握手协商会话密钥、对称加密传输数据;公钥认证替代密码
  4. TLS 证书链
    • 端实体证书 → 中间 CA → 根 CA;系统内置根 CA 信任锚

    • 证书校验:签名链、有效期、域名匹配(SAN/CN)、吊销列表/OCSP

2.2 套接字接口

操作系统向应用层暴露的统一编程接口,套接字是一类文件描述符(与进程管理文档的文件描述符表对应)。

系统调用 作用
socket(domain, type, protocol) 创建套接字,返回 fd
bind(fd, addr) 绑定本地 IP + 端口(服务端必做)
listen(fd, backlog) 标记为被动监听套接字,指定全连接队列长度
accept(fd) 从全连接队列取已完成三次握手的连接,返回新 fd
connect(fd, addr) 主动发起连接(Client)
send / recv / sendto / recvfrom 收发数据
close(fd) 关闭连接,触发 FIN 流程

类型:

  1. SOCK_STREAM:TCP
  2. SOCK_DGRAM:UDP
  3. SOCK_RAW:原始 IP 包,需 root,用于 ping/traceroute 自建 IP/ICMP 头

套接字接收/发送缓冲区大小由 /proc/sys/net/ipv4/tcp_rmem / tcp_wmem 自动调节,与内存管理文档的分配器与页回收机制联动(缓冲满即阻塞或丢包,回收后恢复)。

2.3 防火墙与 NAT

2.3.1 netfilter 框架与 iptables/nftables

netfilter 是内核网络栈中的 hook 点,用户态 iptables/nftables 通过规则注入处理逻辑。

五表五链(iptables 概念)

表按优先级从高到低处理:raw → mangle → nat → filter → security。

表 作用
raw 连接跟踪前操作,NOTRACK 跳过 conntrack
mangle 修改报文头字段(TOS、TTL、MARK)
nat 源/目的地址转换(SNAT/DNAT/MASQUERADE/REDIRECT)
filter 默认表,访问控制(ACCEPT/DROP/REJECT/LOG)
security SELinux 安全标签相关

五条链分别对应报文路径关键节点:

  1. PREROUTING:报文到达本机路由前(入方向)
  2. INPUT:路由后送往本机上层(入方向本机为目的)
  3. FORWARD:路由后转发至其他主机(本机为路由网关)
  4. OUTPUT:本机上层进程生成的报文出栈前
  5. POSTROUTING:即将离开本机的最后节点

报文路径:

  • 入本机:PREROUTING → INPUT → 应用

  • 转发:PREROUTING → FORWARD → POSTROUTING

  • 本机出:OUTPUT → POSTROUTING

规则匹配顺序为链内自上而下,命中即跳动作;链尾默认策略(ACCEPT/DROP)。

常用动作
动作 适用表 说明
ACCEPT filter 等 放行
DROP filter 等 丢弃,不回包
REJECT filter 丢弃并回 ICMP 不可达或 TCP RST
LOG mangle/filter 记录到 syslog,不终止匹配
SNAT nat POSTROUTING 固定修改源地址
MASQUERADE nat POSTROUTING 按出接口地址动态 SNAT
DNAT nat PREROUTING/OUTPUT 固定修改目的地址+端口
REDIRECT nat PREROUTING/OUTPUT 本机端口重定向
连接跟踪 conntrack
  1. 维护五元组的状态(NEW/ESTABLISHED/RELATED/INVALID),支持状态化防火墙
  2. NAT 基于 conntrack 表实现反向自动翻译
  3. /proc/sys/net/netfilter/nf_conntrack_max 为表容量;满载丢新连接并告警
  4. 查看:conntrack -L / ss -o state established

2.3.2 nftables

iptables 的继任者,单命令 nft 替换(iptables/ip6tables/arptables/ebtables),规则集原子更新、性能更优。核心概念:

  • 表(table,地址族)、链(chain,类型+钩子)、规则(rule,匹配→跳转/动作)

  • 与 iptables 多数语义一致,语法更统一

firewalld / ufw 等发行版前端底层已逐步从 iptables 迁移至 nft。

2.4 网络命名空间(netns)

Linux 内核提供的网络栈隔离机制,是容器网络的基础。

  1. 隔离对象
    • 网络接口、路由表、iptables/nft 规则、套接字、ARP 表、conntrack 表、loopback
  2. 互通方式
    • veth pair:虚拟以太网线,两端分别放入两个 netns,跨命名空间转发

    • Linux bridge:虚拟交换机,多个 veth 接入同段,二层互通;brctl 或 ip link add br0 type bridge

    • 三层转发:net.ipv4.ip_forward=1,配合 iptables FORWARD 链、路由、NAT 实现跨网段与出公网

  3. 进程管理关联
    • clone(CLONE_NEWNET) / unshare --net 创建/加入命名空间;每个容器有独立 netns,对应 /proc//ns/net

与进程管理文档 cgroups 资源限制配合,容器网络带宽/丢包可由 net_cls / sch_netem 进行进一步限制(qdisc)。

2.5 网络栈缓冲区与 TCP 调优参数

  1. 网卡层
    • ethtool -g 查询 RX/TX ring size(ring 过小导致硬件丢包)

    • RSS:网卡多队列利用多核,避免单核处理中断瓶颈

  2. Qdisc 队列
    • 默认 pfifo_fast 或 fq_codel,支持 BQL 字节队列限制;tc 命令配置
  3. 套接字缓冲
    • tcp_rmem(min default max)、tcp_wmem:自动调节区间;net.core.rmem_default / wmem_default 静态默认

    • tcp_adv_win_scale:通告窗口与接收缓冲比例

  4. TCP 内核参数
    • net.ipv4.tcp_timestamps=1:RTO 计算与 PAWS

    • net.ipv4.tcp_sack=1:选择确认

    • net.ipv4.tcp_fastopen=3:TFO,客户端/服务端均开启,握手捎带数据

    • net.ipv4.tcp_tw_reuse=1:客户端 TIME_WAIT 套接字复用新连接(出方向安全)

    • net.ipv4.tcp_fin_timeout:FIN_WAIT_2 超时

    • net.ipv4.ip_local_port_range:临时端口范围

    • net.core.somaxconn:listen 全连接队列上限;与应用 backlog 取小者生效

    • net.ipv4.tcp_max_syn_backlog:半连接 SYN 队列上限

    • net.ipv4.tcp_syncookies=1:SYN 洪水防护

    • net.ipv4.tcp_retries2:数据重传次数上限(连接中断判断)

    • net.ipv4.tcp_syn_retries / tcp_synack_retries:SYN 尝试次数

TCP 缓冲占用属于内核内存,纳入内存管理文档回收与统计视野;大流量服务需关注 tcp_mem(单位页)三段阈值:压力低/压力中/压力高。

2.6 与 systemd 套件的关联

与 systemd 介绍文档中的套件组成章节对应:

  1. systemd-networkd
    • 管理接口 IP、路由、桥接、bond、vlan,配置于 /etc/systemd/network/*.network

    • 对应命令:networkctl(状态)、networkctl status eth0、networkctl list

  2. systemd-resolved
    • DNS 解析器 + 缓存 + stub listener(127.0.0.53:53)

    • 对应命令:resolvectl status、resolvectl query 域名、resolvectl flush-caches

    • /etc/resolv.conf 由其维护为存根或直接配置 nameserver

发行版差异:桌面/Ubuntu 早期常用 NetworkManager;服务器环境可任选 NetworkManager 或 networkd,二选一避免冲突。

三、实现:网络管理命令与排查

3.1 接口管理

# 接口列表、状态、统计(错误、丢包、溢出、队列)
ip -s link show eth0
ip link set eth0 up/down                # 启用/关闭接口
ip link set eth0 mtu 9000               # 设置 MTU(巨帧)

# IP 地址管理
ip addr add 192.168.1.10/24 dev eth0
ip addr del 192.168.1.10/24 dev eth0
ip addr flush dev eth0

# 网卡硬件属性:速率/双工、驱动、ring size、offload
ethtool eth0                            # 速率/双工/自动协商
ethtool -i eth0                         # 驱动与固件
ethtool -g eth0                         # ring size 预设与当前
ethtool -G eth0 rx 4096 tx 4096         # 调大 ring
ethtool -k eth0                         # offload 状态(GRO/GSO/TSO/CSUM)
ethtool -S eth0                         # 驱动级统计(rx_dropped/tx_dropped/CRC 错)

# 旧命令
ifconfig -a

3.2 路由与连通性

# 路由表
ip route show                           # 主路由表
ip route add default via 192.168.1.1 dev eth0
ip route add 10.0.0.0/8 via 192.168.1.2 dev eth0
ip route del 10.0.0.0/8
ip route get 8.8.8.8                    # 查询 8.8.8.8 走哪条

# 策略路由(多路由表,如按源地址选路)
ip rule show
ip rule add from 10.0.0.0/8 table 100

# ARP / 邻居
ip neigh                                # 等价 arp -a
ip neigh flush dev eth0

# 连通性
ping -c 4 8.8.8.8
ping -M do -s 1472 8.8.8.8             # 探测路径 MTU(不分片 1472=1500-28)

# 路径(mtr 结合 ping+traceroute,持续统计丢包)
traceroute -n -T -p 443 8.8.8.8
mtr -rw -T -P 443 8.8.8.8

3.3 连接与套接字

3.3.1 ss(iproute2,推荐)

ss -lntp                                 # 监听 TCP(-l 监听/-n 不解析/-t TCP/-p 进程)
ss -antp state established               # 已建立 TCP(含 TIME_WAIT 等全部 a=all)
ss -antp '( sport = :80 or dport = :80 )'
ss -s                                    # 汇总统计(TCP/UDP/各状态计数)
ss -ti dst 10.0.0.0/8                    # -ti 打印 TCP 内部状态
# cwnd、rwnd、retrans、lost、rtt、send/receive rate 等用于拥塞与重传诊断
ss -tan | awk '{print $1}' | sort | uniq -c   # 状态计数

3.3.2 lsof 与 /proc

lsof -i :80                              # 谁在占用 80 端口(绑定或连接均可)
lsof -p PID | grep -i socket             # 某进程打开的 socket(对应进程管理 fd 表)
ls -la /proc/PID/fd | grep socket        # 等价 fd 视角
cat /proc/net/tcp                        # 内核 TCP 表(16 进制地址/端口)

3.3.3 netstat(旧,已被 ss 替代)

netstat -lntp
netstat -antp
netstat -s                              # 协议栈汇总统计

3.4 抓包与性能

3.4.1 tcpdump

tcpdump -ni eth0 port 80                # 抓取 eth0 80 端口
tcpdump -ni any host 10.0.0.1 and \( port 443 or port 80 \) -w capture.pcap
tcpdump -ni eth0 -c 10 -X -s 0 tcp port 443   # 显示内容,抓 10 个,不限截长
# 过滤表达式类型:host、net、port、proto(tcp/udp/icmp)、方向 src/dst、逻辑 and/or/not

生产抓包优先 -w 存 pcap,再离线用 Wireshark 做协议分析与 TCP 流追踪。

3.4.2 带宽与压测

# 服务端
iperf3 -s
# 客户端(默认 TCP 10 秒)
iperf3 -c SERVER_IP -t 30 -P 4           # 30 秒 4 并发
iperf3 -u -c SERVER_IP -b 1G             # UDP,带宽 1Gbps(需服务端指定)

qperf SERVER_IP tcp_bw tcp_lat udp_bw udp_lat

3.4.3 sar 网络子统计

sar -n DEV 1                              # 接口 RX/TX 流量、pkt、drop、fifo 错
sar -n TCP 1                              # TCP:active/passive open、retrans、iseg/outseg
sar -n ETRACE 1                           # TCP 错误:reset、重传段、校验失败
sar -n SOCK 1                             # 套接字占用:TCP/UDP/RAW/used

3.4.4 抓包分析范式

  1. 文件轮转与容量控制
tcpdump -ni eth0 -w cap.pcap -C 100 -W 5 port 443   # 每 100MB 轮转,最多保留 5 个
tcpdump -ni eth0 -s 96 -w cap.pcap port 53          # 只截取前 96 字节(仅看首部的场景足够)
tcpdump -r cap.pcap -nn -c 20                       # 离线读取

轮转参数 -C 以 MB 为单位,产物依次为 cap.pcap0 至 cap.pcap4,写满后覆盖最早的文件,磁盘占用上限约为 C×W MB;-s 限制每包截取长度,仅关注握手与协议首部时可显著压缩文件体积。取样策略上,全量抓包只用于复现窗口期很短的故障,长周期观测应先用 BPF 过滤收窄范围,并配合轮转上限。

  1. 握手异常的判读
tcpdump -ni eth0 -nn 'tcp[tcpflags] & tcp-syn != 0 and tcp[tcpflags] & tcp-ack == 0'

只看到 SYN 而没有 SYN/ACK 的常见原因:

  • 服务端全连接队列或半连接队列已满:内核直接丢弃 SYN,客户端按 tcp_syn_retries 重试后超时,抓包表现为周期性重发的 SYN
  • 中间设备丢弃:安全组、云防火墙、运营商策略或 SYN 代理丢弃请求
  • 抓包位置不当:请求已到达服务端且服务端已回 SYN/ACK,但在客户端侧抓包只见 SYN,说明回程方向被丢弃
  • 目的地址不属于本机且未开启转发,或目标网段无回程路由,均无任何响应
  • 端口未监听时正常应回 RST,若连 RST 也没有,属于报文未到达或已被丢弃,而非应用拒绝

两端同时抓包并比对方向,可区分丢包发生在出向还是回向。

  1. RST 的来源判断
  • 服务端内核回送:端口未监听、连接跟踪表项不存在
  • 服务端应用拒绝:accept 后立即 close、达到最大连接数
  • 策略主动构造:REJECT --reject-with tcp-reset、中间设备的 reset 动作
  • 会话中途出现 RST:对端进程重启、conntrack 表项被提前清理或溢出

判读时结合 TTL 与序列号是否连续:RST 的 TTL 与服务端操作系统默认值明显不符,或携带的序号与当前会话完全对不上,通常来自中间设备而非端点。

  1. 重传与乱序的过滤与离线分析
tshark -r cap.pcap -Y 'tcp.analysis.retransmission' -T fields -e ip.src -e tcp.srcport | sort | uniq -c | sort -rn | head
tshark -r cap.pcap -Y 'tcp.analysis.out_of_order' | head
tshark -r cap.pcap -q -z io,stat,1,"COUNT(tcp.analysis.retransmission)tcp.analysis.retransmission"

BPF 过滤表达式只能按标志位、长度与端口粗筛,无法表达"重传""乱序""重复 ACK"这类 TCP 层语义;此类判定需要 tshark 的显示过滤器(-Y)或 Wireshark 的 tcp.analysis 系列字段。先统计重传集中在对端、本端还是某条链路,再结合 ss -ti 的 retrans、rto 与 mtr 各跳丢包率定位丢包位置。

  1. 按方向与端口的过滤写法
tcpdump -ni eth0 -nn 'src host 10.0.0.1 and dst port 443'
tcpdump -ni eth0 -nn 'dst host 10.0.0.1 and src portrange 1024-65535'
tcpdump -ni eth0 -nn 'host 10.0.0.1 and not port 22'
tcpdump -ni any -nn 'net 10.0.0.0/24 and (port 80 or port 443)'

src/dst 只修饰紧随其后的限定词,src host 10.0.0.1 and dst port 443 表示来自 10.0.0.1 且目的端口为 443。使用 any 接口时会同时抓到出向与入向副本,同一报文可能出现两次,按方向过滤可去重。

  1. 生产抓包的影响与规避
  • CPU 与中断:抓包把报文复制到用户态,高 pps 场景下软中断与 CPU 占用上升,可能引起业务抖动;限定接口与过滤条件、配置 -s 截断、避开业务高峰可降低影响
  • 磁盘:写入速率受磁盘带宽限制,除 -C 与 -W 轮转外,应将文件写入独立分区或临时文件系统,避免写满根分区
  • 时长与数量:长时间抓包建议配合 timeout 或 -c 限定总量,结束后用 du -sh 核对产物大小,确认无误后再复制到分析机

3.5 DNS

# dig
dig +short www.example.com                # 简洁返回 A
dig +trace www.example.com                # 递归全链路解析过程
dig @1.1.1.1 example.com MX               # 指定服务器查 MX
dig -x 8.8.8.8 +short                     # 反查 PTR

# nslookup(交互/非交互)
nslookup www.example.com
nslookup 8.8.8.8

# systemd-resolved
resolvectl status                         # 当前 DNS 服务与接口配置
resolvectl query www.example.com          # 走本机 resolved
resolvectl flush-caches                   # 清空本地缓存
resolvectl statistics                     # 缓存命中统计

# 配置
cat /etc/resolv.conf                      # 可能为 stub(nameserver 127.0.0.53)或直配

3.5.1 NSS 顺序与 /etc/nsswitch.conf

grep '^hosts' /etc/nsswitch.conf          # 查看名称解析顺序
getent hosts example.com                  # 走 NSS 链路,结果与应用程序一致
dig example.com                           # 绕过 NSS,直接查询 DNS
  1. hosts 行的默认值为 files mdns4_minimal [NOTFOUND=return] dns,含义为先查 /etc/hosts,未命中再交由 DNS(启用 systemd-resolved 时即向 127.0.0.53 查询)
  2. 调整顺序的常见改法
    • 把 files 放到 dns 之后:内网同名记录优先由 DNS 解析,与 /etc/hosts 中的静态映射冲突时以 DNS 为准
    • 在 dns 之后追加 myhostname:由 systemd 提供本机主机名解析,避免回落到外部 DNS
  3. 判读:getent hosts 与 dig 结果不一致时,差异来自 NSS 顺序、/etc/hosts 的静态映射或容器内缺失的 nsswitch.conf;精简镜像中缺少该文件时 glibc 使用内置默认顺序,解析行为与宿主机不同

3.5.2 /etc/resolv.conf 的 options 与 ndots

# /etc/resolv.conf 片段
nameserver 10.0.0.2
nameserver 223.5.5.5
options timeout:2 attempts:2 rotate
search svc.cluster.local
  1. options timeout:n:单次查询等待 n 秒后转向下一个 nameserver,默认 5
  2. options attempts:n:单个 nameserver 的重试次数,默认 2
  3. options rotate:在多个 nameserver 之间轮询,避免流量只落在首个服务器
  4. options ndots:n:域名中点数少于 n 时先按 search 域拼接尝试,默认 1

影响:默认的 timeout 5 与 attempts 2 在首个 nameserver 不可达时会带来约 10 秒等待,多个 nameserver 需全部超时才回退,这是解析缓慢的常见来源;search 域过多或 ndots 过大时,短域名(如 mysql)会依次尝试 mysql.svc.cluster.local 再回落查询 mysql.,每次失败都消耗一次超时。短域名解析慢时可先用 dig 短域名 观察 QUESTION 段中实际发送的查询名,确认存在 search 域拼接后再减少 search 条目或降低 ndots。

3.5.3 systemd-resolved 的 stub 监听与 resolvectl

ss -lntup | grep 127.0.0.53               # 确认 stub 监听
resolvectl status                         # 全局与链路级上游 DNS
resolvectl query example.com              # 查询结果及其来源
resolvectl statistics                     # 缓存命中与上游收发计数
resolvectl dns eth0                       # 查看指定链路的 DNS
journalctl -u systemd-resolved -n 50      # 解析异常时查看守护进程日志
  1. resolved 监听 127.0.0.53:53,/etc/resolv.conf 为指向 /run/systemd/resolve/stub-resolv.conf 的符号链接,内容只有 nameserver 127.0.0.53
  2. 上游 DNS 由 netplan 或 NetworkManager 提供,列表记录在 /run/systemd/resolve/resolv.conf 中,供不使用 stub 地址的程序读取
  3. 判读:dig example.com 默认使用 127.0.0.53,输出 SERVER 段即实际解析器;与 dig @上游DNS example.com 的耗时对比可区分本地链路问题与上游问题

3.5.4 自建缓存解析器

  1. dnsmasq:配置简单、资源占用小,适合单机或小规模内网做缓存加速、静态域名映射与按域名分流上游
  2. unbound:完整的递归解析器,自行完成根到权威的查询,支持 DNSSEC 验证、预取与较细的缓存策略,适合需要独立递归链路、不依赖外部递归服务器的内网
  3. 选择依据:只需缓存加速或统一内网域名时使用 dnsmasq;需要自建递归链路与 DNSSEC 校验时使用 unbound
  4. 部署注意:两者默认使用 53 端口,与 systemd-resolved 的 stub 监听冲突,需停用 stub 或调整监听地址;监听地址写入 0.0.0.0 会形成开放递归,必须限定允许查询的网段

3.5.5 DoT 与 DoH

  1. DoT(DNS over TLS):在 853 端口以 TLS 承载 DNS,链路加密、端口固定,容易被网络策略识别并拦截
  2. DoH(DNS over HTTPS):把查询封装为 HTTPS 请求,走 443 端口,与常规网页流量难以区分,穿透性更好,但依赖 HTTP 客户端栈,开销大于 DoT
  3. 作用:避免明文 DNS 被中间设备窥探与篡改,防止解析结果被劫持
  4. 代价:引入 TLS 握手与连接维护开销,首次解析时延上升;本地缓存与审计能力下降;集中出口若要求使用内部解析器,DoH 会绕过既有域名策略,需在合规层面一并评估
# /etc/systemd/resolved.conf 片段
[Resolve]
DNS=1.1.1.1#cloudflare-dns.com
DNSOverTLS=yes
DNSSEC=allow-downgrade

DNSOverTLS 可取 yes、opportunistic、no 三档;以 yes 方式启用时,需在服务器地址后用 #主机名 指定证书校验所用的名称。

3.5.6 解析慢的定位顺序

  1. 本地缓存:同一域名连续查询两次,第二次 Query time 明显下降说明缓存生效;仍慢则缓存未命中或缓存实现异常,命中计数见 resolvectl statistics
  2. 本机解析链路:检查 NSS 顺序、/etc/hosts 中的错误记录、resolv.conf 的 timeout 与 attempts 是否过长、search 域与 ndots 是否触发多余查询
  3. 上游递归:对比 dig @内网DNS、dig @公共DNS 与 dig +trace 的耗时,逐一测量同一域名在不同上游的响应时间
  4. 网络链路:用 mtr 观察到达上游 DNS 的丢包与时延,确认 53 端口是否被限速或丢弃;dig +notcp 与 dig +tcp 对比可判断是否需要改走 TCP
  5. 应用侧放大:应用同时发起 A 与 AAAA 查询,IPv6 不可达时逐次回退会放大总耗时

单次测量命令与缓存命中率的查看方式见 3.7.6。

3.6 防火墙

# iptables 基本
iptables -L -n -v --line-numbers          # 查看 filter 表默认,含计数
iptables -t nat -L -n -v
iptables -A INPUT -s 10.0.0.0/8 -p tcp --dport 22 -j ACCEPT
iptables -I INPUT 5 -p icmp -j DROP       # 插入第 5 条
iptables -D INPUT 5                       # 删除第 5 条
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -p tcp --dport 80 -j REJECT --reject-with tcp-reset

# iptables NAT
iptables -t nat -A POSTROUTING -s 10.0.0.0/8 -o eth0 -j MASQUERADE
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 8080 -j DNAT --to 10.0.0.10:80

# conntrack
conntrack -L | head
conntrack -C                              # 当前表占用
cat /proc/sys/net/netfilter/nf_conntrack_max

# firewalld(RHEL/CentOS 常见)
firewall-cmd --permanent --add-service=http --add-service=https
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.0.0.0/8 port port=22 protocol=tcp accept'
firewall-cmd --reload

# ufw(Ubuntu/Debian 常见)
ufw allow from 10.0.0.0/8 to any port 22
ufw enable ; ufw status verbose

3.7 常见问题排查

3.7.1 TIME_WAIT 过多(客户端)

  1. 识别
ss -tan state time-wait | wc -l
  1. 影响:占用五元组,临时端口耗尽 → 新连接 bind 失败或 connect 被拒
  2. 处理
    • net.ipv4.tcp_tw_reuse=1(主动方出方向安全复用,recycle 内核 4.10+ 移除)

    • 放宽 ip_local_port_range:1024 65535

    • 连接池/长连接复用,避免高并发短连接

3.7.2 CLOSE_WAIT 堆积(服务端被动 close)

  1. 识别
ss -tan state close-wait
  1. 原因:对端 FIN 后,本端收到 ACK 进入 CLOSE_WAIT,但应用层未调用 close() 释放 FD
  2. 排查
    • 进程 FD 总数:ls /proc/PID/fd | wc -l,与 ulimit -n 对比

    • 文件描述符泄漏:进程管理文档 FD 表与 lsof 定位未关闭套接字

    • 代码侧检查 try/finally 或 RAII 是否覆盖异常分支

3.7.3 SYN 洪水

  1. 识别:SYN_RECV 堆积大量伪造源 IP 半连接,服务响应慢或拒新连接
  2. 防护
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_synack_retries=2             # SYNACK 重试少
net.ipv4.tcp_max_syn_backlog=65535        # 半连接队列加大
net.core.somaxconn=65535
  1. 配合上游防火墙/CDN 清洗、SYNPROXY 规则彻底缓解

3.7.4 连接超时或被重置

  1. 路径连通性
    • 先 ping/traceroute;若禁 ICMP 用 mtr -T -P 端口走 TCP
  2. 服务端 LISTEN 状态
    • ss -lntp | grep :端口 确认进程绑定;未监听 → 应用未启或 IP/interface 限制
  3. 中间设备
    • iptables -L -n -v 计数是否命中 INPUT/FORWARD DROP

    • DROP 超时静默;REJECT 会快速返回 ICMP 不可达或 RST

  4. 抓包定位
    • 服务端与客户端同时抓:tcpdump -ni any host CLIENT_IP and port PORT

    • 出现 SYN→SYN/ACK→ACK 缺失某段:防火墙拦截;收到 RST:应用拒绝/listen backlog 满/安全策略

  5. 重试次数
    • net.ipv4.tcp_syn_retries 与 tcp_retries2 影响超时判定时长

3.7.5 丢包与重传过高

  1. 重传总览
    • ss -s 的 TCP lost/retrans、sar -n ETRACE 1 segretrans

    • 某连接:ss -ti dst x.x.x.x 看 retrans、lost、rtt、rto、cwnd、pacing_rate

  2. 丢包分层
    • 网卡 RX/TX drops:ip -s link / ethtool -S eth0 → ring 调大或改 interrupt 绑定

    • qdisc 丢包:tc -s qdisc show dev eth0 → queues/backlog 溢出

    • 网络中间丢包:mtr/mtr -T 路径各跳丢包率

    • conntrack 满:dmesg "nf_conntrack: table full, dropping packet" → 提高 nf_conntrack_max

  3. TCP 内存
    • cat /proc/sys/net/ipv4/tcp_mem:三段压力阈值,单位页;长期处于第三档 → 内存不足导致丢包与抖动

3.7.6 DNS 解析慢

  1. 单次测量
    • dig +trace 看每一跳时延,time dig @nameserver domain
  2. 本地缓存
    • resolvectl statistics 命中率;未启用缓存则部署 dnsmasq/resolved cache
  3. 上游服务器选优
    • 多个 nameserver 超时回退慢;按运营商部署地理最近的递归 DNS
  4. AAAA 回退
    • IPv6 不通时回退 A 记录耗时;可禁用 IPv6 或加选项 timeout:2 attempts:2 rotate

3.7.7 sysctl 持久化与拥塞控制

  1. 临时生效与持久化的区别
sysctl -w net.ipv4.tcp_slow_start_after_idle=0      # 仅运行时生效,重启后恢复
sysctl -n net.ipv4.tcp_congestion_control           # 查看单个参数的当前值
sysctl -a | grep -i congestion                      # 查看全部拥塞控制相关参数

持久化写入 /etc/sysctl.d/ 下的独立文件,再由 sysctl 统一加载:

# /etc/sysctl.d/99-network.conf
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
sudo sysctl --system                                # 按目录顺序加载全部配置
sudo sysctl -p /etc/sysctl.d/99-network.conf        # 只加载指定文件

sysctl --system 按固定顺序加载 /run/sysctl.d/、/etc/sysctl.d/、/usr/local/lib/sysctl.d/、/usr/lib/sysctl.d/、/lib/sysctl.d/ 与 /etc/sysctl.conf 中的配置文件,同一参数以最后加载的取值为准;直接执行 sysctl -w 不写入任何文件,重启或容器重建后失效。容器内的 sysctl 受命名空间限制,参数是否可写取决于它是否为命名空间级以及运行时提供的白名单,Docker 默认只允许修改部分具备命名空间隔离的参数,其余需在宿主机设置,或在创建容器时通过 --sysctl 指定。

  1. 拥塞控制算法与队列规则的开启与验证
sysctl net.ipv4.tcp_available_congestion_control    # 内核支持的算法列表
modprobe tcp_bbr                                    # 加载 BBR 模块(若未内置)
sudo sysctl -w net.core.default_qdisc=fq
sudo sysctl -w net.ipv4.tcp_congestion_control=bbr
sysctl net.ipv4.tcp_congestion_control net.core.default_qdisc
ss -ti                                              # 在已建立连接的 info 字段中查看实际生效算法

切换算法只影响之后新建的连接,既有连接沿用建立时选定的算法;验证时需在已建立连接上查看 ss -ti 输出中的 bbr 或 cubic 字样,而非仅查看全局参数。BBR 依赖发送端的速率估计,建议同时把默认队列规则设为 fq,fq_codel 场景下 BBR 的行为与 fq 有所不同(参见 2.5 的 Qdisc 说明)。

  1. 队列与 backlog 相关参数
  • net.core.netdev_max_backlog:每个 CPU 的输入队列长度,高 pps 网卡出现 ip -s link 中 RX dropped 增长、且 /proc/net/softnet_stat 对应 CPU 的 dropped 列增长时,可适当调大
  • net.ipv4.tcp_slow_start_after_idle:空闲一段时间后是否重置拥塞窗口,默认 1;长连接且间歇发送的场景设为 0,可避免每次空闲后重新慢启动造成的速率爬升延迟
  • net.core.somaxconn 与 net.ipv4.tcp_max_syn_backlog:前者为 accept 全连接队列上限,后者为半连接队列上限;应用 listen(fd, backlog) 的取值与 somaxconn 取小者生效,因此 Nginx 的 listen 80 backlog=8192 必须与 somaxconn 一同调整,只改应用侧不生效
  • 队列溢出可用 ss -lnt 的 Send-Q(当前队列长度)与 /proc/net/netstat 中的 ListenOverflows、ListenDrops 计数判断,配合 3.7.2 的 FD 排查一起做
  1. 容器环境下的 ip_forward
  • net.ipv4.ip_forward 属于网络命名空间级参数,容器共享宿主机内核但拥有独立 netns,在容器内设置只影响容器自身的转发行为
  • Docker 会在宿主机启用 ip_forward,并写入 FORWARD 链与 NAT 规则;手工在宿主机将其关闭,会导致容器无法出网、跨主机容器网络中断
  • Docker 的 daemon.json 中 "ip-forward": true 与 /etc/sysctl.d 下的同名配置可能互相覆盖,改动前先确认两处取值
  • 回滚方式:sudo sysctl -w net.ipv4.ip_forward=1,删除 /etc/sysctl.d 中对应行后执行 sudo sysctl --system,再核对容器与跨网段转发是否恢复

高危 提醒:sysctl 参数立即作用于正在运行的连接,误设 ip_forward、tcp_congestion_control、netdev_max_backlog 等参数会造成转发中断、连接性能下降或队列丢包加剧,写入配置文件后重启依然生效。防护建议:先用 sysctl -n 参数名 记录原值并写入变更记录;先在运行时临时修改并观察业务指标,正常后再落盘持久化;持久化使用独立的 99-network.conf 而非直接改写 /etc/sysctl.conf,便于逐项回退;回滚方式为 sudo sysctl -w 参数名=原值,若已写入文件则删除对应行后执行 sudo sysctl --system。

3.7.8 conntrack 与资源耗尽排查

  1. 表容量对比
conntrack -S                                       # 分类计数,含 insert_failed、drop、early_drop
cat /proc/sys/net/netfilter/nf_conntrack_count      # 当前表项数
cat /proc/sys/net/netfilter/nf_conntrack_max        # 表容量上限
cat /proc/sys/net/netfilter/nf_conntrack_buckets    # 哈希桶数(hashsize)

表项数 nf_conntrack_count 逼近 nf_conntrack_max 时新连接开始被丢弃,既有连接不受影响;conntrack -S 中 insert_failed、drop、early_drop 计数持续增长是溢出的直接证据,可与 3.6 的规则计数排查配合,确认是否为放行范围过宽造成表项堆积。

  1. 内核日志特征
dmesg -T | grep -i conntrack
nf_conntrack: table full, dropping packet

出现该行即表示表已满,报文被直接丢弃;此时业务侧表现为新建连接超时而既有长连接正常,ss 看不到异常状态,需要从内核计数与日志入手。

  1. nf_conntrack_max 与 hashsize 的调整
sudo sysctl -w net.netfilter.nf_conntrack_max=1048576
sudo sysctl -w net.netfilter.nf_conntrack_buckets=262144
modprobe nf_conntrack hashsize=262144             # 也可在加载模块时指定桶数
  • max 与 buckets 的经验比例约为 4:1;buckets 过小会在桶内形成长链,查找开销上升
  • 每个表项占用固定内存(数百字节量级,随内核版本与配置变化),提高 max 前需评估内存占用
  • net.netfilter.* 依赖 nf_conntrack 模块,模块未加载时可能不可写;持久化写入 /etc/sysctl.d/99-network.conf,并按 3.7.7 的方式执行 sysctl --system
  1. 缩短超时的取舍
sysctl net.netfilter.nf_conntrack_tcp_timeout_established   # 默认 432000 秒
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=86400
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=60

缩短超时可降低表项驻留时间、缓解容量压力,代价是跟踪状态提前失效:长连接在空闲超过新超时后若继续发送数据,可能被当作 NEW 重新建表,在状态化防火墙或 NAT 场景下出现丢包或连接中断。调整值应大于业务的最长空闲时间,改动后观察一段时间内的连接失败率。

  1. 文件描述符上限
ulimit -n                                          # 当前 shell 的软限制
ulimit -Hn                                         # 硬限制
cat /proc/<PID>/limits | grep 'open files'         # 指定进程的实际上限
ls /proc/<PID>/fd | wc -l                          # 指定进程当前已用 fd
cat /proc/sys/fs/file-nr                           # 系统级已分配、未使用与上限

进程已用 fd 逼近其 Max open files 时,accept 与打开文件会失败并报 Too many open files(EMFILE)。systemd 服务通过单元中的 LimitNOFILE= 设置,修改后需 systemctl daemon-reload 并重启服务;会话内执行 ulimit 只影响当前会话启动的进程,对已在运行的服务无效。

  1. 本地端口耗尽的判定与处理
ss -s                                              # 各状态连接汇总
ss -tan state time-wait | wc -l                    # TIME-WAIT 数量
cat /proc/sys/net/ipv4/ip_local_port_range         # 临时端口范围
  • 判定:主动发起大量短连接时,客户端侧 TIME-WAIT 是临时端口的主要消耗来源;ss -s 的 used 与 tw 计数持续接近 ip_local_port_range 的长度即为耗尽风险;报错形态为 Cannot assign requested address 或 connect 失败
  • 处理:按 3.7.1 启用 net.ipv4.tcp_tw_reuse=1,放宽 ip_local_port_range(如 1024 65535),改用连接池或长连接降低端口周转频率
  • 关联:五元组冲突与 3.3.1 的端口占用查看、3.7.2 的 FD 排查同属资源耗尽类问题,应同时核对外部连接的目标地址与端口是否过于集中

3.8 与 systemd 服务的联动管理

# networkd
networkctl list
networkctl status eth0
# /etc/systemd/network/eth0.network 变更后:
systemctl restart systemd-networkd

# resolved
resolvectl status
resolvectl query www.baidu.com
resolvectl flush-caches
systemctl restart systemd-resolved

NetworkManager 与 networkd 二选一启用即可,避免两者同时管理同一接口导致配置冲突。

四、总结

  • 网络管理起源于跨机数据共享的需求,通过协议标准化与分层抽象解决互操作性、并发通信复杂度与安全隔离三类问题

  • 原理核心是 TCP/IP 四层模型封装链路、网络、传输、应用各层机制,配合套接字统一编程模型、netfilter 防火墙与 NAT、netns 隔离、网络栈缓冲与调优参数,构成完整操作系统网络栈

  • 实现覆盖接口、路由、套接字、抓包性能、DNS、防火墙、常见问题与 systemd-networkd/resolved 联动管理

  • 套接字 fd 机制、进程/端口对应关系,与进程管理文档的文件描述符表和 lsof 用法贯通;网络缓冲与 tcp_mem 属于内核内存占用,受内存管理文档的分配与回收机制约束;networkd/resolved 对应 systemd 套件的专项守护进程与命令工具