内容总览
一、起源:网络管理解决的问题
1.1 单机孤立计算
早期计算机独立运行,跨主机共享数据与资源依赖磁盘、磁带等存储介质物理搬运。传输周期长、易出错、人工开销大,无法支撑跨地域协同与高实时性业务。
1.2 协议不统一
各厂商推出私有网络协议,硬件与软件互不兼容。跨厂商组网需要专用转换设备与协议适配,复杂度高、互操作性差。
为此业界提出两套参考框架:
- ISO OSI 七层模型:理论参考(物理/数据链路/网络/传输/会话/表示/应用)
- TCP/IP 四层模型:工程事实标准(链路/网络/传输/应用),成为 Internet 基础
1.3 并发通信的复杂性
多主机多进程并发通信时,至少需解决五类问题:
- 寻址与路由:数据从源到目的,经过哪些中间节点转发
- 多路复用与解复用:同一主机多进程共享网络出口,报文需正确送达对应进程
- 差错控制:链路干扰或拥塞导致的丢包、损坏、乱序的检测与恢复
- 流量控制:发送速率不超过接收方处理能力
- 拥塞控制:发送速率不超过网络承载能力,避免雪崩
上述复杂度交由操作系统网络栈统一处理,应用层仅使用套接字抽象。
1.4 安全与隔离
跨网通信面临窃听、篡改、身份伪造等威胁。不同业务或租户的网络需逻辑隔离与访问控制:
- 加密与身份认证:TLS、SSH、IPsec
- 访问控制:防火墙规则、安全组
- 逻辑隔离:VLAN、网络命名空间、虚拟路由与转发(VRF)
二、原理:网络如何工作
2.1 TCP/IP 四层模型与封装
每层加上自己的首部,接收时逐层剥首部,交由对应层处理。
应用层 数据 → HTTP/DNS/SSH payload
传输层 [TCP/UDP头 + 数据]
网络层 [IP头 + TCP头 + 数据]
链路层 [以太头 + IP头 + TCP头 + 数据 + FCS]
2.1.1 链路层
- 以太网帧
-
目的 MAC(6B)、源 MAC(6B)、类型(2B:0x0800 IPv4 / 0x86DD IPv6 / 0x0806 ARP)、payload(46~1500B MTU)、FCS 校验(4B)
-
MTU 默认 1500,叠加 VLAN/VxLAN 等会占用额外字节,需关注巨帧或分片
-
- MAC 寻址与 ARP
-
ARP 请求:广播问询"谁有 IP x.x.x.x,请告知 MAC"
-
ARP 应答:单播返回 MAC → 发送端缓存到 ARP 表,ip neigh 可查
-
免费 ARP:主机开机广播自己的 IP/MAC,检测冲突/刷新邻居
-
- VLAN(802.1Q)
-
以太网帧插入 4B VLAN 标签(TPID + TCI),12 bit VLAN ID 共 4096 个
-
交换机根据 VLAN 隔离广播域;不同 VLAN 间需三层路由互通
-
- 交换机
-
维护 MAC 地址表(MAC → 端口映射)
-
未知目的 MAC 泛洪,已知单播转发
-
2.1.2 网络层(IPv4)
- IP 头字段分类
-
基本信息:版本(4)、IHL 头长度、TOS/DSCP+ECN 区分服务与拥塞标记、总长度
-
分片:标识(同一报文各片相同)、标志(MF 还有分片 / DF 不分片)、片偏移(8B 单位)
-
生存:TTL(每跳 -1,0 丢弃并回 ICMP time exceeded,防路由环路)
-
上层:协议号(6 TCP、17 UDP、1 ICMP)、头校验和
-
地址:源 IP、目的 IP(各 4B)
-
选项:IHL > 5 时存在,安全/源路由/时间戳等,少见
-
- CIDR 与子网掩码
-
A/B/C 类已废弃,使用前缀长度(如 /24 等价掩码 255.255.255.0)
-
网络地址 = IP & 掩码;广播地址 = IP | ~掩码
-
同一子网直接 ARP 二层可达,不同子网经网关三层转发
-
- 路由表与最长前缀匹配
-
条目:目的网段 / 下一跳 / 出接口 / 度量(metric)
-
多条目匹配时取前缀最长者;无匹配则走默认路由(0.0.0.0/0)
-
- ICMP
-
Echo Request/Reply:ping 实现
-
Time Exceeded:TTL=0 超时、traceroute 原理(依次发 TTL=1,2,3... 触发中间节点超时回复)
-
Destination Unreachable:端口未开、主机不可达、分片需求但 DF=1(PMTUD)
-
- IP 分片与重组
-
MTU 不足且 DF=0:发送端或中间路由器按出接口 MTU 分片
-
标识+偏移+MF 标志在目的主机重组
-
任一片丢失整个报文丢弃,依赖传输层重传
-
2.1.3 传输层
TCP(可靠、面向字节流、面向连接)
- 头关键字段
-
源端口/目的端口:多路复用/解复用
-
序列号 SEQ:本报文字节流第一个字节的序号
-
确认号 ACK:期望收到的下一个字节序号,累计确认
-
标志位:SYN/ACK/FIN/RST/PSH/URG
-
窗口大小:接收端通告窗口 rwnd(字节),配合窗口扩大因子 WSopt
-
校验和、紧急指针
-
选项:MSS(最大段大小,默认 MTU-40=1460)、SACK(选择确认,修补多段丢失)、Timestamp(PAWS 防序列号回绕+RTTM)、Window Scale
-
- 连接建立(三次握手)
-
Client:SYN seq=x → 进入 SYN_SENT
-
Server:SYN+ACK seq=y ack=x+1 → 进入 SYN_RCVD;半连接队列保存
-
Client:ACK ack=y+1 → 进入 ESTABLISHED
-
Server:收到 ACK → ESTABLISHED;移入全连接队列(listen backlog),accept() 取出
-
- 连接关闭(四次挥手)
-
Client:FIN seq=u → FIN_WAIT_1
-
Server:ACK ack=u+1 → CLOSE_WAIT;应用读 EOF 后决定何时 close
-
Server:FIN seq=w ack=u+1 → LAST_ACK
-
Client:ACK ack=w+1 → TIME_WAIT;等待 2MSL 后 CLOSED
-
2MSL 作用:最后一个 ACK 丢失则 Server 重发 FIN;延迟报文自然消亡,避免新连接误用
-
- TCP 状态机关键状态
| 状态 | 出现位置 | 常见异常 |
|---|---|---|
| SYN_SENT | Client 发 SYN 后 | Server 不可达/防火墙丢包 |
| SYN_RCVD | Server 收 SYN 回 SYNACK 后 | SYN 洪水攻击时堆积 |
| ESTABLISHED | 连接畅通 | 正常数据传输 |
| FIN_WAIT_1 / FIN_WAIT_2 | Client 主动方前两阶段 | FIN_WAIT_2 若对方不 FIN,tcp_fin_timeout 超时回收 |
| CLOSE_WAIT | Server 被动方收到 FIN 未 close | 应用未调用 close,FD 泄漏 |
| LAST_ACK | Server 被动方发 FIN 后 | 等待最后 ACK |
| TIME_WAIT | Client 主动方收到 FIN 回 ACK 后 | 端口占用过多影响新连接 |
| LISTEN | 服务端监听 | accept 前 |
- 可靠保证
-
序列号 + ACK 累计确认
-
超时重传 RTO(基于 SRTT/RTO 动态计算),指数退避
-
SACK + FACK 允许接收方告知多段丢失情况,一次重传多条
-
校验和覆盖伪首部+TCP头+数据,损坏丢弃
-
- 流量控制(滑动窗口 rwnd)
-
接收端 rwnd 限制发送端 in-flight 字节数,避免接收缓冲区溢出
-
零窗口探测:rwnd=0 时发送端周期性 ZWP 探测
-
- 拥塞控制
-
慢启动:cwnd 指数增长,达到 ssthresh 切换拥塞避免
-
拥塞避免:cwnd 线性(RTT 内 +1 MSS)增长,试探带宽
-
丢包事件(超时/3 次重复 ACK):降 cwnd 与 ssthresh,重新慢启动或快速恢复
-
传统 Reno/NewReno 基于丢包判断拥塞;CUBIC(Linux 默认)对称凸凹曲线,公平稳定
-
BBR(需手动启用)基于带宽与最小 RTT 模型,不依赖丢包,高丢包链路利用率更高
-
- Nagle 与 Delayed ACK
-
Nagle:小数据段合并发送(等待 ACK 或累积 MSS),减少小包
-
Delayed ACK:接收方延迟 40~200ms 发 ACK,期望捎带数据
-
两者交互可造成写-写-读或写-读-写模式下的额外延迟,必要时 TCP_NODELAY 关闭 Nagle
-
UDP(不可靠、数据报、无连接)
- 头仅 8B:源/目的端口、长度、校验和
- 无连接、无握手、无状态、无重传、无拥塞控制
- 适用于实时业务(音视频、DNS、QUIC)、广播/组播
- 接收缓冲区满即丢包,发送端无感知
端口与五元组
- 端口 16 位:0~~1023 知名端口、1024~~49151 注册端口、49152~65535 临时端口
- 五元组唯一标识连接:{协议, 源IP, 源端口, 目的IP, 目的端口}
- 本地端口号范围:/proc/sys/net/ipv4/ip_local_port_range
2.1.4 应用层
- HTTP/HTTPS
-
HTTP 报文结构(请求行/头/体、状态行/头/体)、常用方法与状态码
-
HTTPS = HTTP + TLS:TLS 握手(协商套件、交换密钥、验证证书链),对称加密通信
-
- DNS
-
记录类型:A / AAAA / CNAME / MX / NS / SOA / TXT
-
解析方式:递归解析(客户端 → 本地递归 DNS 服务器代查)、迭代解析(递归 DNS → 根/顶级/权威 DNS 逐级查询)
-
/etc/resolv.conf 配置 nameserver;systemd-resolved 提供 127.0.0.53 stub listener 与缓存
-
- SSH
- 非对称加密握手协商会话密钥、对称加密传输数据;公钥认证替代密码
- TLS 证书链
-
端实体证书 → 中间 CA → 根 CA;系统内置根 CA 信任锚
-
证书校验:签名链、有效期、域名匹配(SAN/CN)、吊销列表/OCSP
-
2.2 套接字接口
操作系统向应用层暴露的统一编程接口,套接字是一类文件描述符(与进程管理文档的文件描述符表对应)。
| 系统调用 | 作用 |
|---|---|
| socket(domain, type, protocol) | 创建套接字,返回 fd |
| bind(fd, addr) | 绑定本地 IP + 端口(服务端必做) |
| listen(fd, backlog) | 标记为被动监听套接字,指定全连接队列长度 |
| accept(fd) | 从全连接队列取已完成三次握手的连接,返回新 fd |
| connect(fd, addr) | 主动发起连接(Client) |
| send / recv / sendto / recvfrom | 收发数据 |
| close(fd) | 关闭连接,触发 FIN 流程 |
类型:
- SOCK_STREAM:TCP
- SOCK_DGRAM:UDP
- SOCK_RAW:原始 IP 包,需 root,用于 ping/traceroute 自建 IP/ICMP 头
套接字接收/发送缓冲区大小由 /proc/sys/net/ipv4/tcp_rmem / tcp_wmem 自动调节,与内存管理文档的分配器与页回收机制联动(缓冲满即阻塞或丢包,回收后恢复)。
2.3 防火墙与 NAT
2.3.1 netfilter 框架与 iptables/nftables
netfilter 是内核网络栈中的 hook 点,用户态 iptables/nftables 通过规则注入处理逻辑。
五表五链(iptables 概念)
表按优先级从高到低处理:raw → mangle → nat → filter → security。
| 表 | 作用 |
|---|---|
| raw | 连接跟踪前操作,NOTRACK 跳过 conntrack |
| mangle | 修改报文头字段(TOS、TTL、MARK) |
| nat | 源/目的地址转换(SNAT/DNAT/MASQUERADE/REDIRECT) |
| filter | 默认表,访问控制(ACCEPT/DROP/REJECT/LOG) |
| security | SELinux 安全标签相关 |
五条链分别对应报文路径关键节点:
- PREROUTING:报文到达本机路由前(入方向)
- INPUT:路由后送往本机上层(入方向本机为目的)
- FORWARD:路由后转发至其他主机(本机为路由网关)
- OUTPUT:本机上层进程生成的报文出栈前
- POSTROUTING:即将离开本机的最后节点
报文路径:
-
入本机:PREROUTING → INPUT → 应用
-
转发:PREROUTING → FORWARD → POSTROUTING
-
本机出:OUTPUT → POSTROUTING
规则匹配顺序为链内自上而下,命中即跳动作;链尾默认策略(ACCEPT/DROP)。
常用动作
| 动作 | 适用表 | 说明 |
|---|---|---|
| ACCEPT | filter 等 | 放行 |
| DROP | filter 等 | 丢弃,不回包 |
| REJECT | filter | 丢弃并回 ICMP 不可达或 TCP RST |
| LOG | mangle/filter | 记录到 syslog,不终止匹配 |
| SNAT | nat POSTROUTING | 固定修改源地址 |
| MASQUERADE | nat POSTROUTING | 按出接口地址动态 SNAT |
| DNAT | nat PREROUTING/OUTPUT | 固定修改目的地址+端口 |
| REDIRECT | nat PREROUTING/OUTPUT | 本机端口重定向 |
连接跟踪 conntrack
- 维护五元组的状态(NEW/ESTABLISHED/RELATED/INVALID),支持状态化防火墙
- NAT 基于 conntrack 表实现反向自动翻译
- /proc/sys/net/netfilter/nf_conntrack_max 为表容量;满载丢新连接并告警
- 查看:conntrack -L / ss -o state established
2.3.2 nftables
iptables 的继任者,单命令 nft 替换(iptables/ip6tables/arptables/ebtables),规则集原子更新、性能更优。核心概念:
-
表(table,地址族)、链(chain,类型+钩子)、规则(rule,匹配→跳转/动作)
-
与 iptables 多数语义一致,语法更统一
firewalld / ufw 等发行版前端底层已逐步从 iptables 迁移至 nft。
2.4 网络命名空间(netns)
Linux 内核提供的网络栈隔离机制,是容器网络的基础。
- 隔离对象
- 网络接口、路由表、iptables/nft 规则、套接字、ARP 表、conntrack 表、loopback
- 互通方式
-
veth pair:虚拟以太网线,两端分别放入两个 netns,跨命名空间转发
-
Linux bridge:虚拟交换机,多个 veth 接入同段,二层互通;brctl 或 ip link add br0 type bridge
-
三层转发:net.ipv4.ip_forward=1,配合 iptables FORWARD 链、路由、NAT 实现跨网段与出公网
-
- 进程管理关联
- clone(CLONE_NEWNET) / unshare --net 创建/加入命名空间;每个容器有独立 netns,对应 /proc/
/ns/net
- clone(CLONE_NEWNET) / unshare --net 创建/加入命名空间;每个容器有独立 netns,对应 /proc/
与进程管理文档 cgroups 资源限制配合,容器网络带宽/丢包可由 net_cls / sch_netem 进行进一步限制(qdisc)。
2.5 网络栈缓冲区与 TCP 调优参数
- 网卡层
-
ethtool -g 查询 RX/TX ring size(ring 过小导致硬件丢包)
-
RSS:网卡多队列利用多核,避免单核处理中断瓶颈
-
- Qdisc 队列
- 默认 pfifo_fast 或 fq_codel,支持 BQL 字节队列限制;tc 命令配置
- 套接字缓冲
-
tcp_rmem(min default max)、tcp_wmem:自动调节区间;net.core.rmem_default / wmem_default 静态默认
-
tcp_adv_win_scale:通告窗口与接收缓冲比例
-
- TCP 内核参数
-
net.ipv4.tcp_timestamps=1:RTO 计算与 PAWS
-
net.ipv4.tcp_sack=1:选择确认
-
net.ipv4.tcp_fastopen=3:TFO,客户端/服务端均开启,握手捎带数据
-
net.ipv4.tcp_tw_reuse=1:客户端 TIME_WAIT 套接字复用新连接(出方向安全)
-
net.ipv4.tcp_fin_timeout:FIN_WAIT_2 超时
-
net.ipv4.ip_local_port_range:临时端口范围
-
net.core.somaxconn:listen 全连接队列上限;与应用 backlog 取小者生效
-
net.ipv4.tcp_max_syn_backlog:半连接 SYN 队列上限
-
net.ipv4.tcp_syncookies=1:SYN 洪水防护
-
net.ipv4.tcp_retries2:数据重传次数上限(连接中断判断)
-
net.ipv4.tcp_syn_retries / tcp_synack_retries:SYN 尝试次数
-
TCP 缓冲占用属于内核内存,纳入内存管理文档回收与统计视野;大流量服务需关注 tcp_mem(单位页)三段阈值:压力低/压力中/压力高。
2.6 与 systemd 套件的关联
与 systemd 介绍文档中的套件组成章节对应:
- systemd-networkd
-
管理接口 IP、路由、桥接、bond、vlan,配置于 /etc/systemd/network/*.network
-
对应命令:networkctl(状态)、networkctl status eth0、networkctl list
-
- systemd-resolved
-
DNS 解析器 + 缓存 + stub listener(127.0.0.53:53)
-
对应命令:resolvectl status、resolvectl query 域名、resolvectl flush-caches
-
/etc/resolv.conf 由其维护为存根或直接配置 nameserver
-
发行版差异:桌面/Ubuntu 早期常用 NetworkManager;服务器环境可任选 NetworkManager 或 networkd,二选一避免冲突。
三、实现:网络管理命令与排查
3.1 接口管理
# 接口列表、状态、统计(错误、丢包、溢出、队列)
ip -s link show eth0
ip link set eth0 up/down # 启用/关闭接口
ip link set eth0 mtu 9000 # 设置 MTU(巨帧)
# IP 地址管理
ip addr add 192.168.1.10/24 dev eth0
ip addr del 192.168.1.10/24 dev eth0
ip addr flush dev eth0
# 网卡硬件属性:速率/双工、驱动、ring size、offload
ethtool eth0 # 速率/双工/自动协商
ethtool -i eth0 # 驱动与固件
ethtool -g eth0 # ring size 预设与当前
ethtool -G eth0 rx 4096 tx 4096 # 调大 ring
ethtool -k eth0 # offload 状态(GRO/GSO/TSO/CSUM)
ethtool -S eth0 # 驱动级统计(rx_dropped/tx_dropped/CRC 错)
# 旧命令
ifconfig -a
3.2 路由与连通性
# 路由表
ip route show # 主路由表
ip route add default via 192.168.1.1 dev eth0
ip route add 10.0.0.0/8 via 192.168.1.2 dev eth0
ip route del 10.0.0.0/8
ip route get 8.8.8.8 # 查询 8.8.8.8 走哪条
# 策略路由(多路由表,如按源地址选路)
ip rule show
ip rule add from 10.0.0.0/8 table 100
# ARP / 邻居
ip neigh # 等价 arp -a
ip neigh flush dev eth0
# 连通性
ping -c 4 8.8.8.8
ping -M do -s 1472 8.8.8.8 # 探测路径 MTU(不分片 1472=1500-28)
# 路径(mtr 结合 ping+traceroute,持续统计丢包)
traceroute -n -T -p 443 8.8.8.8
mtr -rw -T -P 443 8.8.8.8
3.3 连接与套接字
3.3.1 ss(iproute2,推荐)
ss -lntp # 监听 TCP(-l 监听/-n 不解析/-t TCP/-p 进程)
ss -antp state established # 已建立 TCP(含 TIME_WAIT 等全部 a=all)
ss -antp '( sport = :80 or dport = :80 )'
ss -s # 汇总统计(TCP/UDP/各状态计数)
ss -ti dst 10.0.0.0/8 # -ti 打印 TCP 内部状态
# cwnd、rwnd、retrans、lost、rtt、send/receive rate 等用于拥塞与重传诊断
ss -tan | awk '{print $1}' | sort | uniq -c # 状态计数
3.3.2 lsof 与 /proc
lsof -i :80 # 谁在占用 80 端口(绑定或连接均可)
lsof -p PID | grep -i socket # 某进程打开的 socket(对应进程管理 fd 表)
ls -la /proc/PID/fd | grep socket # 等价 fd 视角
cat /proc/net/tcp # 内核 TCP 表(16 进制地址/端口)
3.3.3 netstat(旧,已被 ss 替代)
netstat -lntp
netstat -antp
netstat -s # 协议栈汇总统计
3.4 抓包与性能
3.4.1 tcpdump
tcpdump -ni eth0 port 80 # 抓取 eth0 80 端口
tcpdump -ni any host 10.0.0.1 and \( port 443 or port 80 \) -w capture.pcap
tcpdump -ni eth0 -c 10 -X -s 0 tcp port 443 # 显示内容,抓 10 个,不限截长
# 过滤表达式类型:host、net、port、proto(tcp/udp/icmp)、方向 src/dst、逻辑 and/or/not
生产抓包优先 -w 存 pcap,再离线用 Wireshark 做协议分析与 TCP 流追踪。
3.4.2 带宽与压测
# 服务端
iperf3 -s
# 客户端(默认 TCP 10 秒)
iperf3 -c SERVER_IP -t 30 -P 4 # 30 秒 4 并发
iperf3 -u -c SERVER_IP -b 1G # UDP,带宽 1Gbps(需服务端指定)
qperf SERVER_IP tcp_bw tcp_lat udp_bw udp_lat
3.4.3 sar 网络子统计
sar -n DEV 1 # 接口 RX/TX 流量、pkt、drop、fifo 错
sar -n TCP 1 # TCP:active/passive open、retrans、iseg/outseg
sar -n ETRACE 1 # TCP 错误:reset、重传段、校验失败
sar -n SOCK 1 # 套接字占用:TCP/UDP/RAW/used
3.4.4 抓包分析范式
- 文件轮转与容量控制
tcpdump -ni eth0 -w cap.pcap -C 100 -W 5 port 443 # 每 100MB 轮转,最多保留 5 个
tcpdump -ni eth0 -s 96 -w cap.pcap port 53 # 只截取前 96 字节(仅看首部的场景足够)
tcpdump -r cap.pcap -nn -c 20 # 离线读取
轮转参数 -C 以 MB 为单位,产物依次为 cap.pcap0 至 cap.pcap4,写满后覆盖最早的文件,磁盘占用上限约为 C×W MB;-s 限制每包截取长度,仅关注握手与协议首部时可显著压缩文件体积。取样策略上,全量抓包只用于复现窗口期很短的故障,长周期观测应先用 BPF 过滤收窄范围,并配合轮转上限。
- 握手异常的判读
tcpdump -ni eth0 -nn 'tcp[tcpflags] & tcp-syn != 0 and tcp[tcpflags] & tcp-ack == 0'
只看到 SYN 而没有 SYN/ACK 的常见原因:
- 服务端全连接队列或半连接队列已满:内核直接丢弃 SYN,客户端按 tcp_syn_retries 重试后超时,抓包表现为周期性重发的 SYN
- 中间设备丢弃:安全组、云防火墙、运营商策略或 SYN 代理丢弃请求
- 抓包位置不当:请求已到达服务端且服务端已回 SYN/ACK,但在客户端侧抓包只见 SYN,说明回程方向被丢弃
- 目的地址不属于本机且未开启转发,或目标网段无回程路由,均无任何响应
- 端口未监听时正常应回 RST,若连 RST 也没有,属于报文未到达或已被丢弃,而非应用拒绝
两端同时抓包并比对方向,可区分丢包发生在出向还是回向。
- RST 的来源判断
- 服务端内核回送:端口未监听、连接跟踪表项不存在
- 服务端应用拒绝:accept 后立即 close、达到最大连接数
- 策略主动构造:REJECT --reject-with tcp-reset、中间设备的 reset 动作
- 会话中途出现 RST:对端进程重启、conntrack 表项被提前清理或溢出
判读时结合 TTL 与序列号是否连续:RST 的 TTL 与服务端操作系统默认值明显不符,或携带的序号与当前会话完全对不上,通常来自中间设备而非端点。
- 重传与乱序的过滤与离线分析
tshark -r cap.pcap -Y 'tcp.analysis.retransmission' -T fields -e ip.src -e tcp.srcport | sort | uniq -c | sort -rn | head
tshark -r cap.pcap -Y 'tcp.analysis.out_of_order' | head
tshark -r cap.pcap -q -z io,stat,1,"COUNT(tcp.analysis.retransmission)tcp.analysis.retransmission"
BPF 过滤表达式只能按标志位、长度与端口粗筛,无法表达"重传""乱序""重复 ACK"这类 TCP 层语义;此类判定需要 tshark 的显示过滤器(-Y)或 Wireshark 的 tcp.analysis 系列字段。先统计重传集中在对端、本端还是某条链路,再结合 ss -ti 的 retrans、rto 与 mtr 各跳丢包率定位丢包位置。
- 按方向与端口的过滤写法
tcpdump -ni eth0 -nn 'src host 10.0.0.1 and dst port 443'
tcpdump -ni eth0 -nn 'dst host 10.0.0.1 and src portrange 1024-65535'
tcpdump -ni eth0 -nn 'host 10.0.0.1 and not port 22'
tcpdump -ni any -nn 'net 10.0.0.0/24 and (port 80 or port 443)'
src/dst 只修饰紧随其后的限定词,src host 10.0.0.1 and dst port 443 表示来自 10.0.0.1 且目的端口为 443。使用 any 接口时会同时抓到出向与入向副本,同一报文可能出现两次,按方向过滤可去重。
- 生产抓包的影响与规避
- CPU 与中断:抓包把报文复制到用户态,高 pps 场景下软中断与 CPU 占用上升,可能引起业务抖动;限定接口与过滤条件、配置 -s 截断、避开业务高峰可降低影响
- 磁盘:写入速率受磁盘带宽限制,除 -C 与 -W 轮转外,应将文件写入独立分区或临时文件系统,避免写满根分区
- 时长与数量:长时间抓包建议配合 timeout 或 -c 限定总量,结束后用 du -sh 核对产物大小,确认无误后再复制到分析机
3.5 DNS
# dig
dig +short www.example.com # 简洁返回 A
dig +trace www.example.com # 递归全链路解析过程
dig @1.1.1.1 example.com MX # 指定服务器查 MX
dig -x 8.8.8.8 +short # 反查 PTR
# nslookup(交互/非交互)
nslookup www.example.com
nslookup 8.8.8.8
# systemd-resolved
resolvectl status # 当前 DNS 服务与接口配置
resolvectl query www.example.com # 走本机 resolved
resolvectl flush-caches # 清空本地缓存
resolvectl statistics # 缓存命中统计
# 配置
cat /etc/resolv.conf # 可能为 stub(nameserver 127.0.0.53)或直配
3.5.1 NSS 顺序与 /etc/nsswitch.conf
grep '^hosts' /etc/nsswitch.conf # 查看名称解析顺序
getent hosts example.com # 走 NSS 链路,结果与应用程序一致
dig example.com # 绕过 NSS,直接查询 DNS
- hosts 行的默认值为
files mdns4_minimal [NOTFOUND=return] dns,含义为先查 /etc/hosts,未命中再交由 DNS(启用 systemd-resolved 时即向 127.0.0.53 查询) - 调整顺序的常见改法
- 把 files 放到 dns 之后:内网同名记录优先由 DNS 解析,与 /etc/hosts 中的静态映射冲突时以 DNS 为准
- 在 dns 之后追加 myhostname:由 systemd 提供本机主机名解析,避免回落到外部 DNS
- 判读:getent hosts 与 dig 结果不一致时,差异来自 NSS 顺序、/etc/hosts 的静态映射或容器内缺失的 nsswitch.conf;精简镜像中缺少该文件时 glibc 使用内置默认顺序,解析行为与宿主机不同
3.5.2 /etc/resolv.conf 的 options 与 ndots
# /etc/resolv.conf 片段
nameserver 10.0.0.2
nameserver 223.5.5.5
options timeout:2 attempts:2 rotate
search svc.cluster.local
options timeout:n:单次查询等待 n 秒后转向下一个 nameserver,默认 5options attempts:n:单个 nameserver 的重试次数,默认 2options rotate:在多个 nameserver 之间轮询,避免流量只落在首个服务器options ndots:n:域名中点数少于 n 时先按 search 域拼接尝试,默认 1
影响:默认的 timeout 5 与 attempts 2 在首个 nameserver 不可达时会带来约 10 秒等待,多个 nameserver 需全部超时才回退,这是解析缓慢的常见来源;search 域过多或 ndots 过大时,短域名(如 mysql)会依次尝试 mysql.svc.cluster.local 再回落查询 mysql.,每次失败都消耗一次超时。短域名解析慢时可先用 dig 短域名 观察 QUESTION 段中实际发送的查询名,确认存在 search 域拼接后再减少 search 条目或降低 ndots。
3.5.3 systemd-resolved 的 stub 监听与 resolvectl
ss -lntup | grep 127.0.0.53 # 确认 stub 监听
resolvectl status # 全局与链路级上游 DNS
resolvectl query example.com # 查询结果及其来源
resolvectl statistics # 缓存命中与上游收发计数
resolvectl dns eth0 # 查看指定链路的 DNS
journalctl -u systemd-resolved -n 50 # 解析异常时查看守护进程日志
- resolved 监听 127.0.0.53:53,/etc/resolv.conf 为指向 /run/systemd/resolve/stub-resolv.conf 的符号链接,内容只有 nameserver 127.0.0.53
- 上游 DNS 由 netplan 或 NetworkManager 提供,列表记录在 /run/systemd/resolve/resolv.conf 中,供不使用 stub 地址的程序读取
- 判读:
dig example.com默认使用 127.0.0.53,输出 SERVER 段即实际解析器;与dig @上游DNS example.com的耗时对比可区分本地链路问题与上游问题
3.5.4 自建缓存解析器
- dnsmasq:配置简单、资源占用小,适合单机或小规模内网做缓存加速、静态域名映射与按域名分流上游
- unbound:完整的递归解析器,自行完成根到权威的查询,支持 DNSSEC 验证、预取与较细的缓存策略,适合需要独立递归链路、不依赖外部递归服务器的内网
- 选择依据:只需缓存加速或统一内网域名时使用 dnsmasq;需要自建递归链路与 DNSSEC 校验时使用 unbound
- 部署注意:两者默认使用 53 端口,与 systemd-resolved 的 stub 监听冲突,需停用 stub 或调整监听地址;监听地址写入 0.0.0.0 会形成开放递归,必须限定允许查询的网段
3.5.5 DoT 与 DoH
- DoT(DNS over TLS):在 853 端口以 TLS 承载 DNS,链路加密、端口固定,容易被网络策略识别并拦截
- DoH(DNS over HTTPS):把查询封装为 HTTPS 请求,走 443 端口,与常规网页流量难以区分,穿透性更好,但依赖 HTTP 客户端栈,开销大于 DoT
- 作用:避免明文 DNS 被中间设备窥探与篡改,防止解析结果被劫持
- 代价:引入 TLS 握手与连接维护开销,首次解析时延上升;本地缓存与审计能力下降;集中出口若要求使用内部解析器,DoH 会绕过既有域名策略,需在合规层面一并评估
# /etc/systemd/resolved.conf 片段
[Resolve]
DNS=1.1.1.1#cloudflare-dns.com
DNSOverTLS=yes
DNSSEC=allow-downgrade
DNSOverTLS 可取 yes、opportunistic、no 三档;以 yes 方式启用时,需在服务器地址后用 #主机名 指定证书校验所用的名称。
3.5.6 解析慢的定位顺序
- 本地缓存:同一域名连续查询两次,第二次 Query time 明显下降说明缓存生效;仍慢则缓存未命中或缓存实现异常,命中计数见
resolvectl statistics - 本机解析链路:检查 NSS 顺序、/etc/hosts 中的错误记录、resolv.conf 的 timeout 与 attempts 是否过长、search 域与 ndots 是否触发多余查询
- 上游递归:对比
dig @内网DNS、dig @公共DNS与dig +trace的耗时,逐一测量同一域名在不同上游的响应时间 - 网络链路:用 mtr 观察到达上游 DNS 的丢包与时延,确认 53 端口是否被限速或丢弃;
dig +notcp与dig +tcp对比可判断是否需要改走 TCP - 应用侧放大:应用同时发起 A 与 AAAA 查询,IPv6 不可达时逐次回退会放大总耗时
单次测量命令与缓存命中率的查看方式见 3.7.6。
3.6 防火墙
# iptables 基本
iptables -L -n -v --line-numbers # 查看 filter 表默认,含计数
iptables -t nat -L -n -v
iptables -A INPUT -s 10.0.0.0/8 -p tcp --dport 22 -j ACCEPT
iptables -I INPUT 5 -p icmp -j DROP # 插入第 5 条
iptables -D INPUT 5 # 删除第 5 条
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -p tcp --dport 80 -j REJECT --reject-with tcp-reset
# iptables NAT
iptables -t nat -A POSTROUTING -s 10.0.0.0/8 -o eth0 -j MASQUERADE
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 8080 -j DNAT --to 10.0.0.10:80
# conntrack
conntrack -L | head
conntrack -C # 当前表占用
cat /proc/sys/net/netfilter/nf_conntrack_max
# firewalld(RHEL/CentOS 常见)
firewall-cmd --permanent --add-service=http --add-service=https
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.0.0.0/8 port port=22 protocol=tcp accept'
firewall-cmd --reload
# ufw(Ubuntu/Debian 常见)
ufw allow from 10.0.0.0/8 to any port 22
ufw enable ; ufw status verbose
3.7 常见问题排查
3.7.1 TIME_WAIT 过多(客户端)
- 识别
ss -tan state time-wait | wc -l
- 影响:占用五元组,临时端口耗尽 → 新连接 bind 失败或 connect 被拒
- 处理
-
net.ipv4.tcp_tw_reuse=1(主动方出方向安全复用,recycle 内核 4.10+ 移除) -
放宽
ip_local_port_range:1024 65535 -
连接池/长连接复用,避免高并发短连接
-
3.7.2 CLOSE_WAIT 堆积(服务端被动 close)
- 识别
ss -tan state close-wait
- 原因:对端 FIN 后,本端收到 ACK 进入 CLOSE_WAIT,但应用层未调用 close() 释放 FD
- 排查
-
进程 FD 总数:
ls /proc/PID/fd | wc -l,与 ulimit -n 对比 -
文件描述符泄漏:进程管理文档 FD 表与 lsof 定位未关闭套接字
-
代码侧检查 try/finally 或 RAII 是否覆盖异常分支
-
3.7.3 SYN 洪水
- 识别:SYN_RECV 堆积大量伪造源 IP 半连接,服务响应慢或拒新连接
- 防护
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_synack_retries=2 # SYNACK 重试少
net.ipv4.tcp_max_syn_backlog=65535 # 半连接队列加大
net.core.somaxconn=65535
- 配合上游防火墙/CDN 清洗、SYNPROXY 规则彻底缓解
3.7.4 连接超时或被重置
- 路径连通性
- 先 ping/traceroute;若禁 ICMP 用 mtr -T -P 端口走 TCP
- 服务端 LISTEN 状态
ss -lntp | grep :端口确认进程绑定;未监听 → 应用未启或 IP/interface 限制
- 中间设备
-
iptables -L -n -v 计数是否命中 INPUT/FORWARD DROP
-
DROP 超时静默;REJECT 会快速返回 ICMP 不可达或 RST
-
- 抓包定位
-
服务端与客户端同时抓:
tcpdump -ni any host CLIENT_IP and port PORT -
出现 SYN→SYN/ACK→ACK 缺失某段:防火墙拦截;收到 RST:应用拒绝/listen backlog 满/安全策略
-
- 重试次数
net.ipv4.tcp_syn_retries与tcp_retries2影响超时判定时长
3.7.5 丢包与重传过高
- 重传总览
-
ss -s的 TCP lost/retrans、sar -n ETRACE 1segretrans -
某连接:
ss -ti dst x.x.x.x看 retrans、lost、rtt、rto、cwnd、pacing_rate
-
- 丢包分层
-
网卡 RX/TX drops:
ip -s link/ethtool -S eth0→ ring 调大或改 interrupt 绑定 -
qdisc 丢包:
tc -s qdisc show dev eth0→ queues/backlog 溢出 -
网络中间丢包:mtr/mtr -T 路径各跳丢包率
-
conntrack 满:dmesg "nf_conntrack: table full, dropping packet" → 提高 nf_conntrack_max
-
- TCP 内存
cat /proc/sys/net/ipv4/tcp_mem:三段压力阈值,单位页;长期处于第三档 → 内存不足导致丢包与抖动
3.7.6 DNS 解析慢
- 单次测量
dig +trace看每一跳时延,time dig @nameserver domain
- 本地缓存
resolvectl statistics命中率;未启用缓存则部署 dnsmasq/resolved cache
- 上游服务器选优
- 多个 nameserver 超时回退慢;按运营商部署地理最近的递归 DNS
- AAAA 回退
- IPv6 不通时回退 A 记录耗时;可禁用 IPv6 或加选项 timeout:2 attempts:2 rotate
3.7.7 sysctl 持久化与拥塞控制
- 临时生效与持久化的区别
sysctl -w net.ipv4.tcp_slow_start_after_idle=0 # 仅运行时生效,重启后恢复
sysctl -n net.ipv4.tcp_congestion_control # 查看单个参数的当前值
sysctl -a | grep -i congestion # 查看全部拥塞控制相关参数
持久化写入 /etc/sysctl.d/ 下的独立文件,再由 sysctl 统一加载:
# /etc/sysctl.d/99-network.conf
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
sudo sysctl --system # 按目录顺序加载全部配置
sudo sysctl -p /etc/sysctl.d/99-network.conf # 只加载指定文件
sysctl --system 按固定顺序加载 /run/sysctl.d/、/etc/sysctl.d/、/usr/local/lib/sysctl.d/、/usr/lib/sysctl.d/、/lib/sysctl.d/ 与 /etc/sysctl.conf 中的配置文件,同一参数以最后加载的取值为准;直接执行 sysctl -w 不写入任何文件,重启或容器重建后失效。容器内的 sysctl 受命名空间限制,参数是否可写取决于它是否为命名空间级以及运行时提供的白名单,Docker 默认只允许修改部分具备命名空间隔离的参数,其余需在宿主机设置,或在创建容器时通过 --sysctl 指定。
- 拥塞控制算法与队列规则的开启与验证
sysctl net.ipv4.tcp_available_congestion_control # 内核支持的算法列表
modprobe tcp_bbr # 加载 BBR 模块(若未内置)
sudo sysctl -w net.core.default_qdisc=fq
sudo sysctl -w net.ipv4.tcp_congestion_control=bbr
sysctl net.ipv4.tcp_congestion_control net.core.default_qdisc
ss -ti # 在已建立连接的 info 字段中查看实际生效算法
切换算法只影响之后新建的连接,既有连接沿用建立时选定的算法;验证时需在已建立连接上查看 ss -ti 输出中的 bbr 或 cubic 字样,而非仅查看全局参数。BBR 依赖发送端的速率估计,建议同时把默认队列规则设为 fq,fq_codel 场景下 BBR 的行为与 fq 有所不同(参见 2.5 的 Qdisc 说明)。
- 队列与 backlog 相关参数
net.core.netdev_max_backlog:每个 CPU 的输入队列长度,高 pps 网卡出现ip -s link中 RX dropped 增长、且 /proc/net/softnet_stat 对应 CPU 的 dropped 列增长时,可适当调大net.ipv4.tcp_slow_start_after_idle:空闲一段时间后是否重置拥塞窗口,默认 1;长连接且间歇发送的场景设为 0,可避免每次空闲后重新慢启动造成的速率爬升延迟net.core.somaxconn与net.ipv4.tcp_max_syn_backlog:前者为 accept 全连接队列上限,后者为半连接队列上限;应用listen(fd, backlog)的取值与 somaxconn 取小者生效,因此 Nginx 的listen 80 backlog=8192必须与 somaxconn 一同调整,只改应用侧不生效- 队列溢出可用
ss -lnt的 Send-Q(当前队列长度)与 /proc/net/netstat 中的 ListenOverflows、ListenDrops 计数判断,配合 3.7.2 的 FD 排查一起做
- 容器环境下的 ip_forward
net.ipv4.ip_forward属于网络命名空间级参数,容器共享宿主机内核但拥有独立 netns,在容器内设置只影响容器自身的转发行为- Docker 会在宿主机启用 ip_forward,并写入 FORWARD 链与 NAT 规则;手工在宿主机将其关闭,会导致容器无法出网、跨主机容器网络中断
- Docker 的 daemon.json 中
"ip-forward": true与 /etc/sysctl.d 下的同名配置可能互相覆盖,改动前先确认两处取值 - 回滚方式:
sudo sysctl -w net.ipv4.ip_forward=1,删除 /etc/sysctl.d 中对应行后执行sudo sysctl --system,再核对容器与跨网段转发是否恢复
高危 提醒:sysctl 参数立即作用于正在运行的连接,误设 ip_forward、tcp_congestion_control、netdev_max_backlog 等参数会造成转发中断、连接性能下降或队列丢包加剧,写入配置文件后重启依然生效。防护建议:先用 sysctl -n 参数名 记录原值并写入变更记录;先在运行时临时修改并观察业务指标,正常后再落盘持久化;持久化使用独立的 99-network.conf 而非直接改写 /etc/sysctl.conf,便于逐项回退;回滚方式为 sudo sysctl -w 参数名=原值,若已写入文件则删除对应行后执行 sudo sysctl --system。
3.7.8 conntrack 与资源耗尽排查
- 表容量对比
conntrack -S # 分类计数,含 insert_failed、drop、early_drop
cat /proc/sys/net/netfilter/nf_conntrack_count # 当前表项数
cat /proc/sys/net/netfilter/nf_conntrack_max # 表容量上限
cat /proc/sys/net/netfilter/nf_conntrack_buckets # 哈希桶数(hashsize)
表项数 nf_conntrack_count 逼近 nf_conntrack_max 时新连接开始被丢弃,既有连接不受影响;conntrack -S 中 insert_failed、drop、early_drop 计数持续增长是溢出的直接证据,可与 3.6 的规则计数排查配合,确认是否为放行范围过宽造成表项堆积。
- 内核日志特征
dmesg -T | grep -i conntrack
nf_conntrack: table full, dropping packet
出现该行即表示表已满,报文被直接丢弃;此时业务侧表现为新建连接超时而既有长连接正常,ss 看不到异常状态,需要从内核计数与日志入手。
- nf_conntrack_max 与 hashsize 的调整
sudo sysctl -w net.netfilter.nf_conntrack_max=1048576
sudo sysctl -w net.netfilter.nf_conntrack_buckets=262144
modprobe nf_conntrack hashsize=262144 # 也可在加载模块时指定桶数
- max 与 buckets 的经验比例约为 4:1;buckets 过小会在桶内形成长链,查找开销上升
- 每个表项占用固定内存(数百字节量级,随内核版本与配置变化),提高 max 前需评估内存占用
- net.netfilter.* 依赖 nf_conntrack 模块,模块未加载时可能不可写;持久化写入 /etc/sysctl.d/99-network.conf,并按 3.7.7 的方式执行
sysctl --system
- 缩短超时的取舍
sysctl net.netfilter.nf_conntrack_tcp_timeout_established # 默认 432000 秒
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=86400
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=60
缩短超时可降低表项驻留时间、缓解容量压力,代价是跟踪状态提前失效:长连接在空闲超过新超时后若继续发送数据,可能被当作 NEW 重新建表,在状态化防火墙或 NAT 场景下出现丢包或连接中断。调整值应大于业务的最长空闲时间,改动后观察一段时间内的连接失败率。
- 文件描述符上限
ulimit -n # 当前 shell 的软限制
ulimit -Hn # 硬限制
cat /proc/<PID>/limits | grep 'open files' # 指定进程的实际上限
ls /proc/<PID>/fd | wc -l # 指定进程当前已用 fd
cat /proc/sys/fs/file-nr # 系统级已分配、未使用与上限
进程已用 fd 逼近其 Max open files 时,accept 与打开文件会失败并报 Too many open files(EMFILE)。systemd 服务通过单元中的 LimitNOFILE= 设置,修改后需 systemctl daemon-reload 并重启服务;会话内执行 ulimit 只影响当前会话启动的进程,对已在运行的服务无效。
- 本地端口耗尽的判定与处理
ss -s # 各状态连接汇总
ss -tan state time-wait | wc -l # TIME-WAIT 数量
cat /proc/sys/net/ipv4/ip_local_port_range # 临时端口范围
- 判定:主动发起大量短连接时,客户端侧 TIME-WAIT 是临时端口的主要消耗来源;
ss -s的 used 与 tw 计数持续接近 ip_local_port_range 的长度即为耗尽风险;报错形态为 Cannot assign requested address 或 connect 失败 - 处理:按 3.7.1 启用
net.ipv4.tcp_tw_reuse=1,放宽 ip_local_port_range(如1024 65535),改用连接池或长连接降低端口周转频率 - 关联:五元组冲突与 3.3.1 的端口占用查看、3.7.2 的 FD 排查同属资源耗尽类问题,应同时核对外部连接的目标地址与端口是否过于集中
3.8 与 systemd 服务的联动管理
# networkd
networkctl list
networkctl status eth0
# /etc/systemd/network/eth0.network 变更后:
systemctl restart systemd-networkd
# resolved
resolvectl status
resolvectl query www.baidu.com
resolvectl flush-caches
systemctl restart systemd-resolved
NetworkManager 与 networkd 二选一启用即可,避免两者同时管理同一接口导致配置冲突。
四、总结
-
网络管理起源于跨机数据共享的需求,通过协议标准化与分层抽象解决互操作性、并发通信复杂度与安全隔离三类问题
-
原理核心是 TCP/IP 四层模型封装链路、网络、传输、应用各层机制,配合套接字统一编程模型、netfilter 防火墙与 NAT、netns 隔离、网络栈缓冲与调优参数,构成完整操作系统网络栈
-
实现覆盖接口、路由、套接字、抓包性能、DNS、防火墙、常见问题与 systemd-networkd/resolved 联动管理
-
套接字 fd 机制、进程/端口对应关系,与进程管理文档的文件描述符表和 lsof 用法贯通;网络缓冲与 tcp_mem 属于内核内存占用,受内存管理文档的分配与回收机制约束;networkd/resolved 对应 systemd 套件的专项守护进程与命令工具