一、起源
1.1 两个核心矛盾
| 矛盾 | TCP 的处理方式 | 代价 |
|---|---|---|
| 可靠与效率 | 确认、重传、拥塞控制保证不丢不乱 | 握手与挥手开销、等待与重传延迟 |
| 有序与并发 | 单一序号空间保证字节流有序 | 并发只能靠多条连接,或多路复用协议叠加上去 |
1.2 疑难问题的归类
线上与 TCP 相关的问题通常落在四类:
| 类别 | 典型表现 | 相关机制 |
|---|---|---|
| 连接建立失败 | 连接超时、连接被拒 | 握手、队列长度、端口占用 |
| 连接无法释放 | 端口耗尽、句柄耗尽 | TIME_WAIT、CLOSE_WAIT、连接池 |
| 吞吐上不去 | 带宽有余量但速率受限 | 窗口、拥塞控制、带宽时延积 |
| 延迟异常 | 偶发慢请求、小报文延迟 | 延迟确认与小包策略、重传、分片 |
1.3 取舍
- 复用连接可以省去握手与慢启动开销,代价是连接长期占用资源并需要处理连接失效。
- 缩短超时能更快失败并释放资源,代价是网络抖动时误判。
- 关闭连接保活能及时回收连接,代价是长空闲间隔场景下需要应用层心跳兜底。
二、原理
2.1 连接建立与关闭
三次握手的实质是双方交换并确认初始序号,同时确认双向可达:
客户端 服务端
|-------- SYN (seq=x) ------->| 服务端进入半连接队列
|<--- SYN+ACK (seq=y,ack=x+1)-|
|-------- ACK (ack=y+1) ------>| 服务端进入全连接队列,等待应用接受
四步点:
- 服务端在收到最后一个确认后才把连接交给应用,因此"握手成功但应用未接受"会表现为客户端认为已连接而服务端应用未见连接,结果通常是连接被重置。
- 两次队列的长度分别由半连接队列与全连接队列上限控制,队列溢出是连接超时与连接被拒的常见原因。
- 客户端在握手期间未收到响应会重试,重试次数与间隔决定最终超时时间,表现为"连接超时"而非"连接被拒"。
四次挥手的实质是双方各自关闭方向,因此连接关闭是半关闭的过程:
| 步骤 | 动作 | 状态变化 |
|---|---|---|
| 1 | 主动方发送结束标志 | 主动方进入结束等待一 |
| 2 | 被动方确认 | 被动方进入关闭等待,此时应用仍可发送剩余数据 |
| 3 | 被动方发送结束标志 | 被动方进入最后确认 |
| 4 | 主动方确认 | 主动方进入时间等待,被动方关闭 |
连接重置的常见触发条件:目标端口未监听、连接被防火墙或负载设备拒绝、应用退出而连接仍在内核中、闲置连接被中间设备清理后双方状态不一致。
2.2 TIME_WAIT 与 CLOSE_WAIT
TIME_WAIT 存在的两个原因:
- 保证最后一个确认能到达对端,使对端正常进入关闭状态;若该确认丢失,对端会重发结束标志,此时主动方仍能响应。
- 让本次连接中延迟到达的旧报文在网络中消亡,避免它们被后续使用相同四元组的新连接误收。
由此得出两个判定结论:
- TIME_WAIT 只出现在主动关闭方。因此大量 TIME_WAIT 说明本端频繁主动关闭连接,通常是短连接或连接池未启用。
- TIME_WAIT 占用的是四元组资源而非句柄以外的额外资源,堆积过多会挤占可用端口,表现为连接建立失败并报无法分配地址。
CLOSE_WAIT 的含义完全不同:它表示对端已关闭而本端应用尚未关闭。堆积说明代码路径未能关闭连接,常见原因是异常分支未释放资源、连接池归还逻辑缺失、或阻塞在处理中未及时收尾。这是应用缺陷而非内核参数问题,调参数无效。
| 状态 | 位置 | 根因方向 | 处置 |
|---|---|---|---|
| 大量 TIME_WAIT | 主动关闭方 | 短连接过多 | 启用连接池与长连接,合理设置回收 |
| 大量 CLOSE_WAIT | 未关闭方 | 应用未释放连接 | 修复资源释放路径 |
| 大量 SYN_RECV | 服务端 | 队列不足或遭伪造源地址冲击 | 调整队列与启用防护 |
2.3 窗口与吞吐
发送方在任一时刻可发送的数据量由三者中的最小值决定:
可发送量 = min(拥塞窗口, 接收窗口) - 已发送未确认
| 窗口 | 决定因素 | 受限时的表现 |
|---|---|---|
| 接收窗口 | 接收方缓冲区剩余空间与应用读取速度 | 接收方应用读取慢,窗口收缩甚至归零 |
| 拥塞窗口 | 网络路径的拥塞状态 | 路径拥塞或丢包,窗口收缩 |
| 发送窗口 | 上述两者与本地缓冲 | 本地缓冲区不足 |
带宽时延积是判断吞吐上限的关键:一条链路在任一时刻能承载的在途数据量等于带宽乘以往返时延。若接收窗口小于该值,吞吐就无法填满链路,表现为"带宽有余量但速率上不去"。
在途数据量上限 = 带宽 × 往返时延
例:带宽 100 Mbps,往返时延 100 ms,则需要在途数据量约 1.25 MB
若接收窗口只有 64 KB,吞吐上限约为 64 KB / 0.1 s ≈ 5 Mbps,远低于链路带宽
结论:跨地域或卫星链路上的吞吐问题,先看窗口是否被放大(窗口缩放选项)以及接收缓冲区是否足够,而不是先怀疑带宽。
2.4 拥塞控制
| 阶段 | 行为 | 触发 |
|---|---|---|
| 慢启动 | 窗口按指数增长 | 连接开始或重传超时后 |
| 拥塞避免 | 窗口按线性增长 | 窗口达到慢启动阈值 |
| 快重传 | 收到重复确认即立即重传 | 连续重复确认达到阈值 |
| 快恢复 | 窗口减半后继续线性增长 | 快重传之后 |
需要区分两类丢包信号:超时说明路径严重拥塞,窗口会被大幅收缩;重复确认说明个别报文丢失而后续报文已到达,窗口只需减半。同一链路上两者的占比能反映丢包是随机丢包还是拥塞丢包。
乱序与丢包在发送端表现相似(都会产生重复确认),区别在于乱序会在短时间内被后续报文补齐。因此"看到重复确认就断定丢包"会误判。
2.5 延迟确认与小包策略的交互
接收方为了减少确认报文数量,会延迟一小段时间再确认,期望把确认与自己的数据一起发送。发送方为减少小报文数量,会攒够一定数据再发送。
两者叠加时会出现明显延迟:发送方等接收方确认,接收方等"搭车"数据,形成短暂的相互等待。典型表现是"交互式小报文请求偶发多出几十毫秒延迟"。
处置方式:对延迟敏感的交互式协议在发送端关闭小包合并策略,使数据立即发出;接收方没有更多数据可发时缩短确认延迟。这是应用配置问题,调网络参数不能根治。
2.6 黏包与拆包
TCP 提供的是字节流而不是消息流,它不保留应用层写入的边界:应用两次写入可能被合并成一次读取(黏包),一次写入也可能被分成多次读取(拆包)。
| 方案 | 做法 | 适用与注意 |
|---|---|---|
| 长度前缀 | 先发固定长度的长度字段,再发内容 | 最通用;需要处理半包(长度字段本身未收全) |
| 分隔符 | 用不会出现在内容中的字符分隔 | 内容可能包含分隔符时需要转义 |
| 定长 | 每条消息长度固定 | 长度不一致时浪费 |
| 自描述格式 | 使用带长度信息的序列化格式 | 由框架处理,注意与流式解析的配合 |
必须避免的两种错误做法:
- 假设"一次读取等于一条消息"。这在低负载时可能成立,压力上升后必然出错。
- 依赖空闲间隔判断消息结束。间隔阈值无法可靠设定,且会引入延迟。
2.7 最大报文段与分片
| 概念 | 含义 | 关系 |
|---|---|---|
| 最大传输单元 | 链路层可承载的最大帧载荷 | 由链路类型决定,以太网通常 1500 字节 |
| 最大报文段 | TCP 载荷上限 | 通常由双方在握手时协商,理想值为最大传输单元减去网络层与传输层首部 |
| 分片 | 网络层把过大的报文切分 | 任一分片丢失会导致整个报文重传,应尽量避免 |
路径最大传输单元发现:发送方通过设置禁止分片标志发送报文,若路径中某段链路承载不了,由中间设备返回"需要分片"的差错报文,发送方据此减小报文长度。
黑洞现象:若中间设备或安全策略把该类差错报文过滤掉,发送方会一直重发过大报文却收不到反馈,表现为"小请求正常、大报文或握手后立刻卡住"。这是跨网段与跨站点场景中最容易被误判为"应用无响应"的问题。
隧道与封装的额外开销:任何封装(隧道、虚拟扩展局域网)都会占用字节,使实际可用的最大传输单元变小。若不做相应调整,封装后的报文会超过物理链路上限。
物理链路 1500
减去网络层与传输层首部(约 40) -> TCP 载荷上限约 1460
再减去隧道封装(如虚拟扩展局域网约 50) -> 隧道内可用约 1410
工程做法:在隧道两端或接口上显式设置最大传输单元,或在设备上启用针对该问题的探测
2.8 连接保活与心跳
| 方式 | 机制 | 特点 |
|---|---|---|
| 传输层保活 | 空闲一段时间后发送探测报文 | 由内核控制,间隔通常较长,感知较慢 |
| 应用层心跳 | 应用周期发送携带业务语义的报文 | 间隔可控,可携带状态,能配合业务降级 |
选择依据是失效感知的时间要求与是否需要业务语义。多数长连接场景使用应用层心跳,传输层保活作为兜底;两者都需要小于链路中间设备的空闲超时,否则连接会被中间设备先行清理而双方状态不一致。
2.9 端口与连接资源
| 资源 | 消耗方 | 耗尽后的表现 |
|---|---|---|
| 本地端口 | 每条到不同目标的连接占用一个四元组 | 报无法分配请求的地址 |
| 文件句柄 | 每个套接字一个 | 报打开文件过多 |
| 连接队列 | 服务端每条监听端口两个队列 | 连接超时或连接被拒 |
| 内核内存 | 每个套接字的读写缓冲区 | 内存压力上升,分配失败 |
结论:连接数问题需要同时看四类资源,只调其中一项往往只是把瓶颈移到下一项。
三、实现
3.1 状态与资源观测
# 连接状态分布(判断 TIME_WAIT 与 CLOSE_WAIT 是否异常)
ss -ant | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn
# 定位 TIME_WAIT 的对端分布(判断是否集中在某个下游)
ss -ant state time-wait '( dport = :8080 )' | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head
# 定位 CLOSE_WAIT 的本地端口与进程
ss -antp state close-wait | head -20
# 服务端队列溢出与握手异常统计
netstat -s | grep -iE 'listen|SYNs to LISTEN|overflow|retrans'
ss -lnt | awk 'NR>1 {print $2, $3, $4}' # 收发队列与积压,第二列持续非零说明全连接队列有积压
3.2 重传与丢包判定
# 全局重传统计与超时统计
netstat -s | grep -iE 'retrans|timeout|out-of-order|reset'
# 按连接查看重传(需网络工具支持,用于定位具体连接)
ss -tin state established | grep -A1 'retrans' | head -30
# 抓包判定:观察重传、重复确认、零窗口、连接重置
tcpdump -i any -nn 'host 10.0.0.11 and port 8080' -w /tmp/tcp.pcap
tcpdump -r /tmp/tcp.pcap -nn | grep -cE 'retransmission'
# 抓包分析的五个判定点
1. 握手是否完整:缺少最后一个确认说明客户端未完成握手
2. 是否有重传:连续相同序号出现说明丢包或确认未到达
3. 是否有重复确认:说明乱序或丢包,需结合后续是否补齐判断
4. 是否出现零窗口:说明接收方应用读取慢,不是网络问题
5. 是否出现连接重置:说明某端或中间设备强制断开,需核对拒绝方位置
3.3 窗口与吞吐观测
# 查看连接的窗口与拥塞状态(含拥塞窗口、慢启动阈值、重传计数)
ss -tin state established | head -40
# 核对接收缓冲区与自动调优是否开启
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem net.ipv4.tcp_moderate_rcvbuf
# 核对拥塞控制算法
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_available_congestion_control
# 吞吐上不去时的判定顺序
1. 看链路带宽与利用率:带宽是否本身已满
2. 看往返时延与接收窗口:窗口是否明显小于带宽时延积
3. 看重传统计与丢包:是否存在持续重传
4. 看接收方应用读取速度:是否出现零窗口
5. 看发送方本地缓冲区与应用写入速度:是否被应用侧限制
3.4 内核参数核对
# 连接队列与握手相关
sysctl net.core.somaxconn # 全连接队列上限
sysctl net.ipv4.tcp_max_syn_backlog # 半连接队列上限
sysctl net.ipv4.tcp_syncookies # 队列溢出时的防护
# 端口与回收
sysctl net.ipv4.ip_local_port_range # 可用本地端口范围
sysctl net.ipv4.tcp_tw_reuse # 允许复用处于时间等待的连接(仅出向连接)
# 缓冲区与自动调优
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem
# 保活与重传
sysctl net.ipv4.tcp_keepalive_time net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepalive_probes
sysctl net.ipv4.tcp_retries2
# 分片与路径发现
sysctl net.ipv4.ip_no_pmtu_disc net.ipv4.tcp_mtu_probing
# 调整原则
队列参数应大于应用接受连接的速度可覆盖的范围,配合应用侧的接受能力评估
缓冲区应按带宽时延积估算,而不是盲目调大
路径最大传输单元相关参数仅在确认存在黑洞时启用,启用前先确认差错报文被过滤的原因
3.5 应用侧配置核对
| 配置项 | 要求 | 原因 |
|---|---|---|
| 连接池 | 明确最大连接数、空闲回收与获取超时 | 短连接会产生大量时间等待,获取超时避免线程被拖住 |
| 请求超时 | 连接超时与读取超时分开设置 | 两类超时的故障含义不同 |
| 小包策略 | 延迟敏感协议关闭发送端合并策略 | 避免与延迟确认形成相互等待 |
| 保活 | 长连接配置应用层心跳,间隔小于中间设备空闲超时 | 避免中间设备先清理连接 |
| 消息边界 | 使用长度前缀或分隔符,禁止按读取次数判断消息 | 字节流不保留边界 |
| 连接失效处理 | 使用连接前校验或捕获异常后重建 | 连接池中的连接可能已被对端或中间设备关闭 |
// 消息边界处理的最小实现:先读长度再读内容,且两者都可能分多次到达
int length = readFully(in, 4); // 长度字段本身也可能分片
byte[] body = readFully(in, length); // 按长度读满,不能假设一次读完
// 延迟敏感连接关闭发送端合并策略
socket.setTcpNoDelay(true);
3.6 常见问题对照
| 现象 | 常见原因 | 处置 |
|---|---|---|
| 大量 TIME_WAIT 导致连接失败 | 短连接过多,端口被挤占 | 启用连接池与长连接,扩大端口范围 |
| 大量 CLOSE_WAIT | 应用未关闭连接 | 修复资源释放路径,参数调整无效 |
| 连接偶发超时 | 队列溢出或网络抖动 | 核对队列统计与重传,调整队列上限 |
| 大报文卡住而小请求正常 | 路径最大传输单元发现被差错报文过滤 | 检查中间设备策略或显式调整最大传输单元 |
| 隧道内应用异常而直连正常 | 封装开销使有效最大传输单元变小 | 在隧道端调整最大传输单元或启用探测 |
| 偶发几十毫秒延迟 | 延迟确认与发送端小包策略相互等待 | 关闭发送端合并策略 |
| 带宽充足但吞吐低 | 窗口小于带宽时延积 | 放大窗口并核对接收缓冲区 |
| 出现零窗口 | 接收方应用读取慢 | 优化接收端处理,不是网络问题 |
| 消息被合并或截断 | 依赖读取次数判断消息边界 | 引入长度前缀或分隔符 |
| 长连接被中间设备断开 | 心跳间隔大于中间设备空闲超时 | 缩短心跳间隔 |
| 连接建立成功但不能发数据 | 服务端应用未接受连接,队列溢出或被重置 | 核对队列与应用接受逻辑 |
| 重传率上升但业务量未变 | 链路质量下降或路径发生变化 | 结合逐跳探测确认路径与劣化位置 |
四、总结
- TCP 在不可靠网络上提供有序可靠字节流,代价是握手与挥手开销、状态资源占用与等待机制带来的延迟。
- 三次握手的实质是交换并确认初始序号;服务端在收到最后一个确认后才把连接交给应用,两次队列的长度是连接超时与连接被拒的主要成因。
- 连接关闭是半关闭过程,TIME_WAIT 只出现在主动关闭方,其存在是为保证最后确认可达并让旧报文消亡;CLOSE_WAIT 堆积则说明应用未释放连接,属于代码问题。
- 可发送数据量由拥塞窗口与接收窗口中的较小者决定;吞吐上限与带宽时延积相关,跨地域链路要先看窗口是否足够。
- 拥塞控制通过慢启动、拥塞避免、快重传与快恢复配合,超时与重复确认代表不同严重程度的信号,乱序与丢包需要区分。
- 延迟确认与发送端小包策略的交互会造成可感知的小报文延迟,属于应用配置问题。
- TCP 是字节流,不保留消息边界,必须使用长度前缀、分隔符或定长方案,禁止按读取次数或空闲间隔判断消息结束。
- 路径最大传输单元发现依赖差错报文,被过滤时会出现"小请求正常而大报文卡住"的黑洞现象;隧道封装会占用额外字节,必须相应调整。
- 连接保活与应用层心跳的差别在感知速度与业务语义,长连接场景以心跳为主、保活为辅,间隔需小于中间设备的空闲超时。
- 连接数问题需同时核对本地端口、文件句柄、连接队列与内核内存四类资源,只调一项往往只是把瓶颈推到下一项。