一、起源

1.1 两个核心矛盾

矛盾 TCP 的处理方式 代价
可靠与效率 确认、重传、拥塞控制保证不丢不乱 握手与挥手开销、等待与重传延迟
有序与并发 单一序号空间保证字节流有序 并发只能靠多条连接,或多路复用协议叠加上去

1.2 疑难问题的归类

线上与 TCP 相关的问题通常落在四类:

类别 典型表现 相关机制
连接建立失败 连接超时、连接被拒 握手、队列长度、端口占用
连接无法释放 端口耗尽、句柄耗尽 TIME_WAIT、CLOSE_WAIT、连接池
吞吐上不去 带宽有余量但速率受限 窗口、拥塞控制、带宽时延积
延迟异常 偶发慢请求、小报文延迟 延迟确认与小包策略、重传、分片

1.3 取舍

  • 复用连接可以省去握手与慢启动开销,代价是连接长期占用资源并需要处理连接失效。
  • 缩短超时能更快失败并释放资源,代价是网络抖动时误判。
  • 关闭连接保活能及时回收连接,代价是长空闲间隔场景下需要应用层心跳兜底。

二、原理

2.1 连接建立与关闭

三次握手的实质是双方交换并确认初始序号,同时确认双向可达:

客户端                     服务端
  |-------- SYN (seq=x) ------->|   服务端进入半连接队列
  |<--- SYN+ACK (seq=y,ack=x+1)-|
  |-------- ACK (ack=y+1) ------>|   服务端进入全连接队列,等待应用接受

四步点:

  • 服务端在收到最后一个确认后才把连接交给应用,因此"握手成功但应用未接受"会表现为客户端认为已连接而服务端应用未见连接,结果通常是连接被重置。
  • 两次队列的长度分别由半连接队列与全连接队列上限控制,队列溢出是连接超时与连接被拒的常见原因。
  • 客户端在握手期间未收到响应会重试,重试次数与间隔决定最终超时时间,表现为"连接超时"而非"连接被拒"。

四次挥手的实质是双方各自关闭方向,因此连接关闭是半关闭的过程:

步骤 动作 状态变化
1 主动方发送结束标志 主动方进入结束等待一
2 被动方确认 被动方进入关闭等待,此时应用仍可发送剩余数据
3 被动方发送结束标志 被动方进入最后确认
4 主动方确认 主动方进入时间等待,被动方关闭

连接重置的常见触发条件:目标端口未监听、连接被防火墙或负载设备拒绝、应用退出而连接仍在内核中、闲置连接被中间设备清理后双方状态不一致。

2.2 TIME_WAIT 与 CLOSE_WAIT

TIME_WAIT 存在的两个原因:

  1. 保证最后一个确认能到达对端,使对端正常进入关闭状态;若该确认丢失,对端会重发结束标志,此时主动方仍能响应。
  2. 让本次连接中延迟到达的旧报文在网络中消亡,避免它们被后续使用相同四元组的新连接误收。

由此得出两个判定结论:

  • TIME_WAIT 只出现在主动关闭方。因此大量 TIME_WAIT 说明本端频繁主动关闭连接,通常是短连接或连接池未启用。
  • TIME_WAIT 占用的是四元组资源而非句柄以外的额外资源,堆积过多会挤占可用端口,表现为连接建立失败并报无法分配地址。

CLOSE_WAIT 的含义完全不同:它表示对端已关闭而本端应用尚未关闭。堆积说明代码路径未能关闭连接,常见原因是异常分支未释放资源、连接池归还逻辑缺失、或阻塞在处理中未及时收尾。这是应用缺陷而非内核参数问题,调参数无效。

状态 位置 根因方向 处置
大量 TIME_WAIT 主动关闭方 短连接过多 启用连接池与长连接,合理设置回收
大量 CLOSE_WAIT 未关闭方 应用未释放连接 修复资源释放路径
大量 SYN_RECV 服务端 队列不足或遭伪造源地址冲击 调整队列与启用防护

2.3 窗口与吞吐

发送方在任一时刻可发送的数据量由三者中的最小值决定:

可发送量 = min(拥塞窗口, 接收窗口) - 已发送未确认
窗口 决定因素 受限时的表现
接收窗口 接收方缓冲区剩余空间与应用读取速度 接收方应用读取慢,窗口收缩甚至归零
拥塞窗口 网络路径的拥塞状态 路径拥塞或丢包,窗口收缩
发送窗口 上述两者与本地缓冲 本地缓冲区不足

带宽时延积是判断吞吐上限的关键:一条链路在任一时刻能承载的在途数据量等于带宽乘以往返时延。若接收窗口小于该值,吞吐就无法填满链路,表现为"带宽有余量但速率上不去"。

在途数据量上限 = 带宽 × 往返时延
例:带宽 100 Mbps,往返时延 100 ms,则需要在途数据量约 1.25 MB
若接收窗口只有 64 KB,吞吐上限约为 64 KB / 0.1 s ≈ 5 Mbps,远低于链路带宽

结论:跨地域或卫星链路上的吞吐问题,先看窗口是否被放大(窗口缩放选项)以及接收缓冲区是否足够,而不是先怀疑带宽。

2.4 拥塞控制

阶段 行为 触发
慢启动 窗口按指数增长 连接开始或重传超时后
拥塞避免 窗口按线性增长 窗口达到慢启动阈值
快重传 收到重复确认即立即重传 连续重复确认达到阈值
快恢复 窗口减半后继续线性增长 快重传之后

需要区分两类丢包信号:超时说明路径严重拥塞,窗口会被大幅收缩;重复确认说明个别报文丢失而后续报文已到达,窗口只需减半。同一链路上两者的占比能反映丢包是随机丢包还是拥塞丢包。

乱序与丢包在发送端表现相似(都会产生重复确认),区别在于乱序会在短时间内被后续报文补齐。因此"看到重复确认就断定丢包"会误判。

2.5 延迟确认与小包策略的交互

接收方为了减少确认报文数量,会延迟一小段时间再确认,期望把确认与自己的数据一起发送。发送方为减少小报文数量,会攒够一定数据再发送。

两者叠加时会出现明显延迟:发送方等接收方确认,接收方等"搭车"数据,形成短暂的相互等待。典型表现是"交互式小报文请求偶发多出几十毫秒延迟"。

处置方式:对延迟敏感的交互式协议在发送端关闭小包合并策略,使数据立即发出;接收方没有更多数据可发时缩短确认延迟。这是应用配置问题,调网络参数不能根治。

2.6 黏包与拆包

TCP 提供的是字节流而不是消息流,它不保留应用层写入的边界:应用两次写入可能被合并成一次读取(黏包),一次写入也可能被分成多次读取(拆包)。

方案 做法 适用与注意
长度前缀 先发固定长度的长度字段,再发内容 最通用;需要处理半包(长度字段本身未收全)
分隔符 用不会出现在内容中的字符分隔 内容可能包含分隔符时需要转义
定长 每条消息长度固定 长度不一致时浪费
自描述格式 使用带长度信息的序列化格式 由框架处理,注意与流式解析的配合

必须避免的两种错误做法:

  • 假设"一次读取等于一条消息"。这在低负载时可能成立,压力上升后必然出错。
  • 依赖空闲间隔判断消息结束。间隔阈值无法可靠设定,且会引入延迟。

2.7 最大报文段与分片

概念 含义 关系
最大传输单元 链路层可承载的最大帧载荷 由链路类型决定,以太网通常 1500 字节
最大报文段 TCP 载荷上限 通常由双方在握手时协商,理想值为最大传输单元减去网络层与传输层首部
分片 网络层把过大的报文切分 任一分片丢失会导致整个报文重传,应尽量避免

路径最大传输单元发现:发送方通过设置禁止分片标志发送报文,若路径中某段链路承载不了,由中间设备返回"需要分片"的差错报文,发送方据此减小报文长度。

黑洞现象:若中间设备或安全策略把该类差错报文过滤掉,发送方会一直重发过大报文却收不到反馈,表现为"小请求正常、大报文或握手后立刻卡住"。这是跨网段与跨站点场景中最容易被误判为"应用无响应"的问题。

隧道与封装的额外开销:任何封装(隧道、虚拟扩展局域网)都会占用字节,使实际可用的最大传输单元变小。若不做相应调整,封装后的报文会超过物理链路上限。

物理链路 1500
  减去网络层与传输层首部(约 40)           -> TCP 载荷上限约 1460
  再减去隧道封装(如虚拟扩展局域网约 50)    -> 隧道内可用约 1410

工程做法:在隧道两端或接口上显式设置最大传输单元,或在设备上启用针对该问题的探测

2.8 连接保活与心跳

方式 机制 特点
传输层保活 空闲一段时间后发送探测报文 由内核控制,间隔通常较长,感知较慢
应用层心跳 应用周期发送携带业务语义的报文 间隔可控,可携带状态,能配合业务降级

选择依据是失效感知的时间要求与是否需要业务语义。多数长连接场景使用应用层心跳,传输层保活作为兜底;两者都需要小于链路中间设备的空闲超时,否则连接会被中间设备先行清理而双方状态不一致。

2.9 端口与连接资源

资源 消耗方 耗尽后的表现
本地端口 每条到不同目标的连接占用一个四元组 报无法分配请求的地址
文件句柄 每个套接字一个 报打开文件过多
连接队列 服务端每条监听端口两个队列 连接超时或连接被拒
内核内存 每个套接字的读写缓冲区 内存压力上升,分配失败

结论:连接数问题需要同时看四类资源,只调其中一项往往只是把瓶颈移到下一项。

三、实现

3.1 状态与资源观测

# 连接状态分布(判断 TIME_WAIT 与 CLOSE_WAIT 是否异常)
ss -ant | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn

# 定位 TIME_WAIT 的对端分布(判断是否集中在某个下游)
ss -ant state time-wait '( dport = :8080 )' | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head

# 定位 CLOSE_WAIT 的本地端口与进程
ss -antp state close-wait | head -20

# 服务端队列溢出与握手异常统计
netstat -s | grep -iE 'listen|SYNs to LISTEN|overflow|retrans'
ss -lnt | awk 'NR>1 {print $2, $3, $4}'    # 收发队列与积压,第二列持续非零说明全连接队列有积压

3.2 重传与丢包判定

# 全局重传统计与超时统计
netstat -s | grep -iE 'retrans|timeout|out-of-order|reset'

# 按连接查看重传(需网络工具支持,用于定位具体连接)
ss -tin state established | grep -A1 'retrans' | head -30

# 抓包判定:观察重传、重复确认、零窗口、连接重置
tcpdump -i any -nn 'host 10.0.0.11 and port 8080' -w /tmp/tcp.pcap
tcpdump -r /tmp/tcp.pcap -nn | grep -cE 'retransmission'
# 抓包分析的五个判定点
1. 握手是否完整:缺少最后一个确认说明客户端未完成握手
2. 是否有重传:连续相同序号出现说明丢包或确认未到达
3. 是否有重复确认:说明乱序或丢包,需结合后续是否补齐判断
4. 是否出现零窗口:说明接收方应用读取慢,不是网络问题
5. 是否出现连接重置:说明某端或中间设备强制断开,需核对拒绝方位置

3.3 窗口与吞吐观测

# 查看连接的窗口与拥塞状态(含拥塞窗口、慢启动阈值、重传计数)
ss -tin state established | head -40

# 核对接收缓冲区与自动调优是否开启
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem net.ipv4.tcp_moderate_rcvbuf

# 核对拥塞控制算法
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_available_congestion_control
# 吞吐上不去时的判定顺序
1. 看链路带宽与利用率:带宽是否本身已满
2. 看往返时延与接收窗口:窗口是否明显小于带宽时延积
3. 看重传统计与丢包:是否存在持续重传
4. 看接收方应用读取速度:是否出现零窗口
5. 看发送方本地缓冲区与应用写入速度:是否被应用侧限制

3.4 内核参数核对

# 连接队列与握手相关
sysctl net.core.somaxconn                 # 全连接队列上限
sysctl net.ipv4.tcp_max_syn_backlog       # 半连接队列上限
sysctl net.ipv4.tcp_syncookies            # 队列溢出时的防护

# 端口与回收
sysctl net.ipv4.ip_local_port_range       # 可用本地端口范围
sysctl net.ipv4.tcp_tw_reuse              # 允许复用处于时间等待的连接(仅出向连接)

# 缓冲区与自动调优
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem

# 保活与重传
sysctl net.ipv4.tcp_keepalive_time net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepalive_probes
sysctl net.ipv4.tcp_retries2

# 分片与路径发现
sysctl net.ipv4.ip_no_pmtu_disc net.ipv4.tcp_mtu_probing
# 调整原则
队列参数应大于应用接受连接的速度可覆盖的范围,配合应用侧的接受能力评估
缓冲区应按带宽时延积估算,而不是盲目调大
路径最大传输单元相关参数仅在确认存在黑洞时启用,启用前先确认差错报文被过滤的原因

3.5 应用侧配置核对

配置项 要求 原因
连接池 明确最大连接数、空闲回收与获取超时 短连接会产生大量时间等待,获取超时避免线程被拖住
请求超时 连接超时与读取超时分开设置 两类超时的故障含义不同
小包策略 延迟敏感协议关闭发送端合并策略 避免与延迟确认形成相互等待
保活 长连接配置应用层心跳,间隔小于中间设备空闲超时 避免中间设备先清理连接
消息边界 使用长度前缀或分隔符,禁止按读取次数判断消息 字节流不保留边界
连接失效处理 使用连接前校验或捕获异常后重建 连接池中的连接可能已被对端或中间设备关闭
// 消息边界处理的最小实现:先读长度再读内容,且两者都可能分多次到达
int length = readFully(in, 4);              // 长度字段本身也可能分片
byte[] body = readFully(in, length);        // 按长度读满,不能假设一次读完

// 延迟敏感连接关闭发送端合并策略
socket.setTcpNoDelay(true);

3.6 常见问题对照

现象 常见原因 处置
大量 TIME_WAIT 导致连接失败 短连接过多,端口被挤占 启用连接池与长连接,扩大端口范围
大量 CLOSE_WAIT 应用未关闭连接 修复资源释放路径,参数调整无效
连接偶发超时 队列溢出或网络抖动 核对队列统计与重传,调整队列上限
大报文卡住而小请求正常 路径最大传输单元发现被差错报文过滤 检查中间设备策略或显式调整最大传输单元
隧道内应用异常而直连正常 封装开销使有效最大传输单元变小 在隧道端调整最大传输单元或启用探测
偶发几十毫秒延迟 延迟确认与发送端小包策略相互等待 关闭发送端合并策略
带宽充足但吞吐低 窗口小于带宽时延积 放大窗口并核对接收缓冲区
出现零窗口 接收方应用读取慢 优化接收端处理,不是网络问题
消息被合并或截断 依赖读取次数判断消息边界 引入长度前缀或分隔符
长连接被中间设备断开 心跳间隔大于中间设备空闲超时 缩短心跳间隔
连接建立成功但不能发数据 服务端应用未接受连接,队列溢出或被重置 核对队列与应用接受逻辑
重传率上升但业务量未变 链路质量下降或路径发生变化 结合逐跳探测确认路径与劣化位置

四、总结

  1. TCP 在不可靠网络上提供有序可靠字节流,代价是握手与挥手开销、状态资源占用与等待机制带来的延迟。
  2. 三次握手的实质是交换并确认初始序号;服务端在收到最后一个确认后才把连接交给应用,两次队列的长度是连接超时与连接被拒的主要成因。
  3. 连接关闭是半关闭过程,TIME_WAIT 只出现在主动关闭方,其存在是为保证最后确认可达并让旧报文消亡;CLOSE_WAIT 堆积则说明应用未释放连接,属于代码问题。
  4. 可发送数据量由拥塞窗口与接收窗口中的较小者决定;吞吐上限与带宽时延积相关,跨地域链路要先看窗口是否足够。
  5. 拥塞控制通过慢启动、拥塞避免、快重传与快恢复配合,超时与重复确认代表不同严重程度的信号,乱序与丢包需要区分。
  6. 延迟确认与发送端小包策略的交互会造成可感知的小报文延迟,属于应用配置问题。
  7. TCP 是字节流,不保留消息边界,必须使用长度前缀、分隔符或定长方案,禁止按读取次数或空闲间隔判断消息结束。
  8. 路径最大传输单元发现依赖差错报文,被过滤时会出现"小请求正常而大报文卡住"的黑洞现象;隧道封装会占用额外字节,必须相应调整。
  9. 连接保活与应用层心跳的差别在感知速度与业务语义,长连接场景以心跳为主、保活为辅,间隔需小于中间设备的空闲超时。
  10. 连接数问题需同时核对本地端口、文件句柄、连接队列与内核内存四类资源,只调一项往往只是把瓶颈推到下一项。