内容总览
一、起源
1.1 从进程模型到线程模型的转变
早期 CGI 为每个请求创建进程,进程内解析 HTTP、执行逻辑、输出响应后退出。进程创建与销毁的开销远大于请求处理本身,且进程之间无法共享内存中的缓存与连接。
Servlet 规范把请求处理单元从进程改为线程:JVM 常驻运行,容器维护线程池,每个请求分配一个线程调用应用代码。转变带来三个直接结果:
| 结果 | 含义 |
|---|---|
| 启动成本前移 | 容器与应用的初始化只做一次,请求处理不再承担初始化开销 |
| 状态可以驻留 | 连接池、缓存、配置等可以长期持有,但必须保证线程安全 |
| 并发上限由线程决定 | 线程数量成为承载能力的直接约束,而不是进程数量 |
1.2 容器的四类职责
| 职责 | 具体内容 | 出问题时的表现 |
|---|---|---|
| 连接与协议 | 监听端口、接受连接、解析报文、管理超时与队列 | 连接被拒、请求排队、协议错误 |
| 线程调度 | 维护线程池、为请求分配线程、回收线程 | 线程耗尽、请求堆积、响应变慢 |
| 生命周期 | 加载与初始化 Servlet、Filter、Listener,停机时逆序销毁 | 启动失败、停机时资源未释放 |
| 类与上下文隔离 | 为每个应用提供独立的类加载器与上下文 | 类冲突、热部署后内存泄漏 |
这四类职责的共同点是:都不处理业务,但都会在业务之外成为故障点。
1.3 取舍
- 每请求一线程的模型编写简单、语义直观,代价是线程数即并发上限,IO 等待期间线程被占用。
- 容器提供配置化的线程与连接上限,调大可以吸收更多并发,但线程与连接都占用内存,且后端与数据库的连接能力往往是更早出现的瓶颈。
- 类加载隔离支持同实例多应用与热部署,代价是类加载器数量增加、静态状态难以彻底回收。
二、原理
2.1 容器的层次结构
Tomcat 的组件是严格的树形结构,配置与生命周期都按此层级组织:
Server(整个容器实例)
└── Service(连接器与引擎的绑定单元)
├── Connector(接收连接,可以有多个,如 HTTP 与 HTTPS 各一个)
└── Engine(请求处理引擎)
└── Host(虚拟主机,对应一个域名)
└── Context(一个 Web 应用)
└── Wrapper(一个 Servlet)
层次结构的意义:
- 超时、线程、连接相关参数配在
Connector,应用级参数配在Context,二者的调优目标不同。 - 一个
Service内的多个Connector共享同一个线程池,因此 HTTPS 与 HTTP 并存时并发能力是共享的,不是各自独立的。 - 生命周期沿树形向下启动、向上停止,Listener 的初始化与销毁顺序由此决定。
2.2 连接器:接收与解析
连接器的职责是把字节流变成请求对象,内部分为三段:
| 组件 | 职责 | 与参数的关系 |
|---|---|---|
| Acceptor | 接受新的 TCP 连接,交给 Poller | 数量受 acceptorThreadCount 控制;队列长度由 acceptCount 决定 |
| Poller | 注册连接上的读写事件,等待数据就绪 | 数量受 pollerThreadCount 控制 |
| Worker | 从线程池取线程执行请求处理 | 线程数由 maxThreads 与 minSpareThreads 控制 |
三个上限的关系是理解排队行为的关键:
| 参数 | 含义 | 超出后的行为 |
|---|---|---|
maxThreads | 处理请求的线程数上限 | 达到上限后请求在队列中等待,不再分配线程 |
maxConnections | 容器同时接受并处理的连接数上限 | 达到上限后仍接受连接但不处理,直到有空闲 |
acceptCount | 内核已完成握手但尚未被容器接受的连接队列长度 | 队列满后新连接在内核层面被丢弃,客户端表现为连接超时 |
请求的路径因此是:内核队列(acceptCount)到容器接受的连接(maxConnections)到可执行线程(maxThreads)。三者依次收窄时,客户端依次表现为连接超时、请求挂起、响应变慢。只调大 maxThreads 而不检查后端连接池,会把压力直接转移到数据库。
Tomcat 的协议实现随版本变化:NIO 与 NIO2 是当前的主要实现,APR(依赖本地库)在 Tomcat 9 中已不再推荐并在后续版本中移除,新部署不应依赖 APR。
2.3 线程模型与并发含义
- 请求处理阶段由线程池中的线程执行,一个请求自始至终占用一个线程,直到响应写出完成。
- 线程在业务代码执行阻塞操作(远程调用、数据库查询、文件读写)期间无法服务其他请求,因此吞吐取决于"平均处理时间"与"线程数"的比值。
- Servlet 默认单实例多线程:容器只创建一份 Servlet 实例,多个请求线程并发调用同一个对象的
service方法。Servlet、Filter、Controller 的实例字段因此不能保存请求级状态(生命周期与线程安全的基本约定见 Java Web 技术体系)。 - 同一约定向上传递到框架层:单例 Bean 的字段如果被写入请求相关数据,在多线程下会互相覆盖,且这种错误通常只在并发时才出现。
2.4 类加载隔离与热部署泄漏
容器为每个 Context 分配独立的类加载器,加载顺序是先在应用自己的 classpath 中查找,再委派父加载器,目的是让同一容器上的不同应用使用不同版本的依赖而不冲突。
隔离带来的副作用是热部署与重载时的内存泄漏,常见来源:
| 泄漏来源 | 原因 |
|---|---|
| 线程池与定时器 | 应用启动的线程持有应用类引用,容器停止时未被关闭 |
ThreadLocal | 线程池中的线程生命周期长于应用,残留的 ThreadLocal 引用阻止类被卸载 |
| JDBC 驱动 | 驱动被注册到全局 DriverManager,未在应用停止时注销 |
| 缓存与静态容器 | 静态 Map 持有应用对象,未清空 |
现象是反复重部署后旧版本的类无法被回收,表现为元空间持续增长直至触发内存告警。判断方法是重部署若干次后比较类加载器数量与元空间占用。
2.5 会话与超时
- 会话存储在容器内存中,超时由后台线程按
maxInactiveInterval清理,超时时间过短会导致用户频繁掉线,过长会让内存中被遗弃的会话持续占用。 - 停机时会话默认不持久化,节点重启将丢失未过期的会话;需要跨重启保留时使用外部集中存储。
- 会话的内存占用与并发在线用户数成正比,是容量评估中容易漏掉的一项。
2.6 优雅停机
直接终止进程会让在途请求被切断,客户端收到连接重置。优雅停机的三个阶段是:
- 停止接受新连接:连接器被暂停,客户端的新请求由上游负载均衡转发到其他节点。
- 等待在途请求处理完成:容器等待正在执行的请求返回,同时等待线程池回收。
- 销毁应用组件:按 Listener、Filter、Servlet 的逆序调用销毁方法,释放连接池、线程池等资源。
两个前提条件:
- 上游必须先摘除节点再停机,否则新连接仍会被转发过来,等待阶段将持续到超时。
- 等待阶段必须有上限,超过上限的请求被强制中断,避免个别长请求阻塞整个发布流程。
2.7 容器对比与选型
| 维度 | Tomcat | Jetty | Undertow |
|---|---|---|---|
| 线程模型 | Acceptor 与 Poller 与 Worker 分离,Worker 为线程池 | 连接器内多组 Acceptor 与 Selector,业务线程为队列线程池 | IO 线程与 Worker 线程分离,Worker 默认按 IO 线程数倍数配置 |
| 协议实现 | 支持最完整,HTTP/2 与 WebSocket 成熟 | 支持完整,可插拔 Handler 结构灵活 | 支持 HTTP/2 与 WebSocket,内存占用较低 |
| 启动与内存 | 相对较重 | 轻量,启动快 | 轻量,适合高并发场景 |
| 生态与文档 | 最广泛,问题资料最多 | 嵌入式与定制场景常用 | 作为 WildFly 默认容器,Spring Boot 可直接切换 |
| 适用 | 通用 Web 应用、团队经验最普遍的选择 | 嵌入式、定制协议处理、插件化场景 | 高并发、资源受限、需要替换默认容器的场景 |
选型依据:默认情况下不需要更换容器,团队的排障经验与资料完整度比基准测试中的吞吐差异更重要;只有在明确的场景约束下(如嵌入式定制或资源严格受限)才值得替换,替换后必须重新验证超时、优雅停机与观测配置是否仍然生效。
三、实现
3.1 关键参数配置
server:
port: 8080
tomcat:
threads:
max: 200 # 处理请求的线程上限
min-spare: 20 # 常驻最小线程数
max-connections: 8192 # 同时接受并处理的连接上限
accept-count: 200 # 等待被接受的内核队列长度
connection-timeout: 5s # 建立连接后等待请求行的超时
keep-alive-timeout: 30s # 长连接空闲超时
max-keep-alive-requests: 200 # 单条长连接的最大请求数
uri-encoding: UTF-8
basedir: /tmp/tomcat # 工作目录,容器环境中建议显式指定到可写且有配额的位置
参数设置的三条原则:
max-threads的依据是"后端连接池总容量"与"单请求平均耗时允许的并发数"中的较小者,而不是尽量调大。max-connections应大于max-threads,使连接可以先建立再等待线程,避免连接直接被拒;差距过大则连接堆积而请求得不到处理,表现为延迟升高但吞吐不增。accept-count只影响内核队列,属于最后一道缓冲,调大的收益有限;真正的瓶颈通常在max-threads与后端容量。
3.2 Undertow 与 Jetty 的替换
<!-- 替换默认容器为 Undertow -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-tomcat</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-undertow</artifactId>
</dependency>
server:
undertow:
io-threads: 4 # IO 线程数,通常等于 CPU 核心数
worker-threads: 64 # 业务线程数,承担请求处理
buffer-size: 16KB
direct-buffers: true # 使用堆外缓冲,减少堆内存压力
替换容器后需要重新核对的事项:线程池参数名称与默认值不同、优雅停机的实现机制不同、访问日志与观测指标的名称不同,原有利器(如 Tomcat 专有参数)不再生效。
3.3 优雅停机配置与验证
server:
shutdown: graceful # 启用优雅停机
spring:
lifecycle:
timeout-per-shutdown-phase: 30s # 等待在途请求的上限
# 1. 启动应用并持续发请求,观察停机期间的成功率
for i in $(seq 1 1000); do
curl -s -o /dev/null -w '%{http_code}\n' http://localhost:8080/api/ping
sleep 0.1
done &
LOADER_PID=$!
# 2. 触发停机(发送 TERM 信号,等价于正常的容器停止)
kill -TERM $(pgrep -f 'java.*application.jar')
# 3. 观察日志中的停机阶段,确认在途请求处理完成后才退出
# Graceful shutdown: waiting for in-flight requests
# 4. 确认停止期间没有连接被重置(watch 输出中不出现 000)
wait $LOADER_PID
# 5. 核对上游摘除与停机顺序:先摘除节点,再发送 TERM
3.4 观测与诊断
# 线程总览:线程数与状态分布,判断是否线程耗尽
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -c '^"'
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -oE 'java.lang.Thread.State: [A-Z_]+' | sort | uniq -c
# 按线程名统计,Tomcat 请求线程名形如 http-nio-8080-exec-N
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -oE '^"http-nio[^"]*"' | wc -l
# 连接与端口状态
ss -antp | grep 8080 | awk '{print $1}' | sort | uniq -c
# 应用级指标(Actuator):线程池、连接、会话
curl -s http://localhost:8081/actuator/metrics/tomcat.threads.busy | jq
curl -s http://localhost:8081/actuator/metrics/tomcat.threads.config.max | jq
curl -s http://localhost:8081/actuator/metrics/tomcat.sessions.active.current | jq
curl -s http://localhost:8081/actuator/metrics/tomcat.connections.current | jq
# 元空间与类加载器数量,用于判断热部署泄漏
jcmd $(pgrep -f 'java.*application.jar') GC.class_stats 2>/dev/null | head
判断要点:
- 请求线程数长期贴近
maxThreads且大量线程处于WAITING或TIMED_WAITING,说明瓶颈在下游而不是容器线程不足。 - 线程数不高但请求大量排队,检查
max-connections是否先于线程达到上限。 - 客户端出现连接超时且容器侧无请求日志,检查
accept-count与内核somaxconn。
3.5 常见问题对照
| 现象 | 常见原因 | 核对手段 |
|---|---|---|
| 高并发下请求挂起且线程数已达上限 | 下游响应慢占用线程 | 线程转储与下游耗时统计 |
| 客户端连接超时且容器无日志 | 内核队列已满 | accept-count 与 ss -s、somaxconn |
| 连接建立成功但长时间无响应 | 连接数达 max-connections,等待线程 | 对比 max-connections 与 max-threads |
| 并发时接口返回数据错乱 | 单例对象中保存了请求级状态 | 检查 Servlet、Filter、单例 Bean 的字段 |
| 重部署后内存持续增长 | 类加载器无法卸载 | 重部署多次后比较元空间与类加载器数 |
| 停机时大量请求失败 | 未启用优雅停机,或未先摘除上游节点 | 停机日志与上游摘除顺序 |
| 停机耗时超过预期 | 存在长请求或未关闭的线程池 | 核对 timeout-per-shutdown-phase 与线程池关闭逻辑 |
| 更换容器后参数不生效 | 参数名与默认值不同 | 对照目标容器的配置前缀 |
| 上传大文件失败 | 连接器或框架层的大小限制 | 核对容器与框架两处限制 |
四、总结
- Servlet 把请求处理单元从进程改为线程,换来启动成本前移与状态驻留能力,同时使线程数成为并发上限。
- 容器承担连接与协议、线程调度、生命周期、类隔离四类职责,故障往往出现在这四类而非业务代码中。
- 容器是 Server 到 Wrapper 的树形结构,连接器参数与应用参数位于不同层级;同一 Service 内多个连接器共享线程池。
- 连接器的 Acceptor、Poller、Worker 三段配合
accept-count、max-connections、max-threads三个上限,依次构成内核队列、已接受连接、可执行线程三层约束,客户端的表现依次为连接超时、请求挂起、响应变慢。 max-threads应依据后端连接池容量与允许的处理时长确定,而不是尽量调大,否则压力会转移到更脆弱的下游。- Servlet 与单例 Bean 都是单实例多线程,实例字段不能保存请求级状态,此类错误通常只在并发时暴露。
- Context 级类加载隔离支持多应用与热部署,代价是线程、
ThreadLocal、JDBC 驱动与静态缓存容易造成类加载器无法卸载。 - 优雅停机分为停止接收、等待在途、销毁组件三步,前提是上游先摘除节点且等待阶段有上限。
- 容器选型首先看团队排障经验与资料完整度,替换容器后必须重新验证参数、优雅停机与观测指标。
- 排障顺序是先看线程状态与连接数,再对比三个上限中哪个先达到,最后才调整参数。