内容总览

Servlet 容器运行时 思维导图

一、起源

1.1 从进程模型到线程模型的转变

早期 CGI 为每个请求创建进程,进程内解析 HTTP、执行逻辑、输出响应后退出。进程创建与销毁的开销远大于请求处理本身,且进程之间无法共享内存中的缓存与连接。

Servlet 规范把请求处理单元从进程改为线程:JVM 常驻运行,容器维护线程池,每个请求分配一个线程调用应用代码。转变带来三个直接结果:

结果 含义
启动成本前移 容器与应用的初始化只做一次,请求处理不再承担初始化开销
状态可以驻留 连接池、缓存、配置等可以长期持有,但必须保证线程安全
并发上限由线程决定 线程数量成为承载能力的直接约束,而不是进程数量

1.2 容器的四类职责

职责 具体内容 出问题时的表现
连接与协议 监听端口、接受连接、解析报文、管理超时与队列 连接被拒、请求排队、协议错误
线程调度 维护线程池、为请求分配线程、回收线程 线程耗尽、请求堆积、响应变慢
生命周期 加载与初始化 Servlet、Filter、Listener,停机时逆序销毁 启动失败、停机时资源未释放
类与上下文隔离 为每个应用提供独立的类加载器与上下文 类冲突、热部署后内存泄漏

这四类职责的共同点是:都不处理业务,但都会在业务之外成为故障点。

1.3 取舍

  • 每请求一线程的模型编写简单、语义直观,代价是线程数即并发上限,IO 等待期间线程被占用。
  • 容器提供配置化的线程与连接上限,调大可以吸收更多并发,但线程与连接都占用内存,且后端与数据库的连接能力往往是更早出现的瓶颈。
  • 类加载隔离支持同实例多应用与热部署,代价是类加载器数量增加、静态状态难以彻底回收。

二、原理

2.1 容器的层次结构

Tomcat 的组件是严格的树形结构,配置与生命周期都按此层级组织:

Server(整个容器实例)
  └── Service(连接器与引擎的绑定单元)
        ├── Connector(接收连接,可以有多个,如 HTTP 与 HTTPS 各一个)
        └── Engine(请求处理引擎)
              └── Host(虚拟主机,对应一个域名)
                    └── Context(一个 Web 应用)
                          └── Wrapper(一个 Servlet)

层次结构的意义:

  • 超时、线程、连接相关参数配在 Connector,应用级参数配在 Context,二者的调优目标不同。
  • 一个 Service 内的多个 Connector 共享同一个线程池,因此 HTTPS 与 HTTP 并存时并发能力是共享的,不是各自独立的。
  • 生命周期沿树形向下启动、向上停止,Listener 的初始化与销毁顺序由此决定。

2.2 连接器:接收与解析

连接器的职责是把字节流变成请求对象,内部分为三段:

组件 职责 与参数的关系
Acceptor 接受新的 TCP 连接,交给 Poller 数量受 acceptorThreadCount 控制;队列长度由 acceptCount 决定
Poller 注册连接上的读写事件,等待数据就绪 数量受 pollerThreadCount 控制
Worker 从线程池取线程执行请求处理 线程数由 maxThreads 与 minSpareThreads 控制

三个上限的关系是理解排队行为的关键:

参数 含义 超出后的行为
maxThreads 处理请求的线程数上限 达到上限后请求在队列中等待,不再分配线程
maxConnections 容器同时接受并处理的连接数上限 达到上限后仍接受连接但不处理,直到有空闲
acceptCount 内核已完成握手但尚未被容器接受的连接队列长度 队列满后新连接在内核层面被丢弃,客户端表现为连接超时

请求的路径因此是:内核队列(acceptCount)到容器接受的连接(maxConnections)到可执行线程(maxThreads)。三者依次收窄时,客户端依次表现为连接超时、请求挂起、响应变慢。只调大 maxThreads 而不检查后端连接池,会把压力直接转移到数据库。

Tomcat 的协议实现随版本变化:NIO 与 NIO2 是当前的主要实现,APR(依赖本地库)在 Tomcat 9 中已不再推荐并在后续版本中移除,新部署不应依赖 APR。

2.3 线程模型与并发含义

  • 请求处理阶段由线程池中的线程执行,一个请求自始至终占用一个线程,直到响应写出完成。
  • 线程在业务代码执行阻塞操作(远程调用、数据库查询、文件读写)期间无法服务其他请求,因此吞吐取决于"平均处理时间"与"线程数"的比值。
  • Servlet 默认单实例多线程:容器只创建一份 Servlet 实例,多个请求线程并发调用同一个对象的 service 方法。Servlet、Filter、Controller 的实例字段因此不能保存请求级状态(生命周期与线程安全的基本约定见 Java Web 技术体系)。
  • 同一约定向上传递到框架层:单例 Bean 的字段如果被写入请求相关数据,在多线程下会互相覆盖,且这种错误通常只在并发时才出现。

2.4 类加载隔离与热部署泄漏

容器为每个 Context 分配独立的类加载器,加载顺序是先在应用自己的 classpath 中查找,再委派父加载器,目的是让同一容器上的不同应用使用不同版本的依赖而不冲突。

隔离带来的副作用是热部署与重载时的内存泄漏,常见来源:

泄漏来源 原因
线程池与定时器 应用启动的线程持有应用类引用,容器停止时未被关闭
ThreadLocal 线程池中的线程生命周期长于应用,残留的 ThreadLocal 引用阻止类被卸载
JDBC 驱动 驱动被注册到全局 DriverManager,未在应用停止时注销
缓存与静态容器 静态 Map 持有应用对象,未清空

现象是反复重部署后旧版本的类无法被回收,表现为元空间持续增长直至触发内存告警。判断方法是重部署若干次后比较类加载器数量与元空间占用。

2.5 会话与超时

  • 会话存储在容器内存中,超时由后台线程按 maxInactiveInterval 清理,超时时间过短会导致用户频繁掉线,过长会让内存中被遗弃的会话持续占用。
  • 停机时会话默认不持久化,节点重启将丢失未过期的会话;需要跨重启保留时使用外部集中存储。
  • 会话的内存占用与并发在线用户数成正比,是容量评估中容易漏掉的一项。

2.6 优雅停机

直接终止进程会让在途请求被切断,客户端收到连接重置。优雅停机的三个阶段是:

  1. 停止接受新连接:连接器被暂停,客户端的新请求由上游负载均衡转发到其他节点。
  2. 等待在途请求处理完成:容器等待正在执行的请求返回,同时等待线程池回收。
  3. 销毁应用组件:按 Listener、Filter、Servlet 的逆序调用销毁方法,释放连接池、线程池等资源。

两个前提条件:

  • 上游必须先摘除节点再停机,否则新连接仍会被转发过来,等待阶段将持续到超时。
  • 等待阶段必须有上限,超过上限的请求被强制中断,避免个别长请求阻塞整个发布流程。

2.7 容器对比与选型

维度 Tomcat Jetty Undertow
线程模型 Acceptor 与 Poller 与 Worker 分离,Worker 为线程池 连接器内多组 Acceptor 与 Selector,业务线程为队列线程池 IO 线程与 Worker 线程分离,Worker 默认按 IO 线程数倍数配置
协议实现 支持最完整,HTTP/2 与 WebSocket 成熟 支持完整,可插拔 Handler 结构灵活 支持 HTTP/2 与 WebSocket,内存占用较低
启动与内存 相对较重 轻量,启动快 轻量,适合高并发场景
生态与文档 最广泛,问题资料最多 嵌入式与定制场景常用 作为 WildFly 默认容器,Spring Boot 可直接切换
适用 通用 Web 应用、团队经验最普遍的选择 嵌入式、定制协议处理、插件化场景 高并发、资源受限、需要替换默认容器的场景

选型依据:默认情况下不需要更换容器,团队的排障经验与资料完整度比基准测试中的吞吐差异更重要;只有在明确的场景约束下(如嵌入式定制或资源严格受限)才值得替换,替换后必须重新验证超时、优雅停机与观测配置是否仍然生效。

三、实现

3.1 关键参数配置

server:
  port: 8080
  tomcat:
    threads:
      max: 200                    # 处理请求的线程上限
      min-spare: 20               # 常驻最小线程数
    max-connections: 8192         # 同时接受并处理的连接上限
    accept-count: 200             # 等待被接受的内核队列长度
    connection-timeout: 5s        # 建立连接后等待请求行的超时
    keep-alive-timeout: 30s       # 长连接空闲超时
    max-keep-alive-requests: 200  # 单条长连接的最大请求数
    uri-encoding: UTF-8
    basedir: /tmp/tomcat          # 工作目录,容器环境中建议显式指定到可写且有配额的位置

参数设置的三条原则:

  1. max-threads 的依据是"后端连接池总容量"与"单请求平均耗时允许的并发数"中的较小者,而不是尽量调大。
  2. max-connections 应大于 max-threads,使连接可以先建立再等待线程,避免连接直接被拒;差距过大则连接堆积而请求得不到处理,表现为延迟升高但吞吐不增。
  3. accept-count 只影响内核队列,属于最后一道缓冲,调大的收益有限;真正的瓶颈通常在 max-threads 与后端容量。

3.2 Undertow 与 Jetty 的替换

<!-- 替换默认容器为 Undertow -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-tomcat</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-undertow</artifactId>
</dependency>
server:
  undertow:
    io-threads: 4            # IO 线程数,通常等于 CPU 核心数
    worker-threads: 64       # 业务线程数,承担请求处理
    buffer-size: 16KB
    direct-buffers: true     # 使用堆外缓冲,减少堆内存压力

替换容器后需要重新核对的事项:线程池参数名称与默认值不同、优雅停机的实现机制不同、访问日志与观测指标的名称不同,原有利器(如 Tomcat 专有参数)不再生效。

3.3 优雅停机配置与验证

server:
  shutdown: graceful                      # 启用优雅停机
spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s       # 等待在途请求的上限
# 1. 启动应用并持续发请求,观察停机期间的成功率
for i in $(seq 1 1000); do
  curl -s -o /dev/null -w '%{http_code}\n' http://localhost:8080/api/ping
  sleep 0.1
done &
LOADER_PID=$!

# 2. 触发停机(发送 TERM 信号,等价于正常的容器停止)
kill -TERM $(pgrep -f 'java.*application.jar')

# 3. 观察日志中的停机阶段,确认在途请求处理完成后才退出
#    Graceful shutdown: waiting for in-flight requests

# 4. 确认停止期间没有连接被重置(watch 输出中不出现 000)
wait $LOADER_PID

# 5. 核对上游摘除与停机顺序:先摘除节点,再发送 TERM

3.4 观测与诊断

# 线程总览:线程数与状态分布,判断是否线程耗尽
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -c '^"'
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -oE 'java.lang.Thread.State: [A-Z_]+' | sort | uniq -c

# 按线程名统计,Tomcat 请求线程名形如 http-nio-8080-exec-N
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -oE '^"http-nio[^"]*"' | wc -l

# 连接与端口状态
ss -antp | grep 8080 | awk '{print $1}' | sort | uniq -c

# 应用级指标(Actuator):线程池、连接、会话
curl -s http://localhost:8081/actuator/metrics/tomcat.threads.busy | jq
curl -s http://localhost:8081/actuator/metrics/tomcat.threads.config.max | jq
curl -s http://localhost:8081/actuator/metrics/tomcat.sessions.active.current | jq
curl -s http://localhost:8081/actuator/metrics/tomcat.connections.current | jq

# 元空间与类加载器数量,用于判断热部署泄漏
jcmd $(pgrep -f 'java.*application.jar') GC.class_stats 2>/dev/null | head

判断要点:

  • 请求线程数长期贴近 maxThreads 且大量线程处于 WAITING 或 TIMED_WAITING,说明瓶颈在下游而不是容器线程不足。
  • 线程数不高但请求大量排队,检查 max-connections 是否先于线程达到上限。
  • 客户端出现连接超时且容器侧无请求日志,检查 accept-count 与内核 somaxconn。

3.5 常见问题对照

现象 常见原因 核对手段
高并发下请求挂起且线程数已达上限 下游响应慢占用线程 线程转储与下游耗时统计
客户端连接超时且容器无日志 内核队列已满 accept-count 与 ss -s、somaxconn
连接建立成功但长时间无响应 连接数达 max-connections,等待线程 对比 max-connections 与 max-threads
并发时接口返回数据错乱 单例对象中保存了请求级状态 检查 Servlet、Filter、单例 Bean 的字段
重部署后内存持续增长 类加载器无法卸载 重部署多次后比较元空间与类加载器数
停机时大量请求失败 未启用优雅停机,或未先摘除上游节点 停机日志与上游摘除顺序
停机耗时超过预期 存在长请求或未关闭的线程池 核对 timeout-per-shutdown-phase 与线程池关闭逻辑
更换容器后参数不生效 参数名与默认值不同 对照目标容器的配置前缀
上传大文件失败 连接器或框架层的大小限制 核对容器与框架两处限制

四、总结

  1. Servlet 把请求处理单元从进程改为线程,换来启动成本前移与状态驻留能力,同时使线程数成为并发上限。
  2. 容器承担连接与协议、线程调度、生命周期、类隔离四类职责,故障往往出现在这四类而非业务代码中。
  3. 容器是 Server 到 Wrapper 的树形结构,连接器参数与应用参数位于不同层级;同一 Service 内多个连接器共享线程池。
  4. 连接器的 Acceptor、Poller、Worker 三段配合 accept-count、max-connections、max-threads 三个上限,依次构成内核队列、已接受连接、可执行线程三层约束,客户端的表现依次为连接超时、请求挂起、响应变慢。
  5. max-threads 应依据后端连接池容量与允许的处理时长确定,而不是尽量调大,否则压力会转移到更脆弱的下游。
  6. Servlet 与单例 Bean 都是单实例多线程,实例字段不能保存请求级状态,此类错误通常只在并发时暴露。
  7. Context 级类加载隔离支持多应用与热部署,代价是线程、ThreadLocal、JDBC 驱动与静态缓存容易造成类加载器无法卸载。
  8. 优雅停机分为停止接收、等待在途、销毁组件三步,前提是上游先摘除节点且等待阶段有上限。
  9. 容器选型首先看团队排障经验与资料完整度,替换容器后必须重新验证参数、优雅停机与观测指标。
  10. 排障顺序是先看线程状态与连接数,再对比三个上限中哪个先达到,最后才调整参数。