本文说明虚拟线程在 Servlet 应用中的启用方式与工程约束。并发基础与线程池机制见 并发编程,请求上下文与异步处理链路见 Spring MVC 请求处理链路,容器线程模型与参数见 Servlet 容器运行时,IO 模型与异步编程的对比见 IO 模型与 Netty,线程与内存诊断见 应用诊断与调优,异步任务配置见 Spring Boot 实践。
一、起源
1.1 平台线程的两项成本
平台线程与操作系统线程一对一,成本体现在两处:
| 成本 | 具体表现 | 后果 |
|---|---|---|
| 内存 | 每个线程需要独立的栈空间,预留量在兆字节量级 | 线程数达到数千后内存占用显著,且大部分栈空间未被使用 |
| 调度 | 线程由内核调度,数量超过核心数后切换开销上升 | 上下文切换占用 CPU,且换入的线程往往只是继续等待 |
在每请求一线程的模型中,线程数直接决定并发上限,而线程的生命周期中大部分时间消耗在等待下游响应上,等待期间线程既不消耗 CPU 也无法服务其他请求。
1.2 异步化的代价
为绕开线程上限,出现了两种方案,代价各不相同:
| 方案 | 做法 | 代价 |
|---|---|---|
| 回调与响应式 | 用事件回调替代阻塞调用,少量线程承载大量请求 | 调用栈被拆散,排障与调试困难,生态中部分驱动不支持 |
| 异步 Servlet | 容器线程交出请求,业务线程完成后回写 | 上下文传递需手工处理,编程模型与同步写法差异大 |
两种方案共同的问题是:为了绕过资源限制而改变了编程模型,业务代码因此变得更难编写与维护。
1.3 虚拟线程改变了什么
虚拟线程把"线程"的调度从内核搬到 JVM:少量平台线程作为载体,大量虚拟线程在其上挂载与卸载。当虚拟线程执行阻塞操作时,JVM 将其从载体上卸载并把载体让给其他虚拟线程,因此阻塞不再浪费载体线程。
由此得到的直接结论:可以继续使用同步阻塞的写法,同时把并发规模从"线程数上限"提升到"受下游容量与内存限制"。改变的是并发承载方式,不是阻塞本身的语义。
二、原理
2.1 虚拟线程与载体线程
| 概念 | 说明 |
|---|---|
| 虚拟线程 | 由 JVM 调度的轻量执行单元,栈按需增长并存储在堆中 |
| 载体线程 | 平台线程,虚拟线程在其上执行 |
| 挂载 | 虚拟线程被分配到某个载体线程上执行 |
| 卸载 | 虚拟线程遇到可卸载的阻塞操作时让出载体线程 |
| 调度器 | 管理载体线程池并负责挂载与卸载的组件 |
栈存储在堆中是内存成本大幅下降的原因:栈按实际使用量增长,而不是预先预留固定大小。
2.2 挂起与恢复的机制
虚拟线程的挂起与恢复依赖延续:挂起时保存当前的执行状态,恢复时从保存点继续执行。
- 触发卸载的操作主要是基于网络与通道的阻塞调用(套接字读写、
java.util.concurrent的阻塞原语、Thread.sleep、LockSupport等)。 - 卸载发生后,载体线程立即去执行其他就绪的虚拟线程,因此等待时间不再占用调度资源。
- 恢复时虚拟线程可能被分配到与挂起前不同的载体线程上,这一点决定了线程局部变量与上下文传递的处理方式。
2.3 与平台线程的对比
| 维度 | 平台线程 | 虚拟线程 |
|---|---|---|
| 创建成本 | 较高,需要分配栈并注册到内核 | 低,创建百万级在内存上可行 |
| 默认栈大小 | 兆字节量级 | 按需增长,初始很小 |
| 调度者 | 操作系统 | JVM 调度器与载体线程池 |
| 阻塞行为 | 占用内核线程 | 可卸载,载体转去执行其他任务 |
| 是否应池化 | 需要池化以复用 | 不需要,应按任务创建 |
| 是否支持线程局部变量 | 支持 | 支持,但成本被线程数量放大 |
2.4 载体线程池
- 默认载体池大小等于可用处理器数量,可通过系统属性调整并行度与最大池大小。
- 载体池属于 ForkJoinPool,其并行度决定同时真正在执行的虚拟线程数量,因此 CPU 密集型任务的吞吐仍受核心数限制。
- 载体池过小会使大量虚拟线程排队等待挂载,表现为延迟升高,但这种情况通常是存在固定操作导致的,而不是池太小;调大载体池属于规避症状而非解决问题。
2.5 载体被固定的成因
固定指虚拟线程进入阻塞状态但没有卸载载体,此时载体线程被占用,虚拟线程相对平台线程的优势消失。
| 成因 | 说明 | 版本差异 |
|---|---|---|
在 synchronized 块中阻塞 | 监视器与载体线程绑定,阻塞期间无法卸载 | JDK 21 至 23 存在;后续版本中该限制已被移除 |
| 调用本地方法 | 本地栈帧无法保存与恢复 | 仍然存在 |
| 类初始化过程中的阻塞 | 类初始化需要持有锁 | 原则上存在 |
| 文件系统操作 | 部分版本中文件读写不会卸载载体线程 | 视版本与实现而定,需要实测确认 |
排查方式:通过系统属性输出固定堆栈,或使用 JFR 事件观测。JDK 21 起提供 -Djdk.tracePinnedThreads 参数,并在 JFR 中提供虚拟线程固定事件,默认对超过一定时长的固定记录事件。
# 输出发生固定的堆栈
java -Djdk.tracePinnedThreads=full -jar application.jar
# 通过 JFR 采集并查看固定事件
java -XX:StartFlightRecording=duration=60s,filename=recording.jfr -jar application.jar
jfr print --events jdk.VirtualThreadPinned recording.jfr | head -50
2.6 线程局部变量的成本变化
虚拟线程支持线程局部变量,但成本模型变了:
- 平台线程池中线程数量有限,线程局部变量是"少数几份"。
- 虚拟线程按任务创建,线程局部变量变为"每任务一份",百万级任务下会显著增加内存占用。
- 更严重的是语义问题:虚拟线程在挂载与卸载之间可能切换载体,若依赖线程局部变量传递请求上下文,跨任务与跨线程的场景会出现取不到或取到错误值的情况。
处理方向是把"隐式的线程绑定上下文"改为"显式的参数传递"或使用作用域值(ScopedValue)。作用域值自 JDK 20 起以预览形式提供,在较新版本中转正,其语义是绑定在代码块作用域内且不可变,不随线程切换而失效。
2.7 为什么不应池化虚拟线程
池化的目的是复用昂贵的资源,而虚拟线程的创建成本极低,池化只会带来两个问题:
- 复用破坏了"一个任务一个线程"的模型,使线程局部变量与上下文语义变得不可预测。
- 池的上限重新变成并发上限,等于放弃了虚拟线程的主要收益。
正确做法是每个任务创建一个虚拟线程,需要限制并发时使用信号量控制进入临界区的数量,而不是限制线程数量。
2.8 与响应式模型的关系
| 维度 | 响应式 | 虚拟线程 |
|---|---|---|
| 编程模型 | 声明式数据流,需重写业务逻辑 | 保持同步阻塞写法 |
| 排障 | 调用栈断裂 | 调用栈完整 |
| 生态要求 | 需要全链路非阻塞驱动 | 对驱动无额外要求 |
| 并发上限 | 由事件循环与背压控制 | 由下游容量与内存控制 |
| 适用 | 上下游都已非阻塞、并发极高的网关类场景 | 传统同步栈的 Web 应用 |
结论:虚拟线程的主要价值是让原本因线程成本而被迫异步化的场景回到同步模型,因此它替代的是"为了并发而异步化"的动机,而不是替代响应式的全部场景。
2.9 与容器的集成方式
容器需要一个把请求交给虚拟线程的执行器。集成点是把连接器或引擎使用的请求执行器替换为"每任务一个虚拟线程"的执行器,替换后原有的线程数配置不再生效,请求线程名也会变化,观测与告警中依赖线程名的规则需要同步调整。
注意两类请求不会走该执行器:容器内部的后台任务与超时处理线程仍使用平台线程;响应写出阶段的阻塞(慢客户端)也会占用载体,因此慢客户端数量多时仍需通过超时与限流保护。
三、实现
3.1 Spring Boot 启用方式
spring:
threads:
virtual:
enabled: true # 一处开关启用虚拟线程
该开关的作用范围包括:容器的请求执行器、@Async 任务执行器、以及部分框架内部的异步任务执行器。需要注意三点:
- 启用后
server.tomcat.threads.max等线程数配置不再限制并发,原有基于线程数的容量评估需要重做。 - 定时任务与消息消费等自建线程池不受该开关影响,需要单独替换。
- 启用前应确认 JDK 版本,并核对应用依赖中是否存在大量使用
synchronized包装阻塞调用的库。
3.2 容器执行器替换(不使用该开关时)
@Configuration
public class TomcatVirtualThreadConfig implements WebServerFactoryCustomizer<TomcatServletWebServerFactory> {
@Override
public void customize(TomcatServletWebServerFactory factory) {
factory.addProtocolHandlerCustomizers(handler -> {
// 每任务一个虚拟线程,替代默认的固定线程池
handler.setExecutor(Executors.newVirtualThreadPerTaskExecutor());
});
}
}
3.3 线程池的替换范围
| 场景 | 替换方式 | 注意点 |
|---|---|---|
@Async 方法 | 提供基于虚拟线程的 AsyncTaskExecutor | 原有线程池参数失效,限流需改用信号量 |
| 定时任务 | 使用虚拟线程执行器承载任务体 | 任务内部的阻塞不占用调度线程 |
| 消息消费 | 每条消息一个虚拟线程 | 消费并发上限改由下游与信号量控制 |
| 并行调用聚合 | 每路调用一个虚拟线程后合并 | 配合结构化并发或 invokeAll 使用 |
CompletableFuture 默认池 | 显式传入虚拟线程执行器 | 默认公共池仍是平台线程 |
@Configuration
@EnableAsync
public class AsyncConfig implements AsyncConfigurer {
@Override
public Executor getAsyncExecutor() {
return Executors.newVirtualThreadPerTaskExecutor();
}
}
// 用信号量限制并发,而不是限制线程数
private final Semaphore permits = new Semaphore(200);
public Result callDownstream(Request request) throws InterruptedException {
permits.acquire();
try {
return client.invoke(request); // 同步阻塞写法保持不变
} finally {
permits.release();
}
}
3.4 上下文传递
// 方式一:显式传递,最稳定
public void handle(String tenantId, String traceId, Request request) {
// 业务方法签名中直接携带所需上下文
}
// 方式二:使用作用域值,作用域内不可变,跨线程可见
// 需要在 JDK 支持该 API 的版本下使用,并按版本确认是否为预览 API
private static final ScopedValue<String> TRACE_ID = ScopedValue.newInstance();
public void handle(Request request) {
ScopedValue.where(TRACE_ID, resolveTraceId(request)).run(() -> {
// 该作用域内可读取 TRACE_ID
service.process(request);
});
}
改造清单:先排查所有通过线程局部变量传递的业务上下文(租户标识、用户身份、链路标识、数据源路由标记),逐个改为显式参数或作用域值;仅保留日志框架与框架自身使用的线程局部变量。
3.5 压测对比与判定
# 1. 建立基线:关闭虚拟线程,逐步加压到线程池上限,记录吞吐与延迟分位
wrk -t4 -c400 -d60s --latency http://localhost:8080/api/orders/1
# 2. 启用虚拟线程后,用相同参数复测
# 关注三个指标:吞吐是否提升、延迟分位是否恶化、载体线程是否被占满
# 3. 观察载体线程的固定情况
jcmd $(pgrep -f 'java.*application.jar') Thread.dump_to_file -format=json /tmp/dump.json
grep -c 'virtual' /tmp/dump.json
# 4. 确认上下文是否正确传递(并发下核对租户标识与链路标识)
for i in $(seq 1 500); do
curl -s -H 'X-Tenant-Id: t1' http://localhost:8080/api/whoami
done | sort | uniq -c
# 5. 观测载体线程数与 CPU 使用率,判断瓶颈是否转移到下游或核心数
jcmd $(pgrep -f 'java.*application.jar') Thread.print | grep -c 'ForkJoinPool'
判定标准:
| 观察结果 | 结论 |
|---|---|
| 吞吐提升且延迟分位持平 | 瓶颈原在线程数,虚拟线程收益成立 |
| 吞吐不变但延迟分位恶化 | 瓶颈已在下游,虚拟线程只是把压力更快传递下去 |
| 载体线程数接近核心数且 CPU 饱和 | CPU 成为瓶颈,虚拟线程不能提升这类任务 |
| 固定事件频繁出现 | 存在 synchronized 或本地调用包裹的阻塞,需要改造 |
3.6 常见问题对照
| 现象 | 常见原因 | 处理方式 |
|---|---|---|
| 启用后吞吐未提升 | 瓶颈在后端或数据库连接池 | 先扩容下游,再评估虚拟线程 |
| 延迟分位恶化 | 并发放大导致下游压力上升 | 用信号量限制并发 |
| 上下文偶发取不到或取错 | 依赖线程局部变量传递上下文 | 改为显式传递或作用域值 |
| 租户或数据源路由错乱 | 同上,且线程局部变量在载体切换后失效 | 排查全部线程局部变量用法 |
| 固定事件大量出现 | synchronized 包裹阻塞调用 | 替换为并发包中的锁或移除临界区 |
| 内存占用上升 | 线程局部变量按任务分配,或虚拟线程数量失控 | 减少线程局部变量,限制并发 |
| 慢客户端导致响应变慢 | 响应写出占用载体 | 通过超时与限流保护,必要时调整连接器超时 |
| 原有线程数告警失效 | 线程名与数量变化,线程数不再等于并发 | 改用并发数、在途请求数与延迟指标 |
| 监控中的线程池指标无意义 | 执行器已被替换 | 移除或改写相关看板与告警 |
四、总结
- 虚拟线程解决的是"阻塞等待占用昂贵线程"的问题,把调度从内核搬到 JVM,从而在保留同步写法的前提下提升并发承载。
- 虚拟线程的栈存储在堆中并按需增长,创建成本极低,因此并发上限不再由线程数决定,而由下游容量与内存决定。
- 阻塞时是否能卸载载体决定收益能否兑现,
synchronized内阻塞在早期版本会导致载体被固定,本地方法与部分文件操作也存在同样限制,需要按 JDK 版本实测确认。 - 线程局部变量的成本模型随虚拟线程改变,由"少量线程各一份"变为"每个任务各一份",并且载体切换会破坏隐式的线程绑定语义。
- 虚拟线程不应池化,需要限制并发时使用信号量控制进入下游的数量,而不是限制线程数量。
- 虚拟线程替代的是"为了并发而异步化"的动机,并不替代响应式的全部场景,两者按上下游是否非阻塞选择。
- 启用虚拟线程是一处开关,但影响面覆盖容器执行器、异步任务与框架内部任务;自建线程池、消息消费与定时任务需要单独替换。
- 启用后原有的线程数配置与基于线程数的监控告警失效,容量评估与看板必须同步调整。
- 改造的前置工作是清理线程局部变量的使用,否则会出现上下文偶发缺失或跨租户串数据这类难以复现的问题。
- 压测的判定标准不是吞吐是否提升,而是瓶颈是否仍在线程数;若瓶颈已在下游,虚拟线程只会让压力更快到达瓶颈。