一、起源:线上问题的形态与诊断难点
1.1 三类典型场景
线上问题的表现形态不同,可用的诊断窗口与手段也不同。按"现象出现的节奏"可以分成三类:
| 场景 | 表现 | 时间特征 | 诊断窗口 |
|---|---|---|---|
| 响应变慢 | 接口延迟 P99 上升、吞吐下降、错误率轻微抬升 | 渐进,数分钟至数小时 | 较宽裕,可在业务低峰开展高开销采集 |
| 间歇性卡顿 | 平时指标正常,周期性或随机出现长尾请求、超时告警 | 抖动,单次数百毫秒至数秒 | 极窄,现象与采集时机容易错开 |
| 突发故障 | 进程退出、连接被拒、上游大面积超时、雪崩 | 突变,秒级 | 几乎没有,现场随恢复动作一起消失 |
三类场景对应的第一动作不同:响应变慢先看趋势与资源水位;间歇性卡顿依赖持续采集与事后回溯;突发故障必须先保现场再恢复。
1.2 诊断难点
不能随意重启。 重启是恢复服务最直接的手段,同时会销毁全部进程内证据。在有状态服务、长连接网关、正在执行批处理任务的实例上,重启本身还会带来数据一致性与任务中断的额外代价。是否允许重启,直接决定诊断是"围绕一个活进程取证"还是"在恢复后靠转储与日志复盘"。
证据易失。 线程栈、堆布局、JIT 编译状态、内核连接状态都只存在于运行中的进程或最近的时间窗口内。GC 日志按文件轮转,容器可写层随容器重建而清空,内核环形缓冲区(dmesg)容量有限会被覆盖。一次非计划重启或一次容器重建,可能让全部关键证据同时消失。
影响面敏感。 诊断动作自身要占用 CPU、内存与磁盘 IO。堆转储会造成秒级到数十秒的停顿,高频采样会增加 CPU 开销,-dump:live 还会触发 Full GC。在流量高峰期执行诊断,可能把一次性能下降放大为一次可用性事故。诊断能力越强的手段,通常在线上越危险。
1.3 诊断能力与现场保留的取舍
取舍的核心问题是:在故障发生的当下,愿意付出多少代价换取多少证据,以及这些证据是否值得提前预置。
| 手段 | 典型开销 | 能否事后补采 | 主要用途 |
|---|---|---|---|
| GC 日志 | 极低,可长期开启 | 否,依赖文件留存 | 停顿分布、回收频率、触发原因 |
| 应用指标(Micrometer 等) | 低 | 否,依赖时序库保留 | 趋势判断、告警 |
| JFR(默认配置) | 低于 1%,可长期开启 | 否,仅保存采集窗口 | 线程、锁、IO、异常、JIT、GC 全维度回溯 |
线程转储(jstack) | 低,毫秒级停顿 | 否 | 阻塞、死锁、线程池饱和 |
类直方图(GC.class_histogram) | 低 | 否 | 对象分布初筛 |
动态追踪(trace/watch) | 中,与调用频次成正比 | 否 | 定位具体方法的耗时与参数 |
| 采样剖析(火焰图) | 中,可调采样频率 | 否 | 定位 CPU 热点与调用占比 |
| 堆转储 | 高,秒级至数十秒停顿并写大文件 | 否 | 泄漏对象与持有链 |
| 主机侧抓包与内核追踪 | 中到高 | 否 | 网络与系统调用层面的根因 |
由此得到两条工程结论:
- 低成本、可长期开启的采集应当默认预置(GC 日志、应用指标、默认 JFR),它们决定了不可复现问题是否还能被复盘。
- 高成本手段只在定位需要时临时开启,并明确开启者、开启时间、预期开销与关闭条件,避免工具长期驻留成为新的资源占用源。
二、原理
2.1 诊断原则
2.1.1 先止损与先取证的适用条件
"先止损"与"先取证"不是对立的两种流派,而是由故障特征决定的两条路径:
| 判断维度 | 适合先止损 | 适合先取证 |
|---|---|---|
| 影响面 | 正在扩散,波及核心链路 | 已限定在单实例或单功能 |
| 是否有降级与摘流手段 | 有开关、有多副本可承接 | 无冗余,摘除即中断 |
| 故障稳定性 | 恶化中,等待会扩大损失 | 已稳定,短期内不会进一步恶化 |
| 证据价值 | 重启后可从转储、日志复盘 | 证据只在进程内,且问题难复现 |
| 典型场景 | 错误率飙升、雪崩、进程反复被杀 | 单实例内存缓慢增长、偶发长尾 |
实践中的操作顺序是:先用最小代价做一次必要取证,再止损,恢复后回到转储与日志继续定位。 最小代价通常指一条 jstack、一次 GC.class_histogram、一份 GC 日志切片,耗时在秒级,不会显著延长故障时间;如果配置了 -XX:+HeapDumpOnOutOfMemoryError,堆转储会在 OOM 抛出时自动完成,不占用人工止损的时间窗口。
2.1.2 最小侵入原则
- 只读优先于写入:查看类直方图、线程栈、JVM 参数属于只读操作;触发 GC、热更新代码、修改容器限额属于写入操作。能只读解决的,不进入写入。
- 低开销优先于高开销:先用
jstat与 GC 日志判断方向,再决定是否需要堆转储或高频采样。 - 单实例优先于全量:先在故障实例或一个副本上操作,验证手段与结论,再决定是否推广。
- 可逆优先于不可逆:优先选择停止后可完全恢复的手段,避免在生产进程上做无法回退的修改。
2.1.3 可复现与不可复现问题的差别
| 维度 | 可复现问题 | 不可复现问题 |
|---|---|---|
| 复现环境 | 可在压测环境用模型复现 | 只能依赖生产现场 |
| 可用工具 | 任意高开销工具、调试器、字节码插桩 | 仅限低开销、长期开启的手段 |
| 判定依据 | 对照实验,控制变量 | 持续采集 + 时间线交叉比对 |
| 主要手段 | 压测、单步、JFR、采样剖析 | GC 日志、指标趋势、默认 JFR、告警时间线 |
对不可复现问题,诊断能力在故障发生前就已确定:只能依赖事先开启的采集。这解释了为什么"默认 JFR + GC 日志 + 应用指标"是线上诊断的基础设施,而不是可选优化。
2.1.4 证据链的建立方式
单条证据只能给出线索,结论需要多条证据在时间轴上互相印证:
- 统一时间基准:应用日志、GC 日志、容器事件、内核日志、监控指标必须对时(NTP),否则"哪个先发生"无法判断。时间偏移会直接导致因果倒置。
- 四类证据分层:指标给出"什么时候、哪一类问题",日志给出"具体事件与异常",追踪给出"请求经过了哪些环节",**快照(线程栈、堆、JFR)**给出"当时进程内部状态"。
- 记录变更:故障前后的发布、配置、扩容动作必须可查。相当比例的线上问题是变更引入的,没有变更记录就无法排除这一大类原因,相关流程参见 linux: 变更与发布管理。
服务间调用的超时、重试与熔断参数会直接改变调用方线程与连接的占用时长,其参数约束与追踪上下文的透传见 Spring Cloud 微服务。
2.2 问题分类与对应的证据来源
定位的第一步不是打开工具,而是把现象归入类别,再选证据。不同类别的首选手段差异明显:
| 问题类别 | 典型现象 | 首选证据 | 采集手段 | 判读要点 |
|---|---|---|---|---|
| CPU 高 | 负载上升、吞吐下降、延迟上升 | 线程栈 + 采样火焰图 | jstack 连续多次、jcmd Thread.print、采样剖析 | 区分 GC 线程占比高与业务线程卡在同一方法 |
| 内存高 | RSS 上升、容器接近限额 | 内存曲线 + GC 后使用量 + NMT | jstat -gc、jcmd VM.native_memory | 区分堆内占用与堆外占用 |
| GC 频繁 | 停顿次数上升、CPU 被 GC 占用 | GC 日志 | 已开启的 GC 日志 | 分配速率、晋升速率、触发原因 |
| 线程阻塞与死锁 | 请求堆积、部分接口无响应 | 线程栈 | jstack / jcmd Thread.print 连续多次 | 等待链、锁持有者、死锁标识 |
| 连接与句柄耗尽 | Too many open files、连接超时 | 句柄计数 + 线程栈 | lsof、/proc/<pid>/fd 计数、连接池指标 | 泄漏(单调增长)与容量不足(峰值触顶)的区别 |
| 磁盘与日志写入阻塞 | 请求变慢且 CPU 不高、D 状态线程 | 磁盘 IO 指标 + 线程栈 | iostat、/proc/pressure/io、线程栈 | 同步日志写入、fsync、磁盘打满或 inode 耗尽 |
| 外部依赖变慢 | 单个下游相关的接口普遍变慢 | 调用方耗时拆解 + 下游指标 | 应用埋点、连接池与超时统计、下游监控 | 区分自身排队与下游处理慢 |
这张表的用途是压缩试错范围:先按类别取一组低成本证据,方向正确再进入高开销手段。每类问题的堆内成因与转储分析方法已在 JVM 内存结构与垃圾回收 中展开,本节不重复。
2.3 动态诊断机制
2.3.1 字节码增强与在线诊断工具的工作原理
动态诊断工具(Arthas、BTrace、JVM Sandbox 等)的能力来自 Java 的两个官方扩展点:
- Java Agent:通过
-javaagent在启动时(premain)或通过 attach 机制在运行时(agentmain)挂载,拿到Instrumentation实例。 Instrumentation.retransformClasses:在不改变类结构(字段、方法签名)的前提下替换方法字节码,是"运行时给方法加统计"的实现基础。
工具的典型工作链路:
attach 到目标 JVM
│ JVM TI + Instrumentation
▼
读取目标类的原始字节码
│ ASM / ByteBuddy 改写
▼
在方法入口与出口插入探针(计时、记录参数、捕获异常)
│
▼
把采样结果通过套接字回传到诊断端展示
2.3.2 可观察的维度
| 维度 | 说明 | 典型用途 |
|---|---|---|
| 方法耗时 | 入口出口时间差 | 定位慢方法 |
| 调用链 | 带层级的方法调用序列 | 还原一次请求的执行路径 |
| 调用次数 | 单位时间内的调用计数 | 识别高频热点 |
| 参数与返回值 | 方法入参、返回值、异常 | 定位脏数据与条件分支 |
| 异常 | 方法内抛出的异常类型与栈 | 定位被吞掉的异常 |
| 类与类加载器 | 已加载类、加载器层级 | 类冲突、重复加载、版本不一致 |
2.3.3 开销边界与观测盲区
开销与调用次数成正比。 探针本身是纳秒级操作,但对每秒被调用数十万次的方法插桩,累计开销会显著抬高 CPU 并改变程序的时序特征,可能让问题更难复现。
观测存在结构性盲区:
- JIT 内联:被内联的小方法不再有独立栈帧,采样或栈回溯看不到;即便探针插在字节码层,内联后的实际执行路径也与源码层级不一致。
- native 方法:JVM 之外的调用(多数 IO、部分加解密、压缩)在字节码层没有方法体,探针覆盖不到,需要靠采样或系统层面工具。
- 动态生成的类:CGLIB、JDK 动态代理、Lambda 生成的类名带
$$、$Proxy等后缀,与方法名匹配时需要按实际加载的类名来写。 - 静态初始化与构造函数:部分工具对
<init>、<clinit>的观测支持有限。
因此动态追踪适合定位已经缩小到某个类或方法的问题,不适合作为发现问题的第一手段。
2.4 采样与剖析
2.4.1 采样型与埋点型剖析
| 维度 | 采样型(Sampling) | 埋点型(Instrumentation) |
|---|---|---|
| 原理 | 周期性中断并抓取调用栈,按栈出现次数估算占比 | 在方法入口出口插入计数与计时 |
| 开销 | 与采样频率成正比,与调用次数无关 | 与方法调用次数成正比 |
| 精度 | 相对准确,短方法可能漏采 | 计数精确 |
| 对短方法 | 容易漏掉(采样间隔内已完成) | 能覆盖 |
| 对高频方法 | 开销可控 | 开销放大明显 |
| 适用场景 | CPU 热点定位、长期开启 | 精确计数、特定方法的耗时统计 |
| 代表实现 | async-profiler 的 CPU 模式、JFR 的部分事件、jstack 采样 | Arthas monitor/trace、JFR 的方法采样事件 |
两者互补:先用采样找出热点方向,再用埋点对候选方法做精确统计。
2.4.2 JFR 的采集范围与开销
JFR(JDK Flight Recorder)是 JVM 内建的事件采集框架,JDK 11 起开源,默认开销低于 1%,适合在生产长期开启。它覆盖的事件类别包括:
| 类别 | 内容示例 |
|---|---|
| GC | 各次回收的类型、原因、停顿、回收前后容量、晋升量 |
| 线程 | 线程启动与结束、线程状态变化、虚拟线程相关事件 |
| 锁与同步 | 锁竞争、阻塞时间、Object.wait 与 park 事件 |
| 文件与 Socket | 文件读写、socket 读写、超时 |
| 异常与错误 | 抛出与捕获的异常类别与数量 |
| JIT 与代码缓存 | 编译事件、编译耗时、代码缓存使用 |
| 内存分配 | 分配采样(可按比例采样,得到对象分配热点栈) |
| 系统与 JVM 信息 | 环境变量、JVM 参数、CPU 与内存基本信息 |
JFR 的写入目标是环形缓冲区,可配置 maxsize 与 maxage,超出后覆盖最旧数据。这一设计意味着事后回看的时间范围有限,需要按问题的最长复现周期设置容量。采集与判读命令见 JDK 内置工具详解 的 JFR 一节。
2.4.3 火焰图的作用与判读方式
火焰图把采样得到的调用栈聚合后横向铺开:
横轴:宽度 = 该栈帧在采样中出现的比例(近似为该函数占用的 CPU 时间占比)
纵轴:调用栈深度 = 从上到下为被调用关系(上方是被调用者)
判读要点:
- 找宽平台:某一层出现明显很宽的函数块,说明它是热点;宽度代表占比,不代表绝对时间。
- 看平顶:栈顶(叶子帧)是宽平台,说明时间消耗在该函数自身,而非其子调用。
- 看窄而深的塔:深调用链但每层占比很小,通常不是 CPU 瓶颈,需要考虑是否是 IO 等待或锁等待(此时需要等待型火焰图或 wall-clock 模式,而不是 CPU 模式)。
- 颜色不承载信息:火焰图的配色只是为了区分相邻块,不能从颜色读出含义。
- 差分对比:把健康时段与异常时段的火焰图做差分,新出现或显著变宽的块即为变更引入的热点。这是判断"哪个改动导致 CPU 上升"最直接的方式。
2.5 容器环境带来的差异
容器把应用放进 cgroup 限额里,JVM 与运维工具看到的"机器"和真实的机器不再一致。
1. 内存与 CPU 视图偏差。 在容器内执行 free、nproc、读取 /proc/meminfo,得到的是宿主机视角的数据,而不是容器限额。基于这些数字做容量判断会严重高估可用资源。JVM 的默认堆推导在 JDK 10 起(JDK 8u191 之后回移)改为读取 cgroup 限额,但 -XX:ActiveProcessorCount 之外的核数感知在部分场景仍有偏差,需要显式指定。
2. 堆大小与容器限额的关系。 进程总内存 = 堆 + 元空间 + 线程栈(-Xss × 线程数)+ 直接内存 + 代码缓存 + GC 自身结构 + JNI/本机库。容器限额必须覆盖这一总和,否则会出现"堆内尚有余量,进程已被终止"的现象。按限额百分比设置堆上限(-XX:MaxRAMPercentage)可以让参数随限额自适应,比写死 -Xmx 更适合弹性伸缩场景。
3. OOMKilled 与 JVM OOM 的区分。 前者没有 Java 异常、退出码通常为 137、容器 OOMKilled 标记为真;后者有 OutOfMemoryError 与栈,并可能生成堆转储。判断顺序是先比较容器限额、进程 RSS 与堆用量三项数值,再确认堆外部分由哪一类组成。完整判定方法与 cgroup 计数读取方式见 Docker 容器排障与命名空间诊断。
4. CPU 配额导致的节流。 容器 CPU 限额以"周期内可用时间"的形式生效,超过即被强制等待,表现为延迟周期性毛刺,而 docker stats 里的使用率往往稳定在配额附近。判读依据是 cpu.stat 中 nr_throttled 与 nr_periods 的比值、以及 throttled_usec 是否持续增长。此时增加线程数不会提升吞吐,反而会加剧等待与上下文切换。
节流的字段含义与处置方式同样参见 Docker 容器排障与命名空间诊断,容器运行时的资源限额配置参见 Docker on Ubuntu 配置。
三、实现
3.1 诊断流程
从告警或现象出发,诊断遵循固定顺序,每一步都以"产出可判读的证据"为目标:
现象(告警 / 用户反馈 / 巡检发现)
│
├─ 第一步:外部依赖 —— 排除或确认下游
│ 下游接口耗时、错误率、超时与重试次数、连接池等待
│ 产出:问题是否由外部引入
│
├─ 第二步:主机资源 —— 确认资源是否触顶
│ CPU、内存、磁盘 IO 与空间、网络、句柄与连接数
│ 产出:资源不足、限额触顶还是资源充足但应用异常
│
├─ 第三步:JVM 指标 —— 判断问题落在 JVM 的哪一部分
│ 堆使用曲线、GC 次数与停顿、线程数、类加载数、堆外占用
│ 产出:GC 型、堆内存型还是非内存型
│
├─ 第四步:线程与堆 —— 定位到线程与对象
│ 线程栈(谁在阻塞)、类直方图(对象分布)、必要时堆转储
│ 产出:阻塞链、锁持有者、可疑对象类型
│
└─ 第五步:代码路径 —— 回到具体方法
动态追踪或采样剖析定位到方法与条件分支
产出:修复方案
这个顺序的设计理由是排除成本递增:前两步用主机与依赖侧已有的监控即可完成,几乎不接触应用进程;第三步开始只读访问 JVM;第四、五步才可能引入停顿或额外开销。跳过前两步直接从应用入手,常见结果是"查了半小时 JVM,最后发现是下游超时"或"以为是代码问题,实际是容器 CPU 被节流"。
各步的判读依据:
| 步骤 | 首查项 | 判读依据 | 进入下一步的条件 |
|---|---|---|---|
| 外部依赖 | 下游调用耗时与错误率 | 调用方耗时拆解中,等待下游的时间是否占主导 | 下游正常,耗时在本进程内 |
| 主机资源 | CPU、内存、磁盘、句柄 | 是否存在饱和指标;容器场景看限额与节流 | 资源未触顶,或触顶但不足以解释现象 |
| JVM 指标 | GC 次数与停顿、堆曲线、线程数 | 停顿是否落在请求超时区间;GC 后使用量是否回落;线程数是否异常 | 排除 GC 主导型问题 |
| 线程与堆 | 线程状态分布、等待链、对象分布 | 大量线程是否卡在同一位置;是否存在死锁;是否有异常增长的对象类 | 定位到具体线程栈或对象类 |
| 代码路径 | 目标方法耗时与调用次数 | 热点方法是否在业务代码而非框架层 | 给出修复方案 |
命令本身的参数与输出字段解释见 JDK 内置工具详解 的"JVM 监控与诊断工具"一节,本节只说明在哪一步用哪类证据。
3.2 动态诊断实操
3.2.1 常用诊断动作
动态诊断工具以 Arthas 为代表,工作方式是 attach 到目标 JVM 后按需执行动作。常用动作及其开销:
| 动作 | 典型命令 | 输出判读 | 开销 |
|---|---|---|---|
| 概览 | dashboard | 线程状态分布、堆与 GC 概览、热点线程 | 低(周期性刷新,可降低刷新频率) |
| 线程排查 | thread、thread -n 5、thread -b | 最忙的线程栈、阻塞其他线程的线程、死锁检测 | 低 |
| 方法耗时追踪 | trace <类> <方法> | 调用链上各层耗时与占比 | 中,与调用次数成正比,可设 -n 限制次数 |
| 方法调用观测 | watch <类> <方法> '{params, returnObj, throwExp}' | 入参、返回值、异常 | 中,同上 |
| 调用统计 | monitor -c 10 <类> <方法> | 调用次数、成功率、平均耗时 | 中 |
| 调用栈来源 | stack <类> <方法> | 谁调用了该方法 | 低到中 |
| 时空隧道 | tt <类> <方法> | 记录每次调用的现场并事后重放 | 中到高,记录量随调用数增长 |
| 类与类加载器 | sc、sm、classloader -t | 已加载类、方法签名、加载器层级 | 低 |
| 对象统计 | heapdump、vmtool --action getInstances | 堆快照、某类实例数量 | heapdump 高,其余中 |
| 日志级别调整 | logger | 运行时切换日志级别 | 低,但会把日志量放大 |
| 采样剖析 | profiler start / profiler stop | 生成火焰图 | 中,可调采样频率 |
| 反编译与热更新 | jad、mc、retransform / redefine | 确认线上实际字节码;替换方法实现 | 反编译低,热更新见下 |
使用原则:按"从低开销到高开销"的顺序尝试,且限定作用范围(用 -n 限制次数、用条件表达式过滤调用、明确类名与方法名)。诊断动作结束后应主动退出(stop),避免工具长期驻留。
3.2.2 热更新代码
高危 在生产进程上热更新代码(Arthas retransform/redefine 等)
- 影响范围:热更新只替换方法体,不改变类结构(字段、方法签名、继承关系)。若替换后的字节码与运行中依赖的类结构不兼容,会抛
UnsupportedOperationException或VerifyError;原有类的已初始化状态(静态字段)、已编译的 JIT 代码、已建立的内部状态不会随之重置,导致行为与本地编译版本不一致;若替换方法存在逻辑错误,错误会在下一次调用时立即在生产生效;部分框架会缓存字节码或代理类,热更新后实际执行的可能仍是旧逻辑。热更新的类在进程重启后全部回退,会造成"修复后再次复发"。 - 回滚方式:使用
retransform时保留原字节码文件,出现异常立即重新retransform回原实现;无法回退时按发布流程重启或回滚版本。热更新只能在版本回退或重启之前作为临时止血手段,必须在变更记录中标注为临时措施并跟进正式修复。 - 替代做法:优先通过日志级别调整、动态开关、限流降级等手段临时止血;确需修改代码时,走正常发布流程(灰度、滚动),而非在故障实例上改字节码。
3.2.3 生产使用的权限与留痕要求
动态诊断工具等价于在生产进程上执行任意代码,需要与生产登录同等级别的管理:
- 接入审批与授权:工具接入、命令执行应经过审批或至少具备可追溯的授权链条,避免任意人员直接 attach 生产进程。
- 操作留痕:记录执行人、目标实例、执行时间、执行的命令与采集产物。诊断命令的输出本身也是事件证据,应与故障记录一并归档。
- 只读优先:默认使用只读动作;涉及写入(热更新、触发 GC、调整日志级别、生成堆转储)的动作单独标注并明确回滚方式。
- 作用范围限制:用条件过滤与次数上限把探针控制在最小范围,避免对高频方法长时间采样。
- 及时退出:诊断结束后确认工具已卸载,探针已移除,进程恢复原有状态。
3.3 剖析与转储
3.3.1 JFR 采集与结果判读
JFR 适合作为长期开启的基础采集,也适合在故障时临时开启一段高细节采集。两种用法:
# 长期基础采集(启动参数,开销低于 1%)
-XX:StartFlightRecording=name=base,settings=default,maxsize=256m,maxage=24h,filename=/data/jfr/base.jfr
# 故障时临时开启高细节采集(按需,用完即停)
jcmd <PID> JFR.start name=incident settings=profile maxsize=512m maxage=2h
jcmd <PID> JFR.check
jcmd <PID> JFR.dump name=incident filename=/data/jfr/incident.jfr
jcmd <PID> JFR.stop name=incident
判读按"先看哪一类事件密集"的次序展开:
| 判读目标 | 查看的事件类别 | 结论方向 |
|---|---|---|
| 是否 GC 主导 | GC / GC Pause | 停顿占比与最长停顿是否与业务超时对应 |
| 是否锁竞争主导 | Java Monitor Blocked / Thread Park | 等待时间集中在哪些锁 |
| 是否 IO 主导 | File Read/Write、Socket Read/Write | 文件与网络读写耗时与超时事件 |
| 是否有异常风暴 | Java Error / Exception | 某类异常的抛出频次异常升高 |
| 内存分配热点 | Object Allocation(采样) | 大量短生命周期对象来自哪个调用栈 |
| 是否存在线程爆炸 | Thread Start / Thread Count | 线程创建速率与总数增长 |
3.3.2 开启高开销采集
高危 在生产进程上开启高开销采样或全量采集(高频采样剖析、profile/profiler 全配置、高采样率的对象分配采集)
- 影响范围:采样频率越高,JVM 用于安全点遍历与栈回溯的时间占比越大,CPU 开销随之上升;对象分配采样会记录大量分配栈,增大内存与写盘压力;采集文件的写入本身占用磁盘 IO,若目标目录空间不足会写满磁盘。在已经因为 CPU 或内存紧张而出现故障的实例上,叠加高开销采集会让故障进一步恶化。
- 回滚方式:停止采集(
profiler stop/JFR.stop)并删除采集文件即可恢复;采集动作不改动应用逻辑,无需重启。若因写盘导致磁盘告警,删除文件后容量即恢复。 - 前置要求:确认目标实例的 CPU 与磁盘余量、限定采集时长与最大文件大小、在低峰期或已摘流量的实例上执行、明确停止条件(时长或文件大小任一达到即停止)。
3.3.3 堆转储的获取与分析入口
堆转储用于回答三个问题:谁最大、谁在持有、能不能回收。获取方式与触发时机:
| 方式 | 触发条件 | 说明 |
|---|---|---|
-XX:+HeapDumpOnOutOfMemoryError | OOM 抛出时自动 | 唯一在无人干预下拿到现场的方式,路径必须预先配置且空间充足 |
jcmd <PID> GC.heap_dump <path> | 人工触发 | 运行中随时可用,带来停顿 |
jmap -dump:format=b,file=<path> <PID> | 人工触发 | 与上者等效 |
高危 在线上进程手动执行堆转储(jcmd GC.heap_dump / jmap -dump)
- 影响范围:转储需要暂停用户线程以获取一致的堆快照,停顿时间随堆大小增长,数 GB 堆通常为秒级,数十 GB 可达数十秒,期间所有请求阻塞,上游可能出现超时;转储文件大小约等于堆占用量,写入会占用磁盘 IO,目标目录空间不足会直接导致服务不可用;使用
-dump:live还会额外触发一次 Full GC,加剧停顿。 - 回滚方式:转储动作本身不改变进程状态;若因磁盘写满导致故障,删除转储文件释放空间后恢复。应事先确认目标目录可用空间大于堆上限,或指定独立数据盘路径。
- 替代做法:优先在压测环境复现并转储;线上先用
GC.class_histogram做低成本对象分布初筛,确认有必要后再转储;必须在线转储时选在业务低峰并提前摘除流量。
分析思路(对象分布 → 支配树保留大小 → 到 GC Roots 的引用链 → 两次转储对比)与常见泄漏模式已在 JVM 内存结构与垃圾回收 的堆转储分析一节完整给出,本节不重复。需要强调的是:打开大转储文件所需内存可达文件大小的数倍,应在独立分析机上操作,避免在故障节点上二次施压。
3.3.4 线程转储的判读
线程转储是成本最低、信息密度最高的一类现场证据。判读从整体到局部:
(1)线程状态分布。 先看总数与状态构成:
| 状态 | 含义 | 在故障中的意义 |
|---|---|---|
RUNNABLE | 正在运行或处于 JVM 内的可运行状态 | 大量集中说明 CPU 密集或自旋 |
BLOCKED | 等待监视器锁(synchronized) | 存在锁竞争,需找出锁持有者 |
WAITING | 无限期等待(wait、park) | 可能是正常的连接池/队列等待,也可能是不被唤醒 |
TIMED_WAITING | 带超时的等待(sleep、parkNanos) | 需看等待对象判断是否正常 |
注意 RUNNABLE 也可能是阻塞在 socket 读上(JVM 层无法区分),需要结合栈帧内容判断。
(2)阻塞与等待链。 关注三类栈帧:
- waiting to lock <0x...> (a java.lang.Object) ← 正在等锁
- locked <0x...> (a java.lang.Object) ← 已持有锁
- waiting on <0x...> (a java.lang.Object) ← 在 wait 等待被唤醒
把"等锁"与"持锁"的地址对应起来,就能还原锁的持有链,找到真正的阻塞源头。
(3)死锁检测。 jstack 与 jcmd Thread.print 会自动检测并打印 Found one Java-level deadlock 段落,列出互相等待的线程与各自持有的锁。线程池场景下更常见的是"资源死锁"(线程池 A 的任务等待线程池 B 的空闲线程,而 B 的线程全在等待 A),这类情况死锁检测不会报告,需要靠等待对象与线程池配置人工判断。
(4)线程池饱和。 特征是所有工作线程的栈顶都停在任务队列的获取动作(如 LinkedBlockingQueue.take)或都被占用执行任务,同时活跃线程数等于最大线程数、队列长度持续增长。当队列使用有界队列且触发拒绝策略时,会同时出现拒绝计数上升与任务提交失败。
(5)连续多次采样。 单次快照无法区分"瞬时"与"持续"。标准做法是间隔数秒连续抓取 3 次以上,比较同一线程的栈帧是否停留在同一位置:位置不变说明是长期阻塞,位置变化说明是正常工作状态。这一方法是区分"卡死"与"恰好此刻在执行"的核心依据。
线程状态、线程池与死锁的机制细节参见 Java 并发编程。
3.3.5 强制触发 GC
高危 强制触发 Full GC(jcmd <PID> GC.run、jmap -histo:live、jmap -dump:live)
- 影响范围:强制一次整体回收,STW 停顿可达数秒至数十秒,期间所有请求阻塞,上游可能超时;在 CMS/G1 上还可能因空间不足触发并发模式失败,反而放大停顿;该动作只回收当前垃圾,不解决根因,短时间内会再次触发;在容器场景下,回收前后堆占用剧变会让监控曲线出现假信号。
- 回滚方式:动作不可撤销,只能等待回收结束;若已造成请求超时,应记录动作时间点,避免与后续现象混淆。处置上优先选择"低峰期滚动重启",而不是"高峰期强制回收"。
- 替代做法:需要降低堆占用时优先摘流、限流、暂停批处理任务;需要对象分布时优先用
GC.class_histogram(不触发回收)而非-histo:live。
3.4 容器化部署调优
3.4.1 容器感知与参数自适应
JDK 10 起容器感知默认开启(JDK 8u191 起回移),JVM 读取 cgroup 限额而非宿主机物理内存来推导默认堆。部署参数应尽量用"按限额比例"而非写死的绝对值,以便同一镜像适配不同规格的实例:
# Kubernetes 部署片段(示意)
spec:
containers:
- name: app
image: registry/app:1.0.0
resources:
requests:
cpu: "2"
memory: "3Gi"
limits:
cpu: "4"
memory: "4Gi"
env:
- name: JAVA_TOOL_OPTIONS
value: >-
-XX:+UseContainerSupport
-XX:MaxRAMPercentage=70
-XX:InitialRAMPercentage=70
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200
-XX:MaxMetaspaceSize=512m
-XX:MaxDirectMemorySize=256m
-XX:ReservedCodeCacheSize=256m
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/data/dump/
-Xlog:gc*:file=/var/log/app/gc.log:time,uptime:filecount=10,filesize=50M
要点:
MaxRAMPercentage要留出堆外空间。限额 4Gi 时按 70% 设置堆上限约 2.8Gi,其余约 1.2Gi 供元空间、线程栈、直接内存、代码缓存与 JNI 库使用。若按 90% 甚至更高设置,堆内正常时容器仍可能触发 OOM Kill。-Xms与-Xmx尽量一致或都走百分比,避免运行期堆反复扩缩。- 元空间、直接内存、代码缓存必须显式设上限,它们的默认值可能是无上限,泄漏会直接耗尽本地内存并触发容器 OOM。
- 参数通过环境变量(
JAVA_TOOL_OPTIONS/JAVA_OPTS)注入,镜像内不写死环境相关的规格参数,实现"一份镜像、多套规格"。
3.4.2 CPU 限额与 JVM 线程数的配合
JVM 的 GC 线程数与 JIT 编译线程数默认按"可见处理器数"推导。在容器中,可见处理器数可能来自宿主机而非 CPU 限额,导致 GC 线程数远超配额,多个 GC 线程争抢有限的 CPU 时间片,反而拉长停顿。处理方式:
- 显式指定
-XX:ActiveProcessorCount=<限额核数>,让 JVM 按配额计算线程数; - 必要时单独约束
-XX:ParallelGCThreads与-XX:ConcGCThreads; - 观察
cpu.stat的nr_throttled,判断节流是否由线程数过多引起。
延迟敏感的服务应让 CPU limits 与 requests 接近或相等,减少因共享节点超卖导致的节流波动。
3.4.3 修改容器限额
高危 修改运行中容器的资源限额(docker update --memory/--cpus、Kubernetes resources.limits 变更)
- 影响范围:降低内存限额会立即收紧 cgroup 上限,若当前 RSS 已超过新上限,进程可能被直接终止;降低 CPU 限额会立即引入节流,延迟上升。Kubernetes 中内存限额属于不可原地更新的字段(多数版本),修改
resources会触发 Pod 重建,等价于一次重启;提高限额通常需要重新调度,若节点资源不足会处于 Pending。JVM 的容器感知参数在进程启动时读取限额,运行中修改限额不会改变已启动 JVM 的堆上限,堆与限额会失去匹配关系。 - 回滚方式:把限额改回原值并恢复原调度;若因限额下调导致进程被杀,按 3.6 的发布回滚流程恢复原规格。任何限额变更应记录变更前后的数值与时间点。
- 替代做法:优先通过摘流、限流、临时扩容副本分担压力,而不是直接调整单个实例的限额;确需调整时按发布流程进行,并同步核对 JVM 参数是否需要随限额重新计算。
3.4.4 健康检查与就绪探针
探针配置直接影响发布与故障时的流量行为:
| 探针 | 作用 | 配置要点 |
|---|---|---|
| 启动探针(startupProbe) | 判断应用是否完成启动 | 覆盖最慢启动耗时,避免启动期被存活探针误杀 |
| 就绪探针(readinessProbe) | 决定是否把流量路由到该实例 | 检查对外部依赖(数据库、缓存)的就绪状态,而不只是端口可连 |
| 存活探针(livenessProbe) | 决定是否重启容器 | 判定条件要严格,避免因短暂 GC 停顿或下游抖动触发无谓重启 |
关键约束是探针超时必须大于应用的最长合法停顿。 若一次 GC 停顿或一次全量数据加载超过存活探针的超时,探针会判定失败并重启容器,把一个本可自愈的停顿放大为一次重启事故。就绪探针与存活探针的判定条件应分开设置:就绪探针可以宽松地反映"暂时不接流量",存活探针只在进程确实无法恢复时才失败。
探针机制与优雅终止的完整说明见 Kubernetes 集群运维,容器默认运行参数与守护进程配置见 Docker on Ubuntu 配置。
优雅停机需要应用侧配合:先处理就绪探针失败、摘除流量,再等待在途请求处理完成,最后关闭线程池与连接池。这一步的等待时间应与编排层的终止宽限期匹配,否则出现"流量已摘除但进程被强杀"的半完成状态。
3.5 启动与运行时优化
3.5.1 启动耗时的构成与测量
一次 JVM 启动的主要耗时来自:
- JVM 初始化:堆映射(
AlwaysPreTouch时还要触碰全部页)、GC 线程与 JIT 线程创建、元空间与代码缓存初始化。 - 类加载与校验:应用与框架的类数量通常以万计,逐个加载、链接、校验。
- 框架初始化:容器启动、Bean 扫描与装配、连接池与线程池创建、缓存预热。
- JIT 编译:方法首次执行以解释方式运行,热点方法逐步被编译为机器码。
测量手段(具体参数见 JDK 内置工具详解):类加载耗时用 -Xlog:class+load,编译事件用 -XX:+PrintCompilation,整体启动阶段用 JFR 的启动事件,或直接以"应用就绪时间戳 − 进程启动时间戳"作为端到端口径。
3.5.2 类数据共享与启动优化
类数据共享(CDS / AppCDS) 把已加载并验证过的类元数据预先归档,启动时直接映射进内存,跳过重复的解析与校验工作,是可显著缩短启动时间的手段:
# 1. 生成类列表(首次运行并退出)
java -XX:DumpLoadedClassList=app.lst -jar app.jar
# 2. 基于类列表生成归档(后续运行需按同一类路径)
java -Xshare:dump -XX:SharedClassListFile=app.lst -XX:SharedArchiveFile=app.jsa -jar app.jar
# 3. 运行时使用归档(JDK 12+ 默认自动生成动态归档)
java -XX:SharedArchiveFile=app.jsa -jar app.jar
注意 CDS 归档与 JDK 版本、类路径强相关,镜像升级或依赖变更后需重新生成,否则归档失效退回普通启动。
分层编译(Tiered Compilation) 让方法先经轻量编译(C1)快速转为机器码、再按热度升级为深度优化(C2),是吞吐量与启动时间的折中。关闭分层(-XX:-TieredCompilation)会让启动变慢但峰值性能略高,属于典型的换向操作,需按场景验证。
预热策略适用于对首屏延迟敏感的服务:在流量接入前主动调用关键接口,触发类加载与 JIT 编译,使实例以已编译状态接收请求。预热请求应与真实调用路径一致,覆盖核心接口与序列化、加解密、模板渲染等重路径。预热的效果需要用与生产一致的压测模型验证,方法见 linux: 压测与性能基线。
3.5.3 日志与 GC 参数对启动与运行的影响
| 参数 | 对启动的影响 | 对运行的影响 |
|---|---|---|
-XX:+AlwaysPreTouch | 启动变慢,需触碰全部堆页 | 运行期不再有缺页抖动,RSS 立即达到堆上限 |
-Xshare / CDS | 启动变快 | 基本无影响 |
-Xlog:gc* | 影响可忽略 | 影响可忽略,但日志文件需轮转,避免写满磁盘 |
-XX:ReservedCodeCacheSize | 影响小 | 设置过小会让 JIT 停止编译,退回解释执行,性能显著下降 |
| 高并发日志级别(如 DEBUG) | 启动期日志量上升 | 日志 IO 成为瓶颈,可能拖慢请求,见 3.7 的日志阻塞案例 |
-XX:MaxRAMPercentage 过大 | 堆映射与预触碰时间上升 | 堆外空间被压缩,容器 OOM 风险上升 |
运行时性能与资源成本的权衡遵循与内存调优相同的原则:一次只改一个变量、先建基线、明确回滚条件、用压测验证。启动优化的收益需要用"相同镜像、相同规格下的启动耗时分位数"来衡量,而不是单次观感。
3.6 发布与回滚
发布是线上问题最主要的来源之一,因此发布过程中的验证项与回滚触发条件需要事先固化,而不是在故障时临时决定。完整的变更分级、窗口选择与可逆性设计要求见 linux: 变更与发布管理。
3.6.1 变更中的验证项
| 验证维度 | 具体指标 | 判据 |
|---|---|---|
| 关键接口耗时 | 核心接口 P50/P95/P99 | 与发布前基线对比,未出现稳定劣化 |
| 错误率 | 5xx 比例、异常计数、业务失败率 | 回到基线水平,且无新增异常类型 |
| GC 与内存 | Young/Full GC 次数与停顿、老年代占用曲线 | 停顿分布与发布前一致,堆未出现单调上升 |
| 线程池水位 | 活跃线程数、队列长度、拒绝次数 | 水位与发布前一致或更低 |
| 连接池水位 | 活跃连接、等待获取连接的线程数、超时次数 | 无等待堆积与超时上升 |
| 下游依赖 | 下游调用错误率、超时与重试次数 | 未因本服务变更而抬升 |
| 日志 | 错误级别日志条数 | 无新增错误模式 |
验证需要基线:没有发布前的对照数据,"变快还是变慢"无法判断。
3.6.2 观察窗口与回滚触发条件
发布策略(滚动、灰度、金丝雀)的分流与观察要点:
- 灰度/金丝雀阶段:先放少量流量到新版本,用同样一组验证项对照新旧版本。此时流量占比小,即使劣化也影响可控。
- 观察窗口:应覆盖至少一个业务峰值周期。内存泄漏、连接泄漏、GC 停顿变化这类问题在低峰期可能完全不显现,在高峰期才暴露。窗口长度按业务周期确定,而不是固定按分钟数。
- 回滚触发条件:必须在上线前明确写出可判定的条件,例如"关键接口 P99 超过基线的 1.5 倍且持续 5 分钟""错误率超过基线的 3 倍""Full GC 次数在 10 分钟内超过基线的 2 倍""线程池拒绝次数大于 0"。条件应尽量量化,避免"感觉不对就回滚"这种无法及时决策的表述。
高危 回滚或重启线上实例(版本回退、扩缩容重建、强制重启)
- 影响范围:重启期间该实例不可用,全量重启会中断服务;有状态服务重启会丢连接与内存态;回滚到旧版本时,若期间存在数据库结构变更、缓存数据结构变更或消息格式变更,旧版本可能无法正确处理新数据,出现兼容性问题;滚动重启的瞬时会话丢失会被上游以超时或错误形式感知。
- 回滚方式:回滚本身即恢复动作,需保证旧版本镜像与配置可用且未被覆盖;数据库与缓存的变更应遵循"先兼容后清理"的两阶段原则,使新旧版本在一段时间内可共存。若回滚后问题仍存在,说明根因不在本次变更,需按 3.1 的流程重新定位。
- 前置要求:回滚应按与发布相同的流程执行——先摘流量、再替换、后验证,避免"一边接流量一边重启";记录回滚时间点与回滚前后的指标,作为后续复盘的输入。
3.7 常见线上问题定位案例
以下案例统一按"现象 → 证据 → 结论 → 处置"的结构组织。案例涉及的系统层面排查思路可参照 linux: 故障案例库,下游依赖类问题的监控思路可参照 Redis 运维实践 的慢查询与延迟监控部分。
3.7.1 案例一:CPU 使用率居高不下(GC 型)
现象:CPU 使用率由 30% 升至 95% 以上,QPS 同时下降,接口 P99 从 80ms 升至 1s 以上。
证据:jstat -gc 显示 Young GC 每秒数次、Full GC 频繁出现;GC 日志中 Pause Full 密集且触发原因为 Allocation Failure;线程转储中大量线程处于 RUNNABLE 且栈顶为 GC 相关帧(或 GCTaskThread);堆使用曲线在每次 Full GC 后回落但很快再次攀升。
结论:GC 占据 CPU 主导,根因是分配速率过高或存在内存泄漏导致老年代快速填满,而非业务代码死循环。两者都表现为 CPU 高,区分依据是线程栈中是否有大量业务线程长期停留在同一业务方法。
处置:先限流降载争取时间;采集 GC 日志与类直方图确认对象分布;按 JVM 内存结构与垃圾回收 的分析路径定位分配点或泄漏持有链;短期通过摘流与滚动重启恢复,长期修复分配逻辑或调整堆参数。若确认为泄漏,临时扩容只能推迟故障,不能消除。
3.7.2 案例二:CPU 使用率居高不下(业务型)
现象:CPU 持续满载,接口大面积变慢,GC 指标与堆使用均正常。
证据:连续三次线程转储(间隔 5 秒)显示同一批线程始终停留在相同的业务方法;采样剖析的火焰图在业务代码的某个循环或正则匹配处出现很宽的平顶块;GC 日志频率与停顿与平时无异。
结论:问题在业务代码路径(死循环、正则回溯、无界重试、加解密或压缩密集计算),与 JVM 内存管理无关。
处置:用火焰图定位到具体方法与调用栈,结合变更记录判断是否为最近发布引入;通过配置降级、关闭非核心计算路径或限流止损;修复后按 3.6 的验证项观察 CPU 与延迟是否回到基线。注意不要在未看火焰图的情况下先调整 GC 参数,那样只会掩盖问题。
3.7.3 案例三:内存缓慢增长
现象:内存使用在数天到数周内单调上升,未出现 OOM,重启后恢复并从低位重新缓慢增长。
证据:老年代占用在每次 Full GC(或 G1 并发周期)结束后仍然高于上一次,即"回收后使用量不回落";堆转储的支配树中某个集合类的保留大小与实例数持续增长;到 GC Roots 的路径上出现业务静态字段或长生命周期容器。
结论:典型的内存泄漏。单调增长且不回落是最核心的判据;若回收后使用量能回落,则属于正常的缓存或活跃数据集增长,不是泄漏。
集合与缓存结构是这类增长最常见的载体,其单元素结构开销、扩容峰值与常见膨胀来源见 Java 集合框架实现原理。
处置:取两个时点的堆转储做对比(低峰与高峰,或健康节点与异常节点),确认增长的类与持有链;定位到未清理的集合、未注销的监听器、未 remove 的 ThreadLocal 或未关闭的连接;修复后用相同压测模型回归,确认回收后使用量不再抬升。在修复完成前,通过加大堆上限或提前重启延长可用时间属于临时措施。
3.7.4 案例四:间歇性长停顿导致超时
现象:平时正常,偶发数十毫秒到数秒的接口超时,间隔不规律;超时告警分散在多个接口上。
证据:GC 日志中单次停顿与超时时间点吻合,但部分超时时间点上 GC 停顿本身很短;线程转储显示存在长时间停留在同一位置的工作线程;JFR 中安全点等待相关事件耗时显著;应用日志中该时段出现长循环、大对象序列化或全量缓存加载的记录。
结论:需区分两类成因——GC 自身耗时长(标记或复制工作量大,堆或分配速率问题)与安全点等待长(GC 耗时短但到达安全点前的等待长,由长循环、大数组遍历、JNI 调用或阻塞线程引起)。前者调整堆与收集器,后者需修改代码减少长时不可中断的执行段。
处置:先用 GC 日志区分两类,再决定方向。若是安全点等待,重点是缩短无安全点轮询的长循环、避免在循环中做重量级操作;若是 GC 自身,按内存调优路径处理。处理期间通过超时时间配置、限流熔断与实例摘流降低停顿的业务影响,相关降级思路参见 JVM 内存结构与垃圾回收 的停顿降级部分。
3.7.5 案例五:线程池打满导致的雪崩
现象:某接口响应时间从几十毫秒升至数秒并最终大量超时;上游服务因等待该接口而线程堆积,故障沿调用链向上蔓延。
证据:线程转储中该线程池的工作线程全部处于 RUNNABLE 并停留在调用下游的读操作上(或全部在 TIMED_WAITING 等待下游响应);线程池指标显示活跃线程数等于最大线程数、队列长度持续增长、拒绝次数上升;下游服务的响应时间同步升高。
结论:下游变慢导致线程池线程被长时间占用,队列积压后触发拒绝,故障向上游传导。根因在下游或超时配置,线程池容量只是放大器。增加线程数通常无效甚至有害:更多线程并发请求已经变慢的下游,会进一步加重下游负担,形成正反馈。
处置:先对下游调用设置合理的超时与熔断,切断故障传导;对非核心功能降级;核对线程池的队列容量与拒绝策略是否与容量匹配(有界队列 + 明确的拒绝策略优于无界队列的静默积压);下游恢复后逐步放量。线程池参数的机制与队列选择参见 Java 并发编程。
3.7.6 案例六:连接池耗尽
现象:请求大量阻塞,最终抛获取连接超时异常;数据库或缓存侧本身负载正常。
证据:线程转储中大量线程停留在连接池的获取连接方法上(如等待借出连接的信号量或队列);连接池指标显示活跃连接数长期等于最大连接数、等待获取连接的线程数持续大于零;句柄计数(lsof 或 /proc/<pid>/fd)单调上升则说明存在连接泄漏,稳定在上限则说明是容量不足。
结论:区分两类——泄漏(连接借出后未归还,句柄数只增不减)与容量不足(连接都在正常工作但因下游变慢导致占用时间变长,句柄数稳定在上限)。两者现象相似,处置方向相反:泄漏要修代码,容量不足要调参数或优化下游耗时。
处置:泄漏场景定位未关闭的连接路径(多为异常分支漏掉 close),改用 try-with-resources 并开启连接池的泄漏检测;容量不足场景先降低单次请求的连接持有时间(缩短事务范围、减少跨调用持有),再考虑调整池上限并同步核对数据库侧的最大连接数限制。监控侧可参照 Redis 运维实践 中的连接与延迟指标组织方式。
连接池参数的含义、池上限与数据库 max_connections 的核算方式,以及长事务与慢 SQL 占用连接的判定见 Java 持久层。
3.7.7 案例七:日志阻塞导致的请求堆积
现象:接口整体变慢,CPU 使用率不高,磁盘写入指标异常。
证据:线程转储中大量业务线程停留在日志框架的写入路径(同步 Appender 的写文件或控制台输出);iostat 显示磁盘 %util 接近饱和或写入队列堆积;/proc/pressure/io 显示 IO 压力上升;部分线程处于不可中断的 D 状态;日志文件所在的文件系统空间接近上限或存在轮转异常。
结论:同步日志写入成为瓶颈,日志 IO 阻塞了业务线程;若日志量因调试级别被临时调低/调高或某个异常导致日志风暴,会迅速放大这一问题。
处置:将高频日志改为异步 Appender 并设置队列上限与丢弃策略(关键是不能无限缓冲,否则只是把阻塞从写文件转移到内存);降低日志级别或收敛日志内容,避免循环内打印与打印大对象;检查日志轮转配置与磁盘空间;对已知的高频异常做限频打印。此处日志文件系统的容量与 inode 状况需要与主机侧巡检项结合判断,参见 linux: 监控与告警 与 linux: 巡检与健康检查。
3.8 监控与巡检衔接
诊断依赖事前的可观测性建设。应用侧指标只覆盖"进程内视角",需要与主机侧指标拼接成完整链路。
3.8.1 应用侧关键指标清单
| 分组 | 指标 | 用途 |
|---|---|---|
| 请求 | QPS、P50/P95/P99 延迟、错误率、超时率 | 判断影响面与劣化程度 |
| JVM 内存 | 各代容量与使用量、GC 前后使用量、元空间、直接内存 | 判断 GC 频率与是否泄漏 |
| GC | Young/Full GC 次数与耗时、停顿分布、晋升量 | 判断停顿是否落在超时区间 |
| 线程 | 总线程数、各线程池活跃数与队列长度、拒绝次数 | 判断线程池是否饱和 |
| 连接 | 各连接池活跃数、等待数、超时与创建失败次数 | 判断连接泄漏与容量不足 |
| 类加载 | 已加载类数量 | 判断类加载器泄漏 |
| 主机衔接 | 进程 RSS、容器内存使用与限额、CPU 节流计数 | 区分堆内与堆外问题 |
指标类型(计数器、仪表、直方图)的选择与采集间隔的取舍见 linux: 监控与告警。
3.8.2 指标与告警的对应关系
告警的价值取决于它能否指向明确的动作。按"现象告警 + 细分定位"的分层设计:
| 告警 | 阈值类型 | 应指向的动作 |
|---|---|---|
| 接口 P99 超过基线 | 相对基线(更稳定) | 查看是否有变更、GC 停顿或下游劣化 |
| 错误率超过基线 | 相对基线 | 查看异常类型分布与日志 |
| 老年代使用率持续高于阈值 | 绝对值 + 持续时间 | 检查是否存在泄漏趋势 |
| Full GC 次数在窗口内超过基线 | 相对基线 | 检查分配速率与堆参数 |
| 线程池队列长度持续增长 | 持续时间 | 检查下游耗时与线程池配置 |
| 连接池等待线程数大于零 | 持续时间 | 检查连接泄漏与下游耗时 |
| 容器内存接近限额 | 绝对值 + 持续时间 | 核对堆外组成与限额设置 |
| CPU 节流计数增长 | 速率 | 核对 CPU 配额与线程数配置 |
告警要避免两类失效:阈值脱离基线(写死的绝对值在不同规格实例上误报或漏报)与告警风暴掩盖主因(大量派生告警淹没了根因告警),抑制与静默的设计参见 linux: 监控与告警。
3.8.3 定期巡检项与趋势分析
巡检用于发现告警阈值尚未触发的趋势问题与配置漂移:
- 容量趋势:堆使用、连接数、线程数、句柄数、磁盘与日志占用是否呈单调上升,按周对比。
- 配置一致性:同一服务的多个实例之间,JVM 参数、环境变量、镜像版本是否一致。参数不一致会导致故障只在部分实例出现,是排查中最难定位的一类问题。
- 采集可用性:GC 日志是否在正常轮转与写入、堆转储路径是否可写且空间充足、JFR 归档是否正常生成。这些"灭火器"在故障时才被发现失效,代价极高。
- 变更核对:巡检时核对最近一次发布的版本、参数、限额,与监控曲线的时间线对齐。
巡检项分类、频率与判据的完整清单见 linux: 巡检与健康检查,基线与趋势对比的方法见 linux: 压测与性能基线。
四、总结
诊断的出发点,是在"不能重启、证据易失、影响面敏感"三个约束下做出取舍。 线上问题的三类形态——响应变慢、间歇性卡顿、突发故障——对应三种不同的可用窗口:前者可以容忍低峰期的高开销采集,后者只能依赖长期开启的采集与转储复盘。诊断能力与代价成正比,代价高的手段通常在线上也最危险,因此取舍的标准是"用最小代价拿到足够判断方向的证据"。
原则层面是四组对照:
- 先止损与先取证:影响面在扩散、有降级与摘流手段时先止损;故障稳定、证据只在进程内时先取证。实践中先用秒级的低成本动作做一次必要取证,再止损。
- 最小侵入:只读优先于写入,低开销优先于高开销,单实例优先于全量,可逆优先于不可逆。
- 可复现与不可复现:可复现问题允许使用任意工具,不可复现问题的诊断能力在故障前就已由预置的采集决定。
- 证据链:指标定类别、日志定事件、追踪定路径、快照定内部状态,四类证据在统一时间基准上互相印证,并叠加变更记录。
机制层面: 动态诊断工具的能力来自 Java Agent 与
retransformClasses,开销与调用次数成正比,且存在 JIT 内联、native 方法、动态生成类三类结构性盲区;采样型剖析开销与采样频率相关、精度是相对占比,埋点型剖析计数精确但开销随调用次数放量;JFR 默认开销低于 1%、可长期开启,是覆盖 GC、线程、锁、IO、异常、JIT 的全维度回溯基础;火焰图横轴为占比、纵轴为栈深,判读靠"找宽平台、看平顶、做差分",颜色不承载信息。容器环境是诊断中必须显式处理的一层差异: 容器内的
free/nproc反映宿主机而非限额,JVM 的堆推导在容器感知开启后读取 cgroup 限额,但运行中修改限额不会改变已启动 JVM 的堆上限;进程被终止需先比较容器限额、进程 RSS 与堆用量三项数值,再判断问题在堆内还是堆外;CPU 配额不足表现为周期性延迟毛刺与nr_throttled增长,增加线程数无效。实现层面是一条固定的诊断顺序: 外部依赖 → 主机资源 → JVM 指标 → 线程与堆 → 代码路径。顺序设计的理由是排除成本递增,前两步不接触应用进程,第四、五步才可能引入停顿与额外开销。动态诊断工具按从低开销到高开销的顺序使用,生产接入需有审批、留痕与及时退出;线程转储的价值在于连续多次采样看出"栈帧是否长期停留",以及把等锁与持锁地址对应起来还原阻塞链。
调优与发布的两条纪律: 调优与启动优化遵循"一次只改一个变量、先建基线、明确回滚条件、用压测验证";发布与回滚必须在上线前写好量化的回滚触发条件,并让观察窗口覆盖一个完整的业务峰值周期,因为内存泄漏与停顿变化在低峰期往往不显现。
需要显式防范的六类操作:线上手动堆转储(秒级至数十秒停顿并写大文件)、热更新代码(仅改方法体、与已初始化状态不一致、重启即失效)、强制 Full GC(只缓解症状不解决根因)、开启高开销采样(叠加在已紧张的实例上会恶化故障)、修改容器限额(运行中修改会使 JVM 堆与限额失配)、重启或回滚实例(需按流程先摘流量再操作)。这类动作的统一流程是"先取证、后处置、留回滚"。
一句话记忆:顺序上先外后内、先低后高;原则上只读优先、最小侵入;机制上动态增强有盲区、采样与埋点各有所长、JFR 可常开、火焰图看占比不看颜色;容器里先比限额与 RSS 与堆三项数值;调优一次一变量、发布先定回滚条件、现场先取证后处置。