一、起源:传统观测手段的边界
1.1 聚合计数器看不到单次延迟
主机级工具(vmstat、iostat、sar、node_exporter)输出的是按时间窗口聚合的计数与均值:
- 计数类指标回答"发生了多少次",不回答"每次耗时多少"
- 均值类指标回答平均水平,不回答分布形态
均值掩盖分布的具体表现:iostat 的 await 平均 5 毫秒,可能是 99% 的请求在 1 毫秒内完成,另有 1% 的请求耗时 500 毫秒。业务侧的体感由长尾决定,而聚合指标看不出长尾来自哪个进程、哪个文件、哪次系统调用。
计数器还无法回答归因问题:磁盘利用率接近 100% 时,是哪个进程、访问哪个文件、以多深的队列造成的,主机级指标均不提供该信息。
1.2 日志的侵入性
在应用代码中插入日志是常用的定位手段,其代价有三个方面:
- 需要改代码并重新发布:一次埋点只能覆盖一个已想到的假设,无法在故障现场临时追加维度
- 改变被观测对象:在每秒数万次调用的路径上同步写日志,会引入锁竞争、磁盘写入与格式化开销,时序与延迟分布随之改变
- 字段固定:日志只能记录编码时已知的字段,事后无法补上"当时的返回值""当时的调用者"
日志适合记录业务语义与状态变迁,不适合作为高频路径的性能观测手段。
1.3 perf 采样在高频短事件上的局限
perf 基于定时采样(如 99 Hz),按概率推断热点,其局限集中在四类场景:
- 高频短事件:耗时 1 毫秒、每秒执行百万次的调用,在采样窗口内占比低,采样命中次数少,统计噪声大
- 偶发长尾:采样反映的是时间占比。一次 800 毫秒的系统调用阻塞、一小时内出现 3 次,在采样结果中几乎不可见,但业务已经出现超时
- 缺少上下文:采样给出的是函数地址与调用栈,得不到该次调用的参数、返回值与目标对象
- 依赖符号:精简内核或无调试信息时只能看到地址,判读价值大幅下降
1.4 内核追踪要解决的问题
上述三类手段的共同缺口是"事件粒度的因果信息"。内核追踪要回答的是:
- 某个内核函数被调用了多少次,调用者是谁
- 某次调用的参数是什么,返回什么
- 某次调用从进入到返回耗时多少,耗时分布形态如何
- 这些事件的发起者属于哪个进程、哪个 cgroup
eBPF 是当前在 Linux 上实现这一目标的主要机制:不修改代码、不重启进程、按事件粒度采集,并在内核侧完成聚合以减少数据搬运。perf 与火焰图的操作步骤参见 linux: 系统信息与进程服务命令。
二、原理:eBPF 的运行机制与边界
2.1 虚拟机与验证器
eBPF 程序是受限的字节码,在内核内的虚拟机中执行,默认经 JIT 编译为本地指令(未开启 JIT 时解释执行,开销显著上升)。其安全模型由三部分构成:
验证器(verifier)
程序加载前进行静态检查,不通过则拒绝加载:
- 内存访问必须有可证明的边界(越界访问直接拒绝)
- 循环必须可证明有界(有界循环需要 5.3 及以上内核,此前完全禁止循环)
- 只允许调用白名单内的辅助函数
- 指令数、栈深度(512 字节)与嵌套深度有上限
- 程序不能在持有锁的情况下睡眠(除允许睡眠的程序类型)
验证不通过时返回错误并在日志中给出具体原因与指令偏移。
受限的内存访问
程序不能直接读写任意内核内存:
- 读取内核结构体需要通过
bpf_probe_read系列辅助函数,或在内核提供 BTF 类型信息时按类型化指针直接访问 - 用户态内存读取需要相应的辅助函数,并会做地址合法性检查
map 与数据传递
程序与用户态之间通过 map 通信,常见类型包括哈希表、数组、per-CPU 变量、环形缓冲区与栈追踪。内核侧完成累加与计数,只把聚合结果交给用户态,这是 eBPF 相比逐次输出开销更低的原因。
bpftrace 中的 @ 变量即 map:@counts[comm] 是哈希 map,hist() 产生的是直方图 map。
2.2 挂载点类型与差别
程序类型决定能挂在什么位置、能看到哪些事件。常用类型与差别:
| 类型 | bpftrace 写法 | 事件粒度 | 典型用途 | 开销 | 稳定性 |
|---|---|---|---|---|---|
| tracepoint | tracepoint:子系统:事件 | 内核预定义静态插桩点 | 系统调用、调度、块层、TCP 事件 | 低 | 接口稳定,字段随版本可能变化 |
| kprobe / kretprobe | kprobe:函数名、kretprobe:函数名 | 任意内核函数入口与返回 | tracepoint 未覆盖的内核路径 | 中至高(与函数调用频率成正比) | 函数名与签名随内核版本变化 |
| uprobe / uretprobe | uprobe:路径:函数名 | 用户态函数入口与返回 | 应用函数耗时、参数、返回值 | 中至高 | 依赖符号与调试信息,受编译优化影响 |
| perf_event | hardware:、software:、profile:hz:99 | 硬件或软件性能事件、定时采样 | CPU 周期、缓存事件、定时栈采样 | 低 | 标准接口,跨版本稳定 |
| XDP | 通过 bcc/libbpf 加载,挂载在网卡驱动 | 收包最早阶段 | 丢包、限速、简易过滤 | 极低,但作用于数据面 | 需驱动支持,会改变实际流量 |
| raw tracepoint | rawtracepoint:名称 | 不解析参数的 tracepoint | 低开销获取原始参数 | 低 | 参数需手工解析,与内核结构耦合 |
选择顺序与依据:
- 优先 tracepoint:接口稳定、开销低、字段有文档,
bpftrace -l 'tracepoint:*'可枚举 - tracepoint 未覆盖时用 kprobe:接受与内核版本的耦合,升级内核后需重新确认函数名
- 应用层问题用 uprobe:需注意语言运行时的影响,JIT 编译(如 Java 热点代码)、函数内联、符号剥离都会让探针失效或不完整
- 采样类问题用 perf_event:适合统计热点与 CPU 时间去向,不适合逐事件归因
- XDP 与 tc 类程序直接作用于数据面,生产环境默认不使用
2.3 开销与安全边界
开销来源
- 探针本身的陷入开销:每次命中都要从正常执行路径跳到探针处理函数
- 程序执行开销:辅助函数调用、map 更新、字符串与地址解析
- 输出开销:逐事件
printf会写入环形缓冲区并被用户态读取,数据量与事件速率成正比
量级感受
- tracepoint 配合聚合(
count()、hist()):在每秒数万次事件量级下开销可忽略 - kprobe 挂在每秒百万次以上的热函数(如
tcp_sendmsg、vfs_read)上:会造成明显开销,目标延迟可能成倍上升 - 逐事件
printf:输出量是开销与磁盘占用的主要来源,也是生产事故的常见成因
不适合使用的场景
- 每秒百万次以上的热路径需要逐次追踪
- 对延迟极度敏感的交易路径,任何额外陷入都不可接受
- 内核处于 lockdown 状态(安全启动配合完整性策略)禁用了 kprobe 与部分 BPF 功能
- 缺少
CAP_BPF、CAP_PERFMON、CAP_SYS_ADMIN且无法提权 - 内核版本过低或缺少 BTF 与调试符号,探针无法解析
- 需要在容器内运行,但容器未授予相应能力或未挂载
debugfs、tracefs
内核版本与权限要求
| 能力 | 最低版本 | 说明 |
|---|---|---|
| bpf 系统调用与 BPF map | 3.18 | eBPF 基础设施 |
| kprobe 类型程序挂载 | 4.4 至 4.7 | 4.7 起可通过 perf_event 附着 |
| tracepoint 类型程序 | 4.7 | 常用脚本的基础 |
| XDP 与更多辅助函数 | 4.8 至 4.9 | 生产环境建议不低于 4.9 |
| 有界循环 | 5.3 | 验证器支持可证明边界的循环 |
| BTF 类型信息 | 4.18 | 需 CONFIG_DEBUG_INFO_BTF=y,bpftrace 的简化写法依赖它 |
特权拆分 CAP_BPF、CAP_PERFMON | 5.8 | 无需再直接授予 CAP_SYS_ADMIN |
权限相关的内核开关:
| 文件 | 作用 | 生产建议 |
|---|---|---|
/proc/sys/kernel/unprivileged_bpf_disabled | 是否允许非特权用户加载 BPF 程序 | 保持 1 或 2,禁止非特权加载 |
/proc/sys/kernel/perf_event_paranoid | perf 事件允许范围 | 大于 1 时普通用户无法使用软件与硬件事件 |
/proc/sys/kernel/kptr_restrict | 内核符号地址可见性 | 影响地址与符号解析,取值高时部分输出不可读 |
/sys/kernel/security/lockdown | 内核锁定模式 | 为 confidentiality 时 kprobe 不可用 |
2.4 与 perf、ftrace 的分工
| 维度 | ftrace | perf | eBPF(bpftrace 与 bcc) |
|---|---|---|---|
| 依赖 | 内核自带,挂载 tracefs 即可 | 内核工具,需与内核版本匹配 | 需安装工具,依赖 BPF 配置与内核版本 |
| 主要能力 | 函数调用图、tracepoint 计数与过滤 | 采样、硬件计数、热点与火焰图 | 可编程的逐事件追踪与内核侧聚合 |
| 输出粒度 | 事件序列与函数调用图 | 统计占比 | 事件级与聚合结果均可 |
| 灵活度 | 低,输出格式固定 | 中,需配合外部脚本 | 高,脚本定义过滤、聚合与输出 |
| 适合回答 | 调用路径是什么、某事件是否发生 | 热点在哪里、CPU 时间花在何处 | 谁触发、参数是什么、耗时多少、为什么 |
配合方式:
- 先用 perf 采样确定热点函数或热点子系统
- 再用 eBPF 追踪该函数的调用者、参数、返回值与耗时分布
- 需要完整调用路径时用 ftrace 的函数图能力
- 采样结论与追踪结论冲突时,以追踪得到的因果证据为准:采样反映时间占比,占比低但每次都失败的路径采样看不到
三、实现:准备、脚本与场景
3.1 准备与验证
内核版本与配置检查
uname -r
# 发行版内核配置(Debian/Ubuntu)
grep -E 'CONFIG_(BPF|BPF_SYSCALL|BPF_JIT|BPF_EVENTS|KPROBE_EVENTS|UPROBE_EVENTS|FTRACE|DEBUG_INFO_BTF)=' /boot/config-$(uname -r)
# 内核自带配置(开启了 IKCONFIG 时)
zgrep -E 'CONFIG_(BPF|BPF_SYSCALL|BPF_JIT|KPROBE_EVENTS|UPROBE_EVENTS|DEBUG_INFO_BTF)=' /proc/config.gz
关键配置项与缺失后果:
| 配置项 | 作用 | 缺失后果 |
|---|---|---|
CONFIG_BPF | eBPF 基础设施 | 无法加载任何 BPF 程序 |
CONFIG_BPF_SYSCALL | bpf() 系统调用 | 用户态工具无法加载程序 |
CONFIG_BPF_JIT | JIT 编译 | 解释执行,开销显著上升 |
CONFIG_BPF_EVENTS | perf 类事件程序 | 无法挂载采样类程序 |
CONFIG_KPROBE_EVENTS | kprobe 类型程序 | kprobe 与 kretprobe 不可用 |
CONFIG_UPROBE_EVENTS | uprobe 类型程序 | 无法追踪用户态函数 |
CONFIG_DEBUG_INFO_BTF | BPF 类型信息 | 简化写法与自动参数解析不可用 |
# 挂载点与权限状态
mount | grep -E 'tracefs|debugfs|bpf'
cat /proc/sys/kernel/unprivileged_bpf_disabled
cat /proc/sys/kernel/perf_event_paranoid
cat /proc/sys/kernel/kptr_restrict
cat /sys/kernel/security/lockdown 2>/dev/null
# 未挂载时手工挂载
sudo mount -t tracefs tracefs /sys/kernel/tracing
sudo mount -t debugfs debugfs /sys/kernel/debug
bpftrace 与 bcc 的安装差异
| 维度 | bpftrace | bcc |
|---|---|---|
| 形态 | 单个二进制,自带脚本语言 | 一组 Python 工具与库,工具即命令 |
| 安装 | sudo apt install bpftrace | sudo apt install bpfcc-tools 与 python3-bpfcc |
| 适用 | 一次性排障,脚本随问题即时编写 | 固化为标准流程,参数与输出固定 |
| 版本核对 | bpftrace --version | dpkg -l | grep bpfcc |
| 额外依赖 | 多数 tracepoint 脚本只需 BTF | 部分工具需 linux-headers-$(uname -r) 提供类型定义 |
- 发行版仓库中的 bpftrace 通常滞后于上游,新内核特性可能需要上游发布的静态编译版本
- bcc 工具脚本位于
/usr/share/bcc/tools/,可直接查看实现以确认其依赖的探针
权限与受限环境
# 按需授予能力,避免直接使用 root
sudo setcap cap_bpf,cap_perfmon+ep /usr/bin/bpftrace
# 或统一通过 sudo 执行
sudo bpftrace -l 'tracepoint:syscalls:*' | head
- 容器内使用需要
--privileged,或--cap-add=BPF --cap-add=PERFMON --cap-add=SYS_ADMIN,并挂载/sys/kernel/debug与/sys/kernel/tracing;查看宿主机进程还需--pid=host - 常见报错与处理:
| 报错 | 含义 | 处理 |
|---|---|---|
Operation not permitted | 缺少能力或被 lockdown 限制 | 提权执行,确认 lockdown 状态 |
No probes in this program | 探针名不存在或内核未开启对应配置 | 用 bpftrace -l 确认探针名 |
Could not resolve symbol | 符号表或 BTF 缺失 | 安装匹配的调试符号或内核头文件 |
Unknown tracepoint | tracepoint 名称错误 | 用 bpftrace -l 'tracepoint:子系统:*' 枚举 |
Error: failed to load program | 验证器拒绝 | 查看输出的指令偏移与原因 |
3.2 bpftrace 语法要点与常用脚本
语法骨架
探针类型:探针名 /过滤条件/ { 动作 }
- 探针:
tracepoint:、kprobe:、kretprobe:、uprobe:、uretprobe:、profile:hz:99、interval:s:5、software:、hardware:、BEGIN、END - 过滤:
/pid == 1234/、/comm == "nginx"/,仅当条件成立时执行动作 - 动作:赋值、
printf、聚合函数、delete(@key)、clear(@)、exit() - 聚合函数:
count()、sum(x)、avg(x)、min(x)、max(x)、hist(x)、lhist(x, 0, 100, 10)、stats(x) - 内置变量:
pid、tid、comm、uid、cpu、nsecs、elapsed、retval、args(探针参数)、arg0至argN、curtask、kstack、ustack、probe、func、cgroup - 转换与辅助:
str(args.filename)、ntop(args.daddr)、kstack(5)(限制栈深度)、join(args.argv) - map 变量:
@name[key]为具名 map,@为匿名聚合;print(@, 5)输出前 5 项,clear(@)清空,zero(@)保留键并将值置零 - 输出时机:
interval:s:5 { print(@); clear(@); }周期性输出;END { print(@); }结束时输出 - 运行参数:
-l列出探针、-lv列出探针及其字段、-e直接给出程序、-p PID附着进程、-c '命令'运行命令并追踪、-d调试输出、-q精简启动信息
单行脚本一:按进程统计系统调用次数
sudo bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'
判读:某进程占比异常高通常指向系统调用密集或空转轮询;先整体排序,再用 -p PID 缩小范围。
单行脚本二:按进程统计系统调用耗时
sudo bpftrace -e '
tracepoint:raw_syscalls:sys_enter { @start[tid] = nsecs; }
tracepoint:raw_syscalls:sys_exit /@start[tid]/ {
@us[comm] = hist((nsecs - @start[tid]) / 1000);
delete(@start[tid]);
}'
判读:直方图右端比平均值更有价值。出现毫秒级以上长尾时,进一步用 tracepoint:syscalls:sys_enter_<调用名> 加 printf 输出参数,定位到具体调用。
单行脚本三:统计文件打开
sudo bpftrace -e '
tracepoint:syscalls:sys_enter_openat {
@opens[comm, str(args.filename)] = count();
}'
配合退出探针判断失败原因:
sudo bpftrace -e '
tracepoint:syscalls:sys_exit_openat /args.ret < 0/ {
printf("失败 %-6d %-16s ret=%d\n", pid, comm, args.ret);
}'
判读:ret 为负值表示打开失败,-2 通常为文件不存在,-13 为权限不足;失败集中在配置文件路径时,优先核对路径与运行用户权限。
单行脚本四:统计调度延迟
sudo bpftrace -e '
tracepoint:sched:sched_wakeup { @qtime[args.pid] = nsecs; }
tracepoint:sched:sched_switch /@qtime[args.prev_pid]/ {
@us = hist((nsecs - @qtime[args.prev_pid]) / 1000);
delete(@qtime[args.prev_pid]);
}'
判读:调度延迟是进程被唤醒到实际获得 CPU 的时间。直方图右端进入毫秒级说明存在 CPU 争抢,需与 vmstat 的 r 列、mpstat -P ALL 1 的单核占用一并判断;单纯的运行队列长度不能说明延迟量级,该脚本给出的是分布。
单行脚本五:按 PID 统计磁盘请求延迟
sudo bpftrace -e '
tracepoint:block:block_rq_issue { @start[args.dev, args.sector] = nsecs; }
tracepoint:block:block_rq_complete /@start[args.dev, args.sector]/ {
@us[pid, comm] = hist((nsecs - @start[args.dev, args.sector]) / 1000);
delete(@start[args.dev, args.sector]);
}'
判读:把设备级 await 归因到具体进程。写放大、日志刷盘、数据库后台任务常在结果中暴露;结果中若某个进程的分布明显偏右,先核对该进程的写入量与写入模式。
单行脚本六:跟踪 TCP 连接建立与关闭
探针字段名随内核版本变化,编写前先确认:
bpftrace -l 'tracepoint:tcp:*'
bpftrace -lv 'tracepoint:tcp:tcp_set_state'
sudo bpftrace -e '
tracepoint:tcp:tcp_set_state /args.oldstate == 3 && args.newstate == 1/ {
printf("[建立] %-6d %-16s -> %s:%d\n", pid, comm, ntop(args.daddr), args.dport);
}
tracepoint:tcp:tcp_set_state /args.newstate == 7/ {
printf("[关闭] %-6d %-16s\n", pid, comm);
}'
- 状态数值与内核的 TCP 状态枚举一致:
1为 ESTABLISHED、3为 SYN_RECV、6为 TIME_WAIT、7为 CLOSE - 判读:连接建立速率突然上升说明短连接激增或连接池失效;关闭事件集中出现说明下游主动断开或空闲超时回收
- 逐事件输出在连接量大时数据量很大,生产环境应改为按进程聚合计数
输出量控制
# 周期性输出前 5 项并清空,避免长期累积
sudo bpftrace -e '
profile:hz:99 { @[kstack] = count(); }
interval:s:10 { print(@, 5); clear(@); }'
- 聚合输出优先于逐事件输出;确需明细时先加过滤条件再限制条目
- 输出建议重定向到文件,避免终端阻塞导致缓冲堆积
3.3 bcc 工具集速查
| 工具 | 用途 | 常用参数 | 输出关键字段与判读 |
|---|---|---|---|
execsnoop | 追踪新执行的进程 | -t 时间戳、-P 仅成功执行、-x 排除自身 | 输出 PID、PPID、RET、ARGS;短生命周期进程过多说明脚本或计划任务在循环派生;出现未知命令行需按安全流程确认来源 |
opensnoop | 追踪文件打开 | -p PID、-n 名称、-d 延迟 | 输出 PID、COMM、FD、ERR、PATH;ERR 非 0 指向路径不存在或权限不足;FD 持续增长指向描述符泄漏 |
biolatency | 块设备 IO 延迟直方图 | -m 毫秒单位、-D 按设备、-p PID | 输出排队延迟与总延迟两组直方图;两者差值小说明主要时间花在设备服务,差值大说明排队是主因 |
biosnoop | 逐条块设备 IO 明细 | -Q 附带排队时间 | 字段 TIME、PID、COMM、DISK、T、SECTOR、BYTES、LAT(ms)、QUE(ms);按 COMM 聚合得到作业归属,按 SECTOR 判断访问是否随机 |
runqlat | 调度延迟直方图 | -m 毫秒单位、-p PID、-T 按线程 | 右端长尾对应 CPU 争抢;与 vmstat 的 r、cs 一并判读,用于区分计算饱和与调度抖动 |
tcplife | TCP 会话生命周期 | -p PID、-D 不做域名解析、-t 时间戳 | 字段 PID、COMM、LADDR、LPORT、RADDR、RPORT、TX_KB、RX_KB、MS;会话持续时间集中在毫秒级且数量大说明连接未复用 |
tcpdrop | 被内核丢弃的 TCP 包 | -p PID | 输出丢包原因与四元组;原因集中在队列相关项指向缓冲区与队列参数不足,指向套接字已关闭则说明对端已断开而本端仍在使用 |
funccount | 统计函数或 tracepoint 调用次数 | -i 输出间隔、-d 显示增量、-r 显示每秒速率、支持通配 | 用于确认某条内核路径是否被走到,以及调用量级是否与业务量匹配;也是上线 kprobe 脚本前的开销评估手段 |
使用注意:
- 输出格式与字段名随版本变化,参数与语义以
工具名 --help与随附手册为准 - 多数工具支持
-d指定持续时间,长时间运行前先估算输出量 - 工具的依赖探针不同:
biolatency、biosnoop依赖块层 tracepoint,runqlat依赖调度 tracepoint,tcplife、tcpdrop依赖 TCP tracepoint,受限内核上可能不可用 - 工具脚本可直接阅读源码,用于确认实现方式与可调项
3.4 典型排障场景
场景一:IO 延迟归因到具体进程与文件
iostat -x 1确认存在延迟异常的设备与时段,字段判读参见 linux: 系统信息与进程服务命令biolatency -m -D区分排队延迟与设备服务时间biosnoop按 COMM 定位进程、按 SECTOR 与 BYTES 判断访问模式- 用 3.2 的磁盘延迟脚本观察该进程的延迟分布随时间的变化
- 需要落到文件时,结合
lsof -p <PID>与/proc/<PID>/fd确认进程正在读写哪些文件
判断依据:排队延迟占比高说明并发过高或调度器参数与负载形态不匹配(参见 linux:块设备层与 IO 调度器);服务时间高说明设备能力不足或介质异常;块层完全没有事件说明请求由页缓存满足,此时应转向缓存命中率与回写参数(参见 linux: 页缓存与 IO 性能)。
场景二:调度延迟与 CPU 争抢
runqlat -m获取整体调度延迟分布runqlat -m -p <PID>限定到目标进程pidstat -w -t -p <PID> 1查看自愿与非自愿上下文切换次数- 与
vmstat 1的r、cs、mpstat -P ALL 1的单核占用对照
判断依据:整体使用率不高而单核接近满载,说明存在单线程瓶颈或线程绑定;调度延迟长尾与上下文切换次数同步升高,指向可运行任务过多、锁竞争或实时优先级任务抢占。
场景三:慢系统调用定位
- 用 3.2 的脚本按进程聚合系统调用耗时,确认长尾属于哪个进程
- 用
tracepoint:syscalls:sys_enter_<调用名>输出参数,定位到具体 fd、路径或地址 - 按等待类型分类:磁盘等待对照块层事件,网络等待对照连接状态与重传,锁等待对照上下文切换与 futex 调用
- 需要系统调用级别的耗时汇总时可用
strace -c,但其逐次陷入开销大,生产环境应短时使用,相关注意参见 linux: 系统信息与进程服务命令
判断依据:eBPF 方案在长尾场景下优于 strace,因为聚合在内核侧完成,采样期内不需要把每次调用都传到用户态。
场景四:网络丢包与连接异常
ss -s与ss -tan查看连接状态分布与各状态数量tcpdrop查看内核丢弃数据包的原因与相关地址tcplife查看会话持续时间与收发字节数分布- 需要确认链路上是否真的丢包时抓包核对,过滤表达式与判读参见 linux: Ubuntu 网络诊断与远程连接命令
判断依据:tcpdrop 的原因项指向接收队列或发送缓冲区,说明需要核对队列长度与内核网络参数;会话短且数量大,说明连接未复用,成本集中在建连与慢启动;内核未丢弃但业务超时,则问题多在下游处理时长而非链路。
场景五:内存分配热点
- 先判断压力类型:
/proc/meminfo中Dirty与Writeback偏高指向回写压力,Slab偏高指向内核对象缓存,进程 RSS 增长指向进程堆 funccount 'vfs_*'、funccount 'tcp:*'确认可疑内核路径的调用量级- 需要定位分配点时使用 bcc 的
memleak(开销较大,需限定时长与进程) - 与
slabtop、/proc/meminfo的数据交叉验证,机制说明参见 linux: 内存管理
判断依据:内核对象缓存增长属于可回收部分,处置方向是控制对象数量而非扩容;进程堆持续增长需要在应用侧定位分配点。
3.5 生产使用注意
采样与聚合优先
- 默认使用
count()、hist()等聚合函数,并周期性输出;避免对高频事件逐条printf - 需要明细时先按
pid、comm或目标对象过滤,再限制输出条目数 - 上线前先用
funccount确认探针的调用频率量级,据此判断直方图聚合是否足够
脚本驻留时间
- 脚本不应长期驻留,使用
timeout限定执行时长:
timeout 30 sudo bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' > /tmp/syscall-count.txt
- 脚本进程结束或收到中断后,eBPF 程序随之卸载,不残留内核状态;通过其他工具加载的 XDP 与 tc 类程序可能持久化,需单独确认与清理
- 长期观测需求应改为采样类探针配合周期性输出,并纳入统一的配置管理,而不是留在终端会话中
对延迟敏感业务的影响
- 是否可用的判据是探针函数的每秒调用次数:量级越高,kprobe 的叠加开销越大
- uprobe 会使目标进程产生陷入,对计算密集型进程影响更明显
- 生产环境的选择顺序为 tracepoint、perf_event 采样、kprobe 与 uprobe
高危 提醒:在生产内核上加载 eBPF 程序属于对运行中系统的变更。示例:在每秒调用数百万次的内核函数上挂 kprobe 并逐条输出,会同时造成目标服务延迟上升与磁盘被输出文件写满;在网卡上加载 XDP 丢弃程序会直接造成真实丢包;对关键进程挂 uprobe 会让其响应时间出现阶跃。兜底方式:
- 脚本先在测试环境与非生产实例验证,用
funccount确认探针命中频率,确认量级可接受后再在生产使用 - 一律使用
timeout限定执行时长,输出重定向到文件并限制文件所在分区的大小 - 使用聚合输出替代逐事件输出,必要时用
print(@, 10)限制条目数 - 禁止在生产直接加载会改变行为的程序类型(XDP、tc 类),仅使用只读观测类探针
- 不把 eBPF 脚本写入开机启动或常驻单元;脚本异常退出即卸载,无需额外回滚动作
- 保留带外登录通道,出现异常时先终止脚本进程,确认探针卸载后再排查影响
- 变更窗口内与其他变更操作分离,便于区分影响来源
结果归档与复盘
- 归档内容:脚本原文(含探针名与过滤条件)、内核版本、工具版本、执行时间范围、原始输出文件
- 输出文件按
yyyyMMdd-HHmm-场景-主机命名,与故障记录一并保存,证据保留要求参见 linux: 故障案例库 - 复盘时先确认结论是否依赖特定内核版本的字段解析,再决定是否作为长期依据
- 可复用的脚本固化到内部工具库,并标注适用的内核版本范围与实测开销
3.6 与 perf 和火焰图的配合
何时用采样、何时用追踪
| 问题形态 | 优先手段 | 原因 |
|---|---|---|
| 整体变慢、无明确触发条件 | 采样(perf) | 需要知道 CPU 时间花在哪里,占比统计更有效 |
| 偶发长尾、需要知道触发者 | 追踪(eBPF) | 采样对低占比高影响事件不可见,追踪可获取每次事件的参数与耗时 |
| 需要确认某函数是否被调用 | 追踪 | 采样只能给出概率占比,无法给出确定性结论 |
| 需要完整调用路径 | ftrace 或 perf 调用栈 | 追踪脚本只覆盖指定探针 |
组合流程
perf record -F 99 -g -p <PID> -- sleep 30采集采样与调用栈- 生成火焰图定位占比最高的调用路径,步骤参见 linux: 系统信息与进程服务命令
- 对热点函数用 kprobe 或 uprobe 追踪其参数与耗时分布,确认是否为业务所指的路径
- 对采样中占比很低但业务可感知的路径,改用 tracepoint 或 uprobe 做逐次统计,得到确定结论
结论冲突时的判读
- 采样反映时间占比,追踪反映事件事实。占比低但每次都会失败或超时的事件,采样看不到,追踪能给出证据
- 优化收益的上限由采样决定,正确性问题由追踪确认,两者结论并不互相否定
- 两者都不能解释现象时,检查是否遗漏了不在 CPU 时间内的等待:锁等待、下游依赖超时、页缓存命中、数据库连接池排队,这些时间在采样中表现为空闲
- 追踪结果与业务指标不一致时,先核对时间窗口是否对齐,再核对探针是否覆盖了全部进程与全部调用路径
四、总结
- 传统手段的边界明确:聚合计数器看不到单次延迟分布,日志需要改代码且改变被观测对象,perf 采样难以捕捉高频短事件与偶发长尾
- eBPF 由验证器保证安全,程序经 JIT 执行,数据通过 map 在内外之间传递,聚合在内核侧完成
- 挂载点选择顺序为 tracepoint、perf_event 采样、kprobe 与 uprobe,XDP 作用于数据面,生产环境默认不使用
- 开销来自探针陷入、程序执行与输出三部分,逐事件输出是主要风险来源
- 使用前逐项确认内核配置项、内核版本下限、
CAP_BPF与CAP_PERFMON、perf_event_paranoid与 lockdown 状态 - bpftrace 适合随问题即时编写,bcc 工具适合固化的标准流程,两者都应输出聚合结果并限定时长
- 典型场景的定位路径一致:先用主机级指标确认异常范围,再用追踪归因到进程与对象,最后与系统工具交叉验证
- 生产使用原则为短时、只读、聚合、限流,禁止在数据面加载会改变行为的程序
- 与 perf 的分工是统计与因果:采样定热点,追踪定原因,冲突时以追踪证据为准
- 追踪结论与采集配置一并归档,规则与阈值治理参见同目录的 linux: 监控与告警,可量化的判断项应下沉为巡检与告警项,参见 linux: 巡检与健康检查