一、起源:传统观测手段的边界

1.1 聚合计数器看不到单次延迟

主机级工具(vmstat、iostat、sar、node_exporter)输出的是按时间窗口聚合的计数与均值:

  • 计数类指标回答"发生了多少次",不回答"每次耗时多少"
  • 均值类指标回答平均水平,不回答分布形态

均值掩盖分布的具体表现:iostat 的 await 平均 5 毫秒,可能是 99% 的请求在 1 毫秒内完成,另有 1% 的请求耗时 500 毫秒。业务侧的体感由长尾决定,而聚合指标看不出长尾来自哪个进程、哪个文件、哪次系统调用。

计数器还无法回答归因问题:磁盘利用率接近 100% 时,是哪个进程、访问哪个文件、以多深的队列造成的,主机级指标均不提供该信息。

1.2 日志的侵入性

在应用代码中插入日志是常用的定位手段,其代价有三个方面:

  1. 需要改代码并重新发布:一次埋点只能覆盖一个已想到的假设,无法在故障现场临时追加维度
  2. 改变被观测对象:在每秒数万次调用的路径上同步写日志,会引入锁竞争、磁盘写入与格式化开销,时序与延迟分布随之改变
  3. 字段固定:日志只能记录编码时已知的字段,事后无法补上"当时的返回值""当时的调用者"

日志适合记录业务语义与状态变迁,不适合作为高频路径的性能观测手段。

1.3 perf 采样在高频短事件上的局限

perf 基于定时采样(如 99 Hz),按概率推断热点,其局限集中在四类场景:

  1. 高频短事件:耗时 1 毫秒、每秒执行百万次的调用,在采样窗口内占比低,采样命中次数少,统计噪声大
  2. 偶发长尾:采样反映的是时间占比。一次 800 毫秒的系统调用阻塞、一小时内出现 3 次,在采样结果中几乎不可见,但业务已经出现超时
  3. 缺少上下文:采样给出的是函数地址与调用栈,得不到该次调用的参数、返回值与目标对象
  4. 依赖符号:精简内核或无调试信息时只能看到地址,判读价值大幅下降

1.4 内核追踪要解决的问题

上述三类手段的共同缺口是"事件粒度的因果信息"。内核追踪要回答的是:

  • 某个内核函数被调用了多少次,调用者是谁
  • 某次调用的参数是什么,返回什么
  • 某次调用从进入到返回耗时多少,耗时分布形态如何
  • 这些事件的发起者属于哪个进程、哪个 cgroup

eBPF 是当前在 Linux 上实现这一目标的主要机制:不修改代码、不重启进程、按事件粒度采集,并在内核侧完成聚合以减少数据搬运。perf 与火焰图的操作步骤参见 linux: 系统信息与进程服务命令。

二、原理:eBPF 的运行机制与边界

2.1 虚拟机与验证器

eBPF 程序是受限的字节码,在内核内的虚拟机中执行,默认经 JIT 编译为本地指令(未开启 JIT 时解释执行,开销显著上升)。其安全模型由三部分构成:

验证器(verifier)

程序加载前进行静态检查,不通过则拒绝加载:

  • 内存访问必须有可证明的边界(越界访问直接拒绝)
  • 循环必须可证明有界(有界循环需要 5.3 及以上内核,此前完全禁止循环)
  • 只允许调用白名单内的辅助函数
  • 指令数、栈深度(512 字节)与嵌套深度有上限
  • 程序不能在持有锁的情况下睡眠(除允许睡眠的程序类型)

验证不通过时返回错误并在日志中给出具体原因与指令偏移。

受限的内存访问

程序不能直接读写任意内核内存:

  • 读取内核结构体需要通过 bpf_probe_read 系列辅助函数,或在内核提供 BTF 类型信息时按类型化指针直接访问
  • 用户态内存读取需要相应的辅助函数,并会做地址合法性检查

map 与数据传递

程序与用户态之间通过 map 通信,常见类型包括哈希表、数组、per-CPU 变量、环形缓冲区与栈追踪。内核侧完成累加与计数,只把聚合结果交给用户态,这是 eBPF 相比逐次输出开销更低的原因。

bpftrace 中的 @ 变量即 map:@counts[comm] 是哈希 map,hist() 产生的是直方图 map。

2.2 挂载点类型与差别

程序类型决定能挂在什么位置、能看到哪些事件。常用类型与差别:

类型 bpftrace 写法 事件粒度 典型用途 开销 稳定性
tracepoint tracepoint:子系统:事件 内核预定义静态插桩点 系统调用、调度、块层、TCP 事件 低 接口稳定,字段随版本可能变化
kprobe / kretprobe kprobe:函数名、kretprobe:函数名 任意内核函数入口与返回 tracepoint 未覆盖的内核路径 中至高(与函数调用频率成正比) 函数名与签名随内核版本变化
uprobe / uretprobe uprobe:路径:函数名 用户态函数入口与返回 应用函数耗时、参数、返回值 中至高 依赖符号与调试信息,受编译优化影响
perf_event hardware:、software:、profile:hz:99 硬件或软件性能事件、定时采样 CPU 周期、缓存事件、定时栈采样 低 标准接口,跨版本稳定
XDP 通过 bcc/libbpf 加载,挂载在网卡驱动 收包最早阶段 丢包、限速、简易过滤 极低,但作用于数据面 需驱动支持,会改变实际流量
raw tracepoint rawtracepoint:名称 不解析参数的 tracepoint 低开销获取原始参数 低 参数需手工解析,与内核结构耦合

选择顺序与依据:

  1. 优先 tracepoint:接口稳定、开销低、字段有文档,bpftrace -l 'tracepoint:*' 可枚举
  2. tracepoint 未覆盖时用 kprobe:接受与内核版本的耦合,升级内核后需重新确认函数名
  3. 应用层问题用 uprobe:需注意语言运行时的影响,JIT 编译(如 Java 热点代码)、函数内联、符号剥离都会让探针失效或不完整
  4. 采样类问题用 perf_event:适合统计热点与 CPU 时间去向,不适合逐事件归因
  5. XDP 与 tc 类程序直接作用于数据面,生产环境默认不使用

2.3 开销与安全边界

开销来源

  1. 探针本身的陷入开销:每次命中都要从正常执行路径跳到探针处理函数
  2. 程序执行开销:辅助函数调用、map 更新、字符串与地址解析
  3. 输出开销:逐事件 printf 会写入环形缓冲区并被用户态读取,数据量与事件速率成正比

量级感受

  • tracepoint 配合聚合(count()、hist()):在每秒数万次事件量级下开销可忽略
  • kprobe 挂在每秒百万次以上的热函数(如 tcp_sendmsg、vfs_read)上:会造成明显开销,目标延迟可能成倍上升
  • 逐事件 printf:输出量是开销与磁盘占用的主要来源,也是生产事故的常见成因

不适合使用的场景

  1. 每秒百万次以上的热路径需要逐次追踪
  2. 对延迟极度敏感的交易路径,任何额外陷入都不可接受
  3. 内核处于 lockdown 状态(安全启动配合完整性策略)禁用了 kprobe 与部分 BPF 功能
  4. 缺少 CAP_BPF、CAP_PERFMON、CAP_SYS_ADMIN 且无法提权
  5. 内核版本过低或缺少 BTF 与调试符号,探针无法解析
  6. 需要在容器内运行,但容器未授予相应能力或未挂载 debugfs、tracefs

内核版本与权限要求

能力 最低版本 说明
bpf 系统调用与 BPF map 3.18 eBPF 基础设施
kprobe 类型程序挂载 4.4 至 4.7 4.7 起可通过 perf_event 附着
tracepoint 类型程序 4.7 常用脚本的基础
XDP 与更多辅助函数 4.8 至 4.9 生产环境建议不低于 4.9
有界循环 5.3 验证器支持可证明边界的循环
BTF 类型信息 4.18 需 CONFIG_DEBUG_INFO_BTF=y,bpftrace 的简化写法依赖它
特权拆分 CAP_BPF、CAP_PERFMON 5.8 无需再直接授予 CAP_SYS_ADMIN

权限相关的内核开关:

文件 作用 生产建议
/proc/sys/kernel/unprivileged_bpf_disabled 是否允许非特权用户加载 BPF 程序 保持 1 或 2,禁止非特权加载
/proc/sys/kernel/perf_event_paranoid perf 事件允许范围 大于 1 时普通用户无法使用软件与硬件事件
/proc/sys/kernel/kptr_restrict 内核符号地址可见性 影响地址与符号解析,取值高时部分输出不可读
/sys/kernel/security/lockdown 内核锁定模式 为 confidentiality 时 kprobe 不可用

2.4 与 perf、ftrace 的分工

维度 ftrace perf eBPF(bpftrace 与 bcc)
依赖 内核自带,挂载 tracefs 即可 内核工具,需与内核版本匹配 需安装工具,依赖 BPF 配置与内核版本
主要能力 函数调用图、tracepoint 计数与过滤 采样、硬件计数、热点与火焰图 可编程的逐事件追踪与内核侧聚合
输出粒度 事件序列与函数调用图 统计占比 事件级与聚合结果均可
灵活度 低,输出格式固定 中,需配合外部脚本 高,脚本定义过滤、聚合与输出
适合回答 调用路径是什么、某事件是否发生 热点在哪里、CPU 时间花在何处 谁触发、参数是什么、耗时多少、为什么

配合方式:

  1. 先用 perf 采样确定热点函数或热点子系统
  2. 再用 eBPF 追踪该函数的调用者、参数、返回值与耗时分布
  3. 需要完整调用路径时用 ftrace 的函数图能力
  4. 采样结论与追踪结论冲突时,以追踪得到的因果证据为准:采样反映时间占比,占比低但每次都失败的路径采样看不到

三、实现:准备、脚本与场景

3.1 准备与验证

内核版本与配置检查

uname -r
# 发行版内核配置(Debian/Ubuntu)
grep -E 'CONFIG_(BPF|BPF_SYSCALL|BPF_JIT|BPF_EVENTS|KPROBE_EVENTS|UPROBE_EVENTS|FTRACE|DEBUG_INFO_BTF)=' /boot/config-$(uname -r)
# 内核自带配置(开启了 IKCONFIG 时)
zgrep -E 'CONFIG_(BPF|BPF_SYSCALL|BPF_JIT|KPROBE_EVENTS|UPROBE_EVENTS|DEBUG_INFO_BTF)=' /proc/config.gz

关键配置项与缺失后果:

配置项 作用 缺失后果
CONFIG_BPF eBPF 基础设施 无法加载任何 BPF 程序
CONFIG_BPF_SYSCALL bpf() 系统调用 用户态工具无法加载程序
CONFIG_BPF_JIT JIT 编译 解释执行,开销显著上升
CONFIG_BPF_EVENTS perf 类事件程序 无法挂载采样类程序
CONFIG_KPROBE_EVENTS kprobe 类型程序 kprobe 与 kretprobe 不可用
CONFIG_UPROBE_EVENTS uprobe 类型程序 无法追踪用户态函数
CONFIG_DEBUG_INFO_BTF BPF 类型信息 简化写法与自动参数解析不可用
# 挂载点与权限状态
mount | grep -E 'tracefs|debugfs|bpf'
cat /proc/sys/kernel/unprivileged_bpf_disabled
cat /proc/sys/kernel/perf_event_paranoid
cat /proc/sys/kernel/kptr_restrict
cat /sys/kernel/security/lockdown 2>/dev/null

# 未挂载时手工挂载
sudo mount -t tracefs tracefs /sys/kernel/tracing
sudo mount -t debugfs debugfs /sys/kernel/debug

bpftrace 与 bcc 的安装差异

维度 bpftrace bcc
形态 单个二进制,自带脚本语言 一组 Python 工具与库,工具即命令
安装 sudo apt install bpftrace sudo apt install bpfcc-tools 与 python3-bpfcc
适用 一次性排障,脚本随问题即时编写 固化为标准流程,参数与输出固定
版本核对 bpftrace --version dpkg -l | grep bpfcc
额外依赖 多数 tracepoint 脚本只需 BTF 部分工具需 linux-headers-$(uname -r) 提供类型定义
  • 发行版仓库中的 bpftrace 通常滞后于上游,新内核特性可能需要上游发布的静态编译版本
  • bcc 工具脚本位于 /usr/share/bcc/tools/,可直接查看实现以确认其依赖的探针

权限与受限环境

# 按需授予能力,避免直接使用 root
sudo setcap cap_bpf,cap_perfmon+ep /usr/bin/bpftrace
# 或统一通过 sudo 执行
sudo bpftrace -l 'tracepoint:syscalls:*' | head
  • 容器内使用需要 --privileged,或 --cap-add=BPF --cap-add=PERFMON --cap-add=SYS_ADMIN,并挂载 /sys/kernel/debug 与 /sys/kernel/tracing;查看宿主机进程还需 --pid=host
  • 常见报错与处理:
报错 含义 处理
Operation not permitted 缺少能力或被 lockdown 限制 提权执行,确认 lockdown 状态
No probes in this program 探针名不存在或内核未开启对应配置 用 bpftrace -l 确认探针名
Could not resolve symbol 符号表或 BTF 缺失 安装匹配的调试符号或内核头文件
Unknown tracepoint tracepoint 名称错误 用 bpftrace -l 'tracepoint:子系统:*' 枚举
Error: failed to load program 验证器拒绝 查看输出的指令偏移与原因

3.2 bpftrace 语法要点与常用脚本

语法骨架

探针类型:探针名 /过滤条件/ { 动作 }
  • 探针:tracepoint:、kprobe:、kretprobe:、uprobe:、uretprobe:、profile:hz:99、interval:s:5、software:、hardware:、BEGIN、END
  • 过滤:/pid == 1234/、/comm == "nginx"/,仅当条件成立时执行动作
  • 动作:赋值、printf、聚合函数、delete(@key)、clear(@)、exit()
  • 聚合函数:count()、sum(x)、avg(x)、min(x)、max(x)、hist(x)、lhist(x, 0, 100, 10)、stats(x)
  • 内置变量:pid、tid、comm、uid、cpu、nsecs、elapsed、retval、args(探针参数)、arg0 至 argN、curtask、kstack、ustack、probe、func、cgroup
  • 转换与辅助:str(args.filename)、ntop(args.daddr)、kstack(5)(限制栈深度)、join(args.argv)
  • map 变量:@name[key] 为具名 map,@ 为匿名聚合;print(@, 5) 输出前 5 项,clear(@) 清空,zero(@) 保留键并将值置零
  • 输出时机:interval:s:5 { print(@); clear(@); } 周期性输出;END { print(@); } 结束时输出
  • 运行参数:-l 列出探针、-lv 列出探针及其字段、-e 直接给出程序、-p PID 附着进程、-c '命令' 运行命令并追踪、-d 调试输出、-q 精简启动信息

单行脚本一:按进程统计系统调用次数

sudo bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'

判读:某进程占比异常高通常指向系统调用密集或空转轮询;先整体排序,再用 -p PID 缩小范围。

单行脚本二:按进程统计系统调用耗时

sudo bpftrace -e '
tracepoint:raw_syscalls:sys_enter { @start[tid] = nsecs; }
tracepoint:raw_syscalls:sys_exit /@start[tid]/ {
  @us[comm] = hist((nsecs - @start[tid]) / 1000);
  delete(@start[tid]);
}'

判读:直方图右端比平均值更有价值。出现毫秒级以上长尾时,进一步用 tracepoint:syscalls:sys_enter_<调用名> 加 printf 输出参数,定位到具体调用。

单行脚本三:统计文件打开

sudo bpftrace -e '
tracepoint:syscalls:sys_enter_openat {
  @opens[comm, str(args.filename)] = count();
}'

配合退出探针判断失败原因:

sudo bpftrace -e '
tracepoint:syscalls:sys_exit_openat /args.ret < 0/ {
  printf("失败 %-6d %-16s ret=%d\n", pid, comm, args.ret);
}'

判读:ret 为负值表示打开失败,-2 通常为文件不存在,-13 为权限不足;失败集中在配置文件路径时,优先核对路径与运行用户权限。

单行脚本四:统计调度延迟

sudo bpftrace -e '
tracepoint:sched:sched_wakeup { @qtime[args.pid] = nsecs; }
tracepoint:sched:sched_switch /@qtime[args.prev_pid]/ {
  @us = hist((nsecs - @qtime[args.prev_pid]) / 1000);
  delete(@qtime[args.prev_pid]);
}'

判读:调度延迟是进程被唤醒到实际获得 CPU 的时间。直方图右端进入毫秒级说明存在 CPU 争抢,需与 vmstat 的 r 列、mpstat -P ALL 1 的单核占用一并判断;单纯的运行队列长度不能说明延迟量级,该脚本给出的是分布。

单行脚本五:按 PID 统计磁盘请求延迟

sudo bpftrace -e '
tracepoint:block:block_rq_issue { @start[args.dev, args.sector] = nsecs; }
tracepoint:block:block_rq_complete /@start[args.dev, args.sector]/ {
  @us[pid, comm] = hist((nsecs - @start[args.dev, args.sector]) / 1000);
  delete(@start[args.dev, args.sector]);
}'

判读:把设备级 await 归因到具体进程。写放大、日志刷盘、数据库后台任务常在结果中暴露;结果中若某个进程的分布明显偏右,先核对该进程的写入量与写入模式。

单行脚本六:跟踪 TCP 连接建立与关闭

探针字段名随内核版本变化,编写前先确认:

bpftrace -l 'tracepoint:tcp:*'
bpftrace -lv 'tracepoint:tcp:tcp_set_state'
sudo bpftrace -e '
tracepoint:tcp:tcp_set_state /args.oldstate == 3 && args.newstate == 1/ {
  printf("[建立] %-6d %-16s -> %s:%d\n", pid, comm, ntop(args.daddr), args.dport);
}
tracepoint:tcp:tcp_set_state /args.newstate == 7/ {
  printf("[关闭] %-6d %-16s\n", pid, comm);
}'
  • 状态数值与内核的 TCP 状态枚举一致:1 为 ESTABLISHED、3 为 SYN_RECV、6 为 TIME_WAIT、7 为 CLOSE
  • 判读:连接建立速率突然上升说明短连接激增或连接池失效;关闭事件集中出现说明下游主动断开或空闲超时回收
  • 逐事件输出在连接量大时数据量很大,生产环境应改为按进程聚合计数

输出量控制

# 周期性输出前 5 项并清空,避免长期累积
sudo bpftrace -e '
profile:hz:99 { @[kstack] = count(); }
interval:s:10 { print(@, 5); clear(@); }'
  • 聚合输出优先于逐事件输出;确需明细时先加过滤条件再限制条目
  • 输出建议重定向到文件,避免终端阻塞导致缓冲堆积

3.3 bcc 工具集速查

工具 用途 常用参数 输出关键字段与判读
execsnoop 追踪新执行的进程 -t 时间戳、-P 仅成功执行、-x 排除自身 输出 PID、PPID、RET、ARGS;短生命周期进程过多说明脚本或计划任务在循环派生;出现未知命令行需按安全流程确认来源
opensnoop 追踪文件打开 -p PID、-n 名称、-d 延迟 输出 PID、COMM、FD、ERR、PATH;ERR 非 0 指向路径不存在或权限不足;FD 持续增长指向描述符泄漏
biolatency 块设备 IO 延迟直方图 -m 毫秒单位、-D 按设备、-p PID 输出排队延迟与总延迟两组直方图;两者差值小说明主要时间花在设备服务,差值大说明排队是主因
biosnoop 逐条块设备 IO 明细 -Q 附带排队时间 字段 TIME、PID、COMM、DISK、T、SECTOR、BYTES、LAT(ms)、QUE(ms);按 COMM 聚合得到作业归属,按 SECTOR 判断访问是否随机
runqlat 调度延迟直方图 -m 毫秒单位、-p PID、-T 按线程 右端长尾对应 CPU 争抢;与 vmstat 的 r、cs 一并判读,用于区分计算饱和与调度抖动
tcplife TCP 会话生命周期 -p PID、-D 不做域名解析、-t 时间戳 字段 PID、COMM、LADDR、LPORT、RADDR、RPORT、TX_KB、RX_KB、MS;会话持续时间集中在毫秒级且数量大说明连接未复用
tcpdrop 被内核丢弃的 TCP 包 -p PID 输出丢包原因与四元组;原因集中在队列相关项指向缓冲区与队列参数不足,指向套接字已关闭则说明对端已断开而本端仍在使用
funccount 统计函数或 tracepoint 调用次数 -i 输出间隔、-d 显示增量、-r 显示每秒速率、支持通配 用于确认某条内核路径是否被走到,以及调用量级是否与业务量匹配;也是上线 kprobe 脚本前的开销评估手段

使用注意:

  1. 输出格式与字段名随版本变化,参数与语义以 工具名 --help 与随附手册为准
  2. 多数工具支持 -d 指定持续时间,长时间运行前先估算输出量
  3. 工具的依赖探针不同:biolatency、biosnoop 依赖块层 tracepoint,runqlat 依赖调度 tracepoint,tcplife、tcpdrop 依赖 TCP tracepoint,受限内核上可能不可用
  4. 工具脚本可直接阅读源码,用于确认实现方式与可调项

3.4 典型排障场景

场景一:IO 延迟归因到具体进程与文件

  1. iostat -x 1 确认存在延迟异常的设备与时段,字段判读参见 linux: 系统信息与进程服务命令
  2. biolatency -m -D 区分排队延迟与设备服务时间
  3. biosnoop 按 COMM 定位进程、按 SECTOR 与 BYTES 判断访问模式
  4. 用 3.2 的磁盘延迟脚本观察该进程的延迟分布随时间的变化
  5. 需要落到文件时,结合 lsof -p <PID> 与 /proc/<PID>/fd 确认进程正在读写哪些文件

判断依据:排队延迟占比高说明并发过高或调度器参数与负载形态不匹配(参见 linux:块设备层与 IO 调度器);服务时间高说明设备能力不足或介质异常;块层完全没有事件说明请求由页缓存满足,此时应转向缓存命中率与回写参数(参见 linux: 页缓存与 IO 性能)。

场景二:调度延迟与 CPU 争抢

  1. runqlat -m 获取整体调度延迟分布
  2. runqlat -m -p <PID> 限定到目标进程
  3. pidstat -w -t -p <PID> 1 查看自愿与非自愿上下文切换次数
  4. 与 vmstat 1 的 r、cs、mpstat -P ALL 1 的单核占用对照

判断依据:整体使用率不高而单核接近满载,说明存在单线程瓶颈或线程绑定;调度延迟长尾与上下文切换次数同步升高,指向可运行任务过多、锁竞争或实时优先级任务抢占。

场景三:慢系统调用定位

  1. 用 3.2 的脚本按进程聚合系统调用耗时,确认长尾属于哪个进程
  2. 用 tracepoint:syscalls:sys_enter_<调用名> 输出参数,定位到具体 fd、路径或地址
  3. 按等待类型分类:磁盘等待对照块层事件,网络等待对照连接状态与重传,锁等待对照上下文切换与 futex 调用
  4. 需要系统调用级别的耗时汇总时可用 strace -c,但其逐次陷入开销大,生产环境应短时使用,相关注意参见 linux: 系统信息与进程服务命令

判断依据:eBPF 方案在长尾场景下优于 strace,因为聚合在内核侧完成,采样期内不需要把每次调用都传到用户态。

场景四:网络丢包与连接异常

  1. ss -s 与 ss -tan 查看连接状态分布与各状态数量
  2. tcpdrop 查看内核丢弃数据包的原因与相关地址
  3. tcplife 查看会话持续时间与收发字节数分布
  4. 需要确认链路上是否真的丢包时抓包核对,过滤表达式与判读参见 linux: Ubuntu 网络诊断与远程连接命令

判断依据:tcpdrop 的原因项指向接收队列或发送缓冲区,说明需要核对队列长度与内核网络参数;会话短且数量大,说明连接未复用,成本集中在建连与慢启动;内核未丢弃但业务超时,则问题多在下游处理时长而非链路。

场景五:内存分配热点

  1. 先判断压力类型:/proc/meminfo 中 Dirty 与 Writeback 偏高指向回写压力,Slab 偏高指向内核对象缓存,进程 RSS 增长指向进程堆
  2. funccount 'vfs_*'、funccount 'tcp:*' 确认可疑内核路径的调用量级
  3. 需要定位分配点时使用 bcc 的 memleak(开销较大,需限定时长与进程)
  4. 与 slabtop、/proc/meminfo 的数据交叉验证,机制说明参见 linux: 内存管理

判断依据:内核对象缓存增长属于可回收部分,处置方向是控制对象数量而非扩容;进程堆持续增长需要在应用侧定位分配点。

3.5 生产使用注意

采样与聚合优先

  • 默认使用 count()、hist() 等聚合函数,并周期性输出;避免对高频事件逐条 printf
  • 需要明细时先按 pid、comm 或目标对象过滤,再限制输出条目数
  • 上线前先用 funccount 确认探针的调用频率量级,据此判断直方图聚合是否足够

脚本驻留时间

  • 脚本不应长期驻留,使用 timeout 限定执行时长:
timeout 30 sudo bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' > /tmp/syscall-count.txt
  • 脚本进程结束或收到中断后,eBPF 程序随之卸载,不残留内核状态;通过其他工具加载的 XDP 与 tc 类程序可能持久化,需单独确认与清理
  • 长期观测需求应改为采样类探针配合周期性输出,并纳入统一的配置管理,而不是留在终端会话中

对延迟敏感业务的影响

  • 是否可用的判据是探针函数的每秒调用次数:量级越高,kprobe 的叠加开销越大
  • uprobe 会使目标进程产生陷入,对计算密集型进程影响更明显
  • 生产环境的选择顺序为 tracepoint、perf_event 采样、kprobe 与 uprobe

高危 提醒:在生产内核上加载 eBPF 程序属于对运行中系统的变更。示例:在每秒调用数百万次的内核函数上挂 kprobe 并逐条输出,会同时造成目标服务延迟上升与磁盘被输出文件写满;在网卡上加载 XDP 丢弃程序会直接造成真实丢包;对关键进程挂 uprobe 会让其响应时间出现阶跃。兜底方式:

  1. 脚本先在测试环境与非生产实例验证,用 funccount 确认探针命中频率,确认量级可接受后再在生产使用
  2. 一律使用 timeout 限定执行时长,输出重定向到文件并限制文件所在分区的大小
  3. 使用聚合输出替代逐事件输出,必要时用 print(@, 10) 限制条目数
  4. 禁止在生产直接加载会改变行为的程序类型(XDP、tc 类),仅使用只读观测类探针
  5. 不把 eBPF 脚本写入开机启动或常驻单元;脚本异常退出即卸载,无需额外回滚动作
  6. 保留带外登录通道,出现异常时先终止脚本进程,确认探针卸载后再排查影响
  7. 变更窗口内与其他变更操作分离,便于区分影响来源

结果归档与复盘

  • 归档内容:脚本原文(含探针名与过滤条件)、内核版本、工具版本、执行时间范围、原始输出文件
  • 输出文件按 yyyyMMdd-HHmm-场景-主机 命名,与故障记录一并保存,证据保留要求参见 linux: 故障案例库
  • 复盘时先确认结论是否依赖特定内核版本的字段解析,再决定是否作为长期依据
  • 可复用的脚本固化到内部工具库,并标注适用的内核版本范围与实测开销

3.6 与 perf 和火焰图的配合

何时用采样、何时用追踪

问题形态 优先手段 原因
整体变慢、无明确触发条件 采样(perf) 需要知道 CPU 时间花在哪里,占比统计更有效
偶发长尾、需要知道触发者 追踪(eBPF) 采样对低占比高影响事件不可见,追踪可获取每次事件的参数与耗时
需要确认某函数是否被调用 追踪 采样只能给出概率占比,无法给出确定性结论
需要完整调用路径 ftrace 或 perf 调用栈 追踪脚本只覆盖指定探针

组合流程

  1. perf record -F 99 -g -p <PID> -- sleep 30 采集采样与调用栈
  2. 生成火焰图定位占比最高的调用路径,步骤参见 linux: 系统信息与进程服务命令
  3. 对热点函数用 kprobe 或 uprobe 追踪其参数与耗时分布,确认是否为业务所指的路径
  4. 对采样中占比很低但业务可感知的路径,改用 tracepoint 或 uprobe 做逐次统计,得到确定结论

结论冲突时的判读

  1. 采样反映时间占比,追踪反映事件事实。占比低但每次都会失败或超时的事件,采样看不到,追踪能给出证据
  2. 优化收益的上限由采样决定,正确性问题由追踪确认,两者结论并不互相否定
  3. 两者都不能解释现象时,检查是否遗漏了不在 CPU 时间内的等待:锁等待、下游依赖超时、页缓存命中、数据库连接池排队,这些时间在采样中表现为空闲
  4. 追踪结果与业务指标不一致时,先核对时间窗口是否对齐,再核对探针是否覆盖了全部进程与全部调用路径

四、总结

  • 传统手段的边界明确:聚合计数器看不到单次延迟分布,日志需要改代码且改变被观测对象,perf 采样难以捕捉高频短事件与偶发长尾
  • eBPF 由验证器保证安全,程序经 JIT 执行,数据通过 map 在内外之间传递,聚合在内核侧完成
  • 挂载点选择顺序为 tracepoint、perf_event 采样、kprobe 与 uprobe,XDP 作用于数据面,生产环境默认不使用
  • 开销来自探针陷入、程序执行与输出三部分,逐事件输出是主要风险来源
  • 使用前逐项确认内核配置项、内核版本下限、CAP_BPF 与 CAP_PERFMON、perf_event_paranoid 与 lockdown 状态
  • bpftrace 适合随问题即时编写,bcc 工具适合固化的标准流程,两者都应输出聚合结果并限定时长
  • 典型场景的定位路径一致:先用主机级指标确认异常范围,再用追踪归因到进程与对象,最后与系统工具交叉验证
  • 生产使用原则为短时、只读、聚合、限流,禁止在数据面加载会改变行为的程序
  • 与 perf 的分工是统计与因果:采样定热点,追踪定原因,冲突时以追踪证据为准
  • 追踪结论与采集配置一并归档,规则与阈值治理参见同目录的 linux: 监控与告警,可量化的判断项应下沉为巡检与告警项,参见 linux: 巡检与健康检查