一、起源:没有基线的性能判断只能靠感觉

1.1 性能问题的判定缺少参照

"响应变慢""磁盘很慢""这台机器性能不如那台"这类判断需要参照物才能成立:

  • 与自身历史的对比:同一配置在业务量相近时段的指标
  • 与同类设备的对比:同型号、同配置、同负载形态下的指标

缺少参照时的判断依据是个人经验。经验判断存在三个问题:换人得出的结论不同;同一指标在不同时段得出的结论不同;无法区分"真的变慢"与"业务量增长导致的正常变化"。后者的判别尤其依赖基线,因为大量指标会随业务量线性变化而不代表性能退化。

1.2 扩容与优化缺少依据

扩容需要回答的问题:

  1. 单实例或单机能承载多少业务量
  2. 当前水位距离饱和还有多少
  3. 按当前增长速率何时需要扩容

优化需要回答的问题:

  1. 优化前后指标差异是多少
  2. 是否达到了预期收益
  3. 瓶颈是否发生了转移

两组问题都依赖同一套可复现的测量方法,以及可对比的历史数据。缺少测量手段时,扩容规模按经验倍数估算,优化效果以主观感受判断,两者都难以在事后验证。

1.3 压测与基线的关系

  • 压测是获取基线的手段,基线是压测的产物与后续判定的参照
  • 只做一次压测不构成基线:基线要求固定条件、固定参数、可重复执行、结果落在稳定的波动范围内
  • 基线会因版本、配置、硬件、数据量变化而失效,需要在变更后重新采集
  • 基线的用途有三类:判定当前是否偏离常态、作为回归对比的参照、作为容量模型的输入

二、原理:指标、压测类型与基线

2.1 性能指标定义

吞吐

单位时间完成的工作量,单位随场景变化:请求数每秒(QPS)、IO 次数每秒(IOPS)、字节每秒(MB/s)、报文数每秒。

吞吐必须与资源用量一起解读:达到同样的吞吐消耗更少资源才算改进,吞吐相同但 CPU 占用翻倍属于退化。只看吞吐会得出错误结论。

延迟与分位数

  • 平均延迟受极端值影响小,但会掩盖长尾
  • 分位数描述分布:P50 反映典型体验,P95、P99、P99.9 反映较差与最差体验,最大值反映单次异常
  • 压测工具通常输出多个分位,观察重点是 P99、P99.9 与最大值
  • 延迟单位需统一(毫秒或微秒),混用单位是常见误判来源
  • 分位数的可信度依赖样本量与统计窗口,样本过少时分位数不稳定

并发与队列

  • 并发:同时在处理或等待处理的请求数
  • 队列:已到达但尚未开始处理的请求数
  • 利特尔法则:平均并发数 = 到达率 × 平均处理时间。用于把吞吐与延迟对应起来,判断延迟上升是处理变慢还是排队变长
  • 并发与吞吐不是线性关系:并发上升到一定程度后吞吐饱和、延迟继续线性上升,说明后端已饱和
  • 高并发不等于高吞吐,压测报告中的并发数只有与延迟和错误率一起给出才有意义

错误率

失败请求占比。压测中需要分别统计:

  1. 服务端返回错误的占比
  2. 超时占比
  3. 连接建立失败、被重置的占比

错误率非零说明压力已超过系统处理能力,此时的吞吐与延迟数据不再代表正常状态,需降档重测。

2.2 压测类型

类型 目的 施加的压力 观察重点
基准测试(benchmark) 获取特定配置下的性能上限 固定参数,逐级加压 吞吐上限、延迟随并发变化的曲线
负载测试(load) 验证目标业务量下的表现 目标峰值或略高于峰值 延迟分位、错误率、资源水位
压力测试(stress) 找到失效点与失效方式 持续加压直至超出能力 拐点位置、错误形式、降压后的恢复能力
稳定性测试(soak) 发现随时间累积的问题 目标负载持续数小时至数天 内存与句柄增长、连接泄漏、性能衰减、磁盘增长

补充说明:

  • 容量测试常与负载测试混用,区别在于容量测试的目标是给出"能承载多少",负载测试的目标是验证"现有的量能否承载"
  • 稳定性测试无法用短时压测替代:内存泄漏、句柄泄漏、碎片化、日志与临时文件增长都需要时间累积才能显现
  • 四类测试使用的参数集应保持可复用,否则结论无法互相印证

2.3 基线与回归的关系

  • 基线:在固定条件下测得的指标体系,至少包含吞吐、延迟分位、资源用量与错误率
  • 回归:变更后以相同条件复测,与基线对比得出差异
  • 对比的前提是变量可控:一次只改一个变量,其余条件与基线采集时保持一致
  • 差异阈值:吞吐变化落在测量噪声范围内视为无差异;延迟分位对噪声更敏感,其阈值应比吞吐更宽
  • 基线不是阈值:基线回答"是否偏离自身常态",阈值回答"是否越界",两者的分工在巡检中同样适用,参见 linux: 巡检与健康检查

2.4 压测环境与生产的差异

维度 常见差异 造成的影响
硬件 压测机与生产机型、代次、盘型、网卡不同 吞吐与延迟的绝对值不可直接比较,只能比较同环境内的相对变化
数据量 测试数据远小于生产数据 索引层级更浅、缓存命中率更高、扫描成本更低,结果偏乐观
网络 压测在同一机架或本机回环 省去跨机房时延、丢包与带宽限制,延迟偏低
缓存状态 测试数据刚写入,页缓存与数据库缓冲池命中率高 真实 IO 需求被低估,磁盘配置可能严重不足
并发来源 压测客户端数量少、请求模型单一 缺少真实业务的比例分布、参数分布与混合读写比例
背景负载 生产同时存在备份、日志写入、监控采集、批量任务 压测结果未包含这些开销,容量被高估

结论:压测结果用于同环境内的对比与容量估算,不能作为生产性能的承诺值。生产侧的真实表现以监控数据与错误预算为准,指标口径参见 linux: 监控与告警。

三、实现:压测方法、基线与容量

3.1 磁盘与文件系统压测

fio 关键参数

参数 含义 取值要点
--name 任务名 一个任务一个名字,便于在报告中定位
--filename 测试对象 文件路径或块设备;指向块设备会覆盖数据
--size 每个任务的数据量 应大于页缓存可容纳的量,否则测的是内存
--rw 读写模式 read、write、randread、randwrite、randrw
--bs 块大小 4k 反映随机 IOPS,1M 反映顺序吞吐
--ioengine IO 引擎 libaio、io_uring、psync、sync
--iodepth 单任务异步队列深度 需与实际负载的并发深度匹配
--numjobs 并发任务数 多任务等价于多进程并发
--direct 直接 IO 1 绕过页缓存测设备能力,0 反映缓存路径
--runtime 与 --time_based 按时长运行 避免数据量不足导致提前结束
--ramp_time 预热时间 剔除启动阶段的抖动
--group_reporting 汇总输出 多任务合并为一份报告
--output-format 与 --output 输出格式与文件 json 便于后续脚本化对比
--rwmixread 混合读写中的读比例 配合 randrw 使用,按业务比例设定
--invalidate 运行前丢弃文件缓存 用于消除上一轮残留的缓存影响

典型任务

顺序大块读(吞吐上限):

fio --name=seq-read --filename=./fio-seq-read.bin --size=16G --rw=read --bs=1M \
  --ioengine=libaio --iodepth=16 --direct=1 --runtime=300 --time_based \
  --ramp_time=30 --group_reporting --output-format=json --output=seq-read.json

顺序大块写:

fio --name=seq-write --filename=./fio-seq-write.bin --size=16G --rw=write --bs=1M \
  --ioengine=libaio --iodepth=16 --direct=1 --runtime=300 --time_based \
  --ramp_time=30 --group_reporting --output-format=json --output=seq-write.json

随机 4K 读(数据库与元数据密集负载):

fio --name=rand-read --filename=./fio-rand-read.bin --size=16G --rw=randread --bs=4k \
  --ioengine=libaio --iodepth=32 --numjobs=4 --direct=1 --runtime=300 --time_based \
  --ramp_time=30 --group_reporting --output-format=json --output=rand-read.json

随机 4K 写:

fio --name=rand-write --filename=./fio-rand-write.bin --size=16G --rw=randwrite --bs=4k \
  --ioengine=libaio --iodepth=32 --numjobs=4 --direct=1 --runtime=300 --time_based \
  --group_reporting --output-format=json --output=rand-write.json

混合读写(70% 读、30% 写):

fio --name=rand-rw --filename=./fio-rand-rw.bin --size=16G --rw=randrw --rwmixread=70 --bs=8k \
  --ioengine=libaio --iodepth=32 --numjobs=8 --direct=1 --runtime=600 --time_based \
  --group_reporting --output-format=json --output=rand-rw.json

页缓存影响对照(同一数据集分别用 --direct=1 与 --direct=0 各测一次):

fio --name=seq-read-cached --filename=./fio-seq-read.bin --size=1G --rw=read --bs=1M \
  --ioengine=libaio --iodepth=16 --direct=0 --runtime=60 --time_based \
  --group_reporting --output-format=json --output=seq-read-cached.json
  • 对照方法:--direct=1 测得的是设备能力,--direct=0 测得的是缓存路径能力,两者差异即页缓存的贡献
  • 需要排除上一轮残留缓存时,可在测试前执行 sync 并写入 /proc/sys/vm/drop_caches(属调试动作,见下方高危提示),或使用 --invalidate=1
  • 缓存机制与回写参数参见 ../base/page_cache_and_io_performance.html

iodepth 与 numjobs 的组合

  1. 设备上的总队列深度约等于 iodepth × numjobs,同一文件系统或设备上的并发需按总量估算
  2. 顺序吞吐任务用大块、低并发即可打满带宽;随机 IOPS 任务需要提高总队列深度以填满设备内部并行
  3. 提高总队列深度到某一水平后 IOPS 不再上升而延迟明显上升,该点即设备的饱和点,是容量模型的输入
  4. numjobs 增加会引入多进程调度与元数据竞争开销;在异步引擎下,单任务提高 iodepth 通常更接近设备真实能力
  5. 结果中的 io depths 分布可验证实际队列深度是否达到设定值,未达到说明上层供给不足或提交路径受限

结果字段判读

字段 含义 判读
bw 带宽 顺序任务的主要指标
iops 每秒 IO 次数 随机任务的主要指标
lat (msec) avg 与 max 总延迟均值与最大值 最大值远高于均值说明长尾明显
lat (msec) 分位表 延迟分布 关注 99.00th、99.90th、99.99th
clat (usec) 完成延迟 含排队时间与设备服务时间
slat (usec) 提交延迟 提交到队列的耗时,异常高指向进程调度或队列锁竞争
io depths 实际队列深度分布 与设定值差异大说明并发未生效
submit 与 complete 提交与完成速率 两者差异大说明存在未完成请求
cpu usr 与 cpu sys 压测进程 CPU 占用 偏高时需确认客户端是否成为瓶颈

归档方式:每次运行保留 json 输出、完整命令行、设备与文件系统信息、执行时间戳。文件名包含主机、设备、任务、关键参数与时间,便于后续脚本化对比。

高危 提醒:fio 与 dd 直写块设备会覆盖设备上的全部数据,且不可恢复。示例:fio --filename=/dev/sdb ... 或 dd of=/dev/sdb 在指向生产数据盘时会造成数据完全丢失;对已挂载的数据盘使用文件方式虽不直接破坏设备,但会持续占用空间与 IO,可能写满分区并影响业务读写延迟;压测所在阵列处于重建状态时叠加 IO 会同时延长重建时间与扩大风险。兜底方式:

  1. 直写块设备前用 lsblk -f 与 mount 确认该设备未挂载、无文件系统、不在阵列或卷组中;生产环境一律使用文件方式
  2. 测试文件放在专用目录,确认分区剩余空间大于测试文件大小的两倍,并在结束后删除
  3. 所有压测命令加 timeout 或 --runtime,避免脚本异常时持续写入
  4. 对生产主机的压测在低峰执行,使用资源上限约束(见 3.2 的 cgroup 方式),并持续观察业务指标,越界立即停止
  5. 阵列重建、主从同步追赶、备份窗口内不执行写类压测
  6. 清理回收页缓存(drop_caches)属调试动作,会短时间内降低所有进程的读性能,生产环境避免使用

3.2 CPU 与内存压测

stress-ng

# CPU 计算能力与多核扩展
stress-ng --cpu 4 --cpu-method matrixprod --timeout 120s --metrics-brief
# 内存分配与访问
stress-ng --vm 2 --vm-bytes 2G --vm-method all --timeout 120s --metrics-brief
# 文件系统写入
stress-ng --hdd 2 --hdd-bytes 2G --timeout 120s --metrics-brief

关键参数:--cpu N 指定计算工作进程数、--cpu-method 指定计算方法(不同方法的指令组合不同,结果不可跨方法比较)、--vm 与 --vm-bytes 指定内存工作进程数与每进程分配量、--hdd 与 --hdd-bytes 指定文件写入压力、--timeout 限定时长、--metrics-brief 输出各类压力的吞吐汇总。

关注指标:

  • CPU:--metrics-brief 输出的各类 bogo ops/s,用于与历史值对比;同时观察 vmstat 的 r 列与 us、sy 比例
  • 内存:分配与访问的吞吐,同时观察 vmstat 的 si、so;出现换页说明物理内存不足,此时结果不再反映内存带宽
  • 文件写入:写入吞吐与耗时,同时观察 iostat -x 1 的设备利用情况与测试目录所在分区的剩余空间

sysbench

sysbench cpu --cpu-max-prime=20000 --threads=4 --time=60 run
sysbench memory --memory-block-size=1M --memory-total-size=10G --threads=4 --time=60 run
  • CPU:关注 events per second;随线程数变化得到的扩展性曲线比单点值更有意义,曲线在某一线程数后不再上升说明核数之外的因素成为瓶颈
  • 内存:关注 transferred 与吞吐(MiB/sec);块大小不同结果不可比较
  • 线程数应与容器的 CPU 限额、进程的线程模型匹配,否则测得的不是业务实际使用的形态

容器或 cgroup 限额下的差异

  1. 容器内 nproc 反映的是可见 CPU 数,受 CPU 亲和性与 cgroup 限制影响,与宿主机核数不同,比较前先确认
  2. cpu.max 限流后,压测进程被周期性限制,吞吐低于按核数计算的结果;核对方式:
cat /sys/fs/cgroup/cpu.stat
# nr_throttled 与 throttled_usec 增长说明被限流
  1. 达到 memory.max 会先触发回收,压力继续上升则触发容器内 OOM;压测进程被终止表现为退出码 137,此时数据无效
  2. 内存回收压力可用 /proc/pressure/memory 观察,其 some 与 full 行的平均值反映等待回收造成的时间占比
  3. 结论边界:容器内的压测结论只对该限额有效,作为原生部署的容量依据时需要按资源比例换算,机制说明参见 ../memoryManagement/memory_management.html

3.3 网络与应用层压测

网络带宽与时延

iperf3 -s
iperf3 -c 10.0.0.12 -t 30 -P 4
iperf3 -c 10.0.0.12 -u -b 1G -t 30 --json
  • 参数含义、sender 与 receiver 速率差异的判读、反向测试与端口放行要求参见 ../network/network_diagnosis_and_remote_connection.html 的 iperf3 小节,以及 ../network/network.html 的带宽与压测小节,本节不重复
  • 压测期间需同时记录 CPU 占用:单个 CPU 的软中断占比高说明收包处理成为瓶颈,而非链路带宽不足
  • 时延与抖动使用 UDP 模式观察,丢包率非零说明链路或端侧缓冲区不足;TCP 模式下丢包表现为吞吐下降与重传增加
  • 归档时使用 --json 输出,便于与其他轮次做数值对比

应用层压测:wrk 与 ab

wrk -t4 -c200 -d60s --latency -H "Host: api.example.com" http://10.0.0.11:8080/api/items
ab -n 20000 -c 200 -k http://10.0.0.11:8080/api/items

并发模型与适用场景:

工具 并发模型 连接方式 适用
wrk 少量线程配合事件驱动,每线程独立事件循环 默认长连接 高并发、长连接、需要延迟分位
wrk 支持脚本定义请求与统计 可定制 需要参数化请求与自定义统计
ab 单线程发出并发请求 需 -k 才启用长连接 快速校验、低并发、结果字段直观

判读要点:

  1. wrk 输出中的 Latency 与 Req/Sec 两组统计,前者为延迟分位,后者为各采样窗口的吞吐分布(含标准差);标准差大说明吞吐不稳定
  2. wrk 输出中的 Socket errors 非零说明存在连接失败或超时,此时吞吐数据不可用
  3. ab 输出中的 Requests per second 为吞吐,Time per request 有两个口径:按请求计的均值与除以并发数后的均值,两者含义不同容易误读
  4. ab 输出的 Percentage of the requests served within a certain time 为延迟分位表,Failed requests 需与非零项对照确认失败类型
  5. ab 为单线程实现,高并发下压测端自身可能成为瓶颈,表现为压测机 CPU 满载而目标服务未饱和

长连接与短连接的差别

维度 长连接 短连接
建连开销 摊销到多次请求,吞吐更高 每次请求都需握手,吞吐更低
延迟 省去握手与慢启动,首字节延迟低 多一次往返,延迟更高
端口占用 占用少,连接可复用 消耗临时端口,可能耗尽
状态残留 连接池需管理超时与失效 产生 TIME_WAIT 堆积,占用端口与内存

两种连接方式对应不同的业务形态(内部服务调用多为长连接,外部接口调用可能为短连接),需分别测试并分别建立基线。短连接压测需同时观察 ss -s 的 timewait 数量与临时端口范围。

客户端瓶颈识别

压测结果偏低时,先排除压测端自身限制:

  1. 压测机 CPU 满载:按核查看,避免只看整体平均值
  2. 临时端口耗尽或 TIME_WAIT 堆积:
ss -s
sysctl net.ipv4.ip_local_port_range net.ipv4.tcp_tw_reuse
  1. 客户端文件描述符上限:
ulimit -n
  1. 客户端带宽与网卡队列:
sar -n DEV 1 3
ip -s link show
  1. 压测客户端与目标在同一主机:回环路径不经过真实网卡与链路,结果不可用于网络容量判断

出现上述任一情况时,测得的吞吐上限是客户端能力而非服务端能力,处理方式是增加压测节点、降低单节点压力或改为分布式压测。

高危 提醒:压测会对目标系统施加超出日常的负载,可能造成真实业务不可用或生产数据被破坏。示例:对生产数据库执行写类压测会写入大量测试数据并可能写满磁盘;把高并发压测直接指向生产入口会占用全部连接与带宽,使真实用户请求超时或被拒绝;stress-ng --vm 未限定分配量时会按可用内存比例申请,触发 OOM Killer 终止业务进程;在阵列重建期间压测会同时延长重建窗口。兜底方式:

  1. 压测优先在独立环境执行;必须在生产执行时选择低峰时段,并对目标做隔离(独立入口、独立实例或独立数据集)
  2. 用资源上限约束压测进程,避免影响其他进程:
systemd-run --property=MemoryMax=2G --property=CPUQuota=100% --unit=bench \
  fio --name=seq-read --filename=./fio-seq-read.bin --size=8G --rw=read --bs=1M \
  --ioengine=libaio --iodepth=16 --direct=1 --runtime=120 --time_based --group_reporting
  1. 所有压测命令加 --timeout、--runtime 或 timeout 前缀,避免失控运行
  2. 写类压测只在测试数据集上执行;生产环境优先只读压测
  3. 压测前确认监控与告警可见,压测中持续观察业务错误率与延迟,越界立即停止
  4. 预设停止方式:终止压测进程、摘除压测入口;停止后核对磁盘空间、连接状态与数据一致性
  5. 压测产生的数据与中间产物明确标记并安排清理,避免混入生产数据

3.4 基线采集流程

测试前环境确认清单

项目 记录内容 获取方式
硬件 CPU 型号与核数、内存容量、磁盘型号与固件版本 lscpu、free -h、lsblk、smartctl -i
存储栈 是否经过 RAID、LVM、加密;调度器与队列参数 lsblk、cat /sys/block/*/queue/scheduler、cat /sys/block/*/queue/nr_requests
文件系统 类型、挂载参数、预留比例、是否启用压缩或去重 findmnt、tune2fs -l
内核 版本与关键参数 uname -r、sysctl 关注项
网络 链路速率、拓扑、是否同机架 ip -br link、ethtool
虚拟化 是否虚拟化、CPU 特性、NUMA 分布 systemd-detect-virt、numactl -H
背景负载 确认无备份、阵列重建、日志轮转、扫描任务运行 systemctl list-timers、ps、iostat -x 1
资源上限 是否受 cgroup 与 ulimit 限制 systemd-cgls、ulimit -a、/sys/fs/cgroup/cpu.stat

采集项

  1. 压测参数与工具版本号
  2. 压测工具自身输出,优先使用 json 便于对比
  3. 同期系统指标:iostat -x 1、vmstat 1、mpstat -P ALL 1、pidstat -d 1、sar -n DEV 1
  4. 应用侧指标:请求量、错误率、延迟分位、连接数、队列长度
  5. 内核日志中的异常记录:I/O 错误、OOM、丢包与重传

归档格式与命名

baseline-<主机名>-<YYYYMMDD>/
├── cmd.txt        压测命令行(逐条记录,含参数)
├── env.txt        环境确认清单的输出
├── result.json    压测工具输出
├── system.log     同期系统指标
└── notes.md       结论、异常与待确认项
  • 文件名包含时间戳,避免多轮测试互相覆盖
  • 目录整体归档到集中存储,与变更记录关联
  • 需要长期对比时,把关键指标提取为表格,一行一次测试,便于纵向比较

可控变量

  1. 同一设备、同一文件系统状态与挂载参数
  2. 缓存状态一致:统一使用直接 IO,或统一在预热之后测试
  3. 同一时段执行,避开备份、日志轮转、批量任务与业务高峰
  4. 一次只改一个变量,包括内核参数、调度器、应用配置与版本
  5. 每档参数先跑一轮预热,再跑三轮有效测量,取中位数作为结论
  6. 数据分布保持一致,包括数据量与内容特征,否则结果不可比

3.5 回归对比方法

同参数对比

命令行保持完全一致,只替换被验证的变量的取值。对比时同时给出两组的完整参数,避免"参数看起来一样但实际不同"。

差异阈值判定

以下数值为示例,实际阈值需由同配置多次测量的波动范围统计得出:

指标 视为噪声 视为回归
顺序吞吐 ±5% 以内 下降超过 5% 且超出历史波动范围
随机 IOPS ±10% 以内 下降超过 10%
平均延迟 ±10% 以内 上升超过 10%
P99 延迟 ±20% 以内 上升超过 20%,或最大值显著抬高
同吞吐下的资源用量 ±5% 以内 上升超过 5%
错误率 零误差 出现任何非零且可复现

阈值的作用是避免把测量噪声当作回归。阈值过紧会导致频繁误判,过松会漏掉真实退化。

异常波动的排查顺序

  1. 确认测试条件是否一致:缓存状态、背景负载、时段、数据分布
  2. 确认压测客户端是否成为瓶颈,识别方法见 3.3
  3. 确认是否有其他变更同时生效,包括内核、依赖服务与配置
  4. 重跑一轮确认是否可复现;单次异常不构成结论
  5. 仍无法解释时,保留原始输出并按未决项记录,等待下一轮复测确认

与变更记录的关联

每次回归对比记录变更单号、变更内容、生效时间与执行人。差异结论写入变更记录,形成"变更到影响"的可追溯链条。缺少这一关联时,性能退化往往在数周后才被发现,且无法定位到具体变更。

结论形式

以"参数与结果表格 + 差异百分比 + 判断"三部分给出。只给出一句结论(如"性能下降")无法支持后续决策,也无法核对。

3.6 瓶颈定位顺序

按资源到应用逐层排除,每层确认无异常后再进入下一层:

层次 检查内容 命令与判读详见
CPU 整体与单核使用率、上下文切换、中断、虚拟化抢占 ../processManagement/system_and_process_manage.html
内存 可用内存、换页活动、cgroup 限额、页缓存与 slab 构成 ../memoryManagement/memory_management.html、../base/page_cache_and_io_performance.html
磁盘 IOPS、吞吐、延迟与队列深度、调度器与设备参数 ../base/block_device_layer_and_io_scheduler.html、../fileSystem/disk_storage_and_file_system_operation.html
网络 带宽、丢包与重传、连接状态分布、协商速率与队列 ../network/network_diagnosis_and_remote_connection.html、../network/network.html
内核参数 文件描述符上限、连接队列、回写参数、内存回收参数 ../processManagement/system_and_process_manage.html
应用配置 线程数与连接池、超时设置、日志级别、序列化与批处理策略 应用自身文档与配置

顺序原则:

  1. 先判断资源是否饱和,再判断资源配置是否受限,最后判断应用实现
  2. 上一层的空闲资源是下一层的处理能力上限。CPU 空闲而吞吐上不去,说明瓶颈不在计算,应转向等待类原因(锁、下游、队列)
  3. 定位结论必须能被一次测量证实:把怀疑项单独加压使其成为唯一瓶颈,观察指标是否按预期变化
  4. 观察到的等待类型决定下一步方向:iowait 高指向磁盘,软中断高指向网络收包,上下文切换异常高指向锁竞争

3.7 容量模型与扩容决策

按业务指标换算资源需求的步骤

  1. 明确业务指标与换算关系:日均请求量、峰值 QPS(峰值与均值之比)、单请求的平均与峰值资源消耗
  2. 由压测得到单实例容量:单位资源(每核、每 GB 内存)可承载的吞吐,以及在该吞吐下可接受的延迟分位
  3. 计算实例数:峰值 QPS ÷ 单实例可承载 QPS,向上取整
  4. 换算存储与网络:
  • 磁盘容量 = 日均新增数据量 × 保留周期 × 副本数 + 系统与日志占用
  • 磁盘 IOPS 需求 = 每秒写入请求数 × 单次写入大小 ÷ 设备单次可处理量;写入带宽需与实测的顺序或随机写能力对比
  • 网络带宽 = 峰值吞吐 × 单请求平均字节数
  1. 余量规划:
  • 峰值余量:按峰值 QPS 的 1.3 至 1.5 倍规划,覆盖突发与业务增长
  • 故障余量:单实例或单可用区故障时,剩余容量需仍能承载峰值,按 N+1 或按冗余要求确定
  • 存储余量:日志轮转、临时文件、快照、阵列重建所需空间另计,常规保留不低于 20%,容量规划步骤参见 linux: 监控与告警
  1. 写入容量文档:包含业务指标假设、单实例容量基线(含测试条件与日期)、换算公式、余量系数、扩容触发阈值(例如峰值水位持续 15 分钟超过 70% 时启动扩容)
  2. 复核:扩容后按相同压测条件复测单实例容量,与文档对比;不一致时更新文档而不是沿用旧值

常见偏差

  • 单实例容量随数据量变化:数据量增长会导致索引层级变深、缓存命中率下降,同一实例在不同数据量下的容量不同,容量模型需要按数据量分档
  • 单实例容量随依赖变化:接入新的下游服务后,瓶颈可能从本机资源转移到下游响应时间
  • 使用测试环境的容量直接推算生产:环境差异的六项影响因素见 2.4

3.8 常见误区

误区 表现 识别与纠正
用缓存命中结果代表真实 IO 顺序读测出接近内存带宽的数值,写入测出远超设备能力的吞吐 测得的带宽明显超过设备或链路理论上限即需怀疑;确认是否使用直接 IO 或是否已清缓存,机制参见 ../base/page_cache_and_io_performance.html
忽略客户端瓶颈 服务端资源未饱和但吞吐上不去 检查压测机 CPU、端口、fd 上限与带宽,方法见 3.3
单次测试下结论 结论无法复现,换时段结果不同 每档参数至少三轮有效测量取中位数,剔除预热轮
测试数据分布失真 结果明显优于生产表现 测试数据需贴近真实分布:热点比例、字段长度、删除与更新比例、读写比例
混用不同口径的指标 把工具的平均值与监控的 P95 直接对比 统一口径与单位,注明每个数值的来源与统计窗口
只测单点负载 只有一个并发数,无法判断饱和点 按并发或速率分层测试,得到吞吐与延迟随压力变化的曲线
忽略存储栈差异 跨机型结论不可比 记录加密、条带、副本、刷盘策略与调度器设置
用压测结果替代生产监控 容量文档与实际表现长期不符 压测给出特定条件下的容量,生产以监控与错误预算为准,参见 linux: 监控与告警

四、总结

  • 基线的作用是提供参照:判定是否偏离常态、支撑回归对比、作为容量模型的输入,缺少基线的性能判断只能依赖经验
  • 性能指标需成套出现:吞吐必须与资源用量一起看,延迟必须给分位数而不只给平均值,并发需与延迟和错误率共同解释
  • 压测分基准、负载、压力、稳定性四类,稳定性测试不可用短时压测替代;压测结果只用于同环境内的对比与容量估算
  • 磁盘压测的核心是参数组合与缓存控制:块大小决定测吞吐还是测 IOPS,direct 决定测设备还是测缓存,队列深度决定是否打满设备
  • CPU 与内存压测需注意容器与 cgroup 限额的影响,结论只对该限额有效
  • 应用层压测需区分长连接与短连接,并先排除压测客户端自身的瓶颈
  • 基线采集要求环境可确认、指标可采集、归档可检索、变量可控;归档目录固定为命令行、环境、结果、系统指标与结论五类文件
  • 回归对比只改一个变量,差异阈值来自历史波动统计;结论与变更记录关联,形成可追溯链条
  • 瓶颈定位按 CPU、内存、磁盘、网络、内核参数、应用配置的顺序推进,先判断饱和再判断配置
  • 容量模型由业务指标出发换算资源需求,包含峰值余量、故障余量与存储余量,扩容易后需复测并更新文档
  • 常见误区集中在缓存放大、客户端瓶颈、单次结论、数据分布失真与方法口径不一致五处,规避手段是固定条件与记录来源
  • 压测数据与巡检、告警配合使用:压测给出容量边界,巡检发现趋势漂移,告警在越界时介入,三者参见 linux: 巡检与健康检查 与 linux: 监控与告警