一、起源
1.1 一次请求的四段耗时
被代理的请求在时间上可拆为四段,各段的成因与优化手段不同恶女:
| 段 | 覆盖范围 | 观测变量 | 优化归属 |
|---|---|---|---|
| 客户端到 Nginx | 建连、发送请求、接收响应 | $request_time 减去其余段 | 网络、客户端、静态资源体积 |
| Nginx 自身处理 | 解析、阶段执行、日志、压缩 | $request_time 明显大于 $upstream_response_time 时的差值 | 配置、缓冲区、压缩、缓存 |
| Nginx 到后端 | 建连、发送、等待响应 | $upstream_response_time | 后端性能、连接复用、超时 |
| 内核与资源 | 文件句柄、连接队列、端口、CPU 调度 | 系统指标 | 内核参数、资源上限 |
1.2 判定思路
定位顺序由"哪一段占主要时间"决定,而不是由参数直觉决定:
- 先用
$request_time与$upstream_response_time的比较结果把范围缩小到客户端侧、Nginx 侧或后端侧。 - 再用状态页与系统指标判断是连接资源不足、文件句柄不足还是 CPU 饱和。
- 最后才调整参数,并以同样方式复测确认。
跳过前两步直接改参数,常见的后果是症状消失但原因仍在,或在流量上升后重新出现。
1.3 取舍
- 缓冲换取内存:加大缓冲区可以减少磁盘临时文件与系统调用次数,代价是每个连接的内存占用上升。
- 复用换取内存驻留:延长长连接超时提升复用率,代价是空闲连接长期占用内存与文件句柄。
- 压缩换取 CPU:提高压缩级别减小传输量,代价是 CPU 占用上升;高压缩级别对已压缩内容无效。
- 稳定换取吞吐:连接队列与超时放宽可以吸收突发,代价是故障时的连接堆积更难暴露。
二、原理
2.1 连接与文件句柄的三处上限
一个连接从建立到被处理,需要依次通过三层限制,任一层不足都会表现为连接失败或性能下降:
| 层次 | 参数或配置 | 不足时的表现 |
|---|---|---|
| 内核监听队列 | net.core.somaxconn、net.ipv4.tcp_max_syn_backlog、listen 的 backlog | 高并发建连时出现连接超时或握手丢弃 |
| 进程句柄上限 | 系统 nofile、worker_rlimit_nofile | error_log 报 Too many open files,请求失败 |
| Nginx 连接数上限 | worker_connections | error_log 报 worker_connections are not enough |
三者的关系:
worker_connections计数包含客户端连接与到后端的连接,因此反向代理场景下实际可服务的客户端数约为该值的一半。- 每个连接占用文件句柄,反向代理场景下还需为到后端的连接再占一个,因此
worker_rlimit_nofile应显著大于worker_connections,而不是相等。 - 生效值取配置值与系统上限的较小者,系统
nofile未提升时,配置中写再大的值也不生效。
2.2 进程与 CPU
worker_processes auto依据可见 CPU 数设置;容器中若未限制 CPU 可见性,该值可能按宿主机核心数设置,导致进程数远超可用配额,需要显式指定。worker_cpu_affinity把 worker 绑定到固定核心,减少缓存失效与迁移开销;在容器或与其他服务共存的机器上使用绑定会与调度策略冲突,通常不启用。listen ... reuseport;让每个 worker 拥有独立的内核接收队列,避免多个 worker 争抢同一队列导致的唤醒竞争,替代了早期的accept_mutex机制。multi_accept on;让 worker 一次取出多个就绪连接,减少事件循环轮次,代价是单次处理时间变长。
2.3 网络与文件传输
| 指令或参数 | 作用 | 适用条件 |
|---|---|---|
sendfile on | 绕过用户态拷贝直接把文件发送到套接字 | 静态文件、大文件传输;动态响应不受影响 |
tcp_nopush on | 与 sendfile 配合,攒满一个报文再发送 | 大响应;小响应场景使延迟上升 |
tcp_nodelay on | 立即发送小包,关闭 Nagle 算法 | 需要低延迟的交互式请求 |
open_file_cache | 缓存文件句柄与元信息,减少 stat 调用 | 静态文件数量多、访问集中 |
tcp_nopush 与 tcp_nodelay 并非互斥:前者作用于响应头部与文件发送阶段,后者作用于 keepalive 上的小包,通常同时开启。
2.4 缓冲区与内存
响应处理过程中,若响应体超过缓冲区,Nginx 会写入磁盘临时文件,这在高并发下会带来明显的 IO 开销。
| 指令 | 作用对象 | 影响 |
|---|---|---|
client_header_buffer_size | 请求头缓冲区 | 过小会导致更多请求使用大缓冲区,增加内存占用 |
large_client_header_buffers | 大请求头缓冲区 | 单个头超过该值直接返回 414 或 400 |
client_body_buffer_size | 请求体缓冲区 | 超过时写入临时文件;上传场景需相应放大 |
proxy_buffer_size | 后端响应头缓冲区 | 过小会报 upstream sent too big header,表现为 502 |
proxy_buffers / proxy_busy_buffers_size | 后端响应体缓冲区 | 总量不足时写临时文件 |
proxy_max_temp_file_size | 临时文件上限 | 设为 0 表示禁止写临时文件,改为同步传输给客户端 |
proxy_buffering off; 会让响应边收边转发,降低磁盘占用但使后端连接被客户端速度拖住,仅在流式响应场景使用。
2.5 超时与长连接的双向作用
keepalive_timeout延长会提升复用率、减少握手,但同时让空闲连接长期占用文件句柄与内存;空闲连接数接近worker_connections时,新连接会被拒绝。keepalive_requests限制单连接处理的最大请求数,用于防止单个连接长期占用;设置过大时连接上的内存不会释放,设置过小则复用收益下降。client_header_timeout、client_body_timeout、send_timeout过长会给慢速连接留出资源占用窗口,过短会中断正常慢速客户端。reset_timedout_connection on;让超时连接直接重置而不进入FIN_WAIT,可减少处于中间状态的连接数量。
2.6 压缩与缓存的成本
gzip降低传输量但消耗 CPU;gzip_comp_level超过中等级别后压缩收益下降而 CPU 上升。- 对已压缩格式(图片、视频、压缩包)启用 gzip 只会消耗 CPU,应在
gzip_types中排除。 gzip_static on;优先使用预压缩文件,避免运行时压缩,代价是需要在构建阶段生成对应文件。proxy_cache把重复的后端计算转为磁盘读取,收益取决于命中率;命中率低时缓存只增加磁盘与内存开销(见 Nginx 缓存机制与实践)。
2.7 状态码与日志的关键字归因
error_log 中与上游相关的关键字直接指向故障位置:
| 关键字片段 | 含义 | 处置方向 |
|---|---|---|
connect() failed (111: Connection refused) | 后端未监听或已退出 | 检查后端进程与端口 |
upstream timed out | 读取响应超过 proxy_read_timeout | 排查后端耗时或调大超时 |
upstream sent too big header | 后端响应头超过缓冲区 | 调大 proxy_buffer_size 与 large_client_header_buffers |
upstream prematurely closed connection | 后端在响应完成前断开 | 检查后端崩溃、超时或协议不匹配 |
no live upstreams | 所有实例被标记为不可用 | 检查健康状态与 max_fails 配置 |
worker_connections are not enough | 连接数达到上限 | 调大 worker_connections 与句柄上限 |
Too many open files | 进程句柄耗尽 | 提升系统 nofile 与 worker_rlimit_nofile |
Cannot assign requested address | 本地端口耗尽 | 检查 TIME_WAIT 数量与端口范围 |
常见状态码的归因:
| 状态码 | 含义 | 常见成因 |
|---|---|---|
| 499 | 客户端在响应返回前断开 | 客户端超时设置过短、页面跳转、后端过慢导致用户等待中断 |
| 502 | 网关错误 | 后端不可达、响应头过大、提前断开、协议错误 |
| 503 | 服务不可用 | 限流触发(默认状态码)、无可用后端 |
| 504 | 网关超时 | 后端处理超过 proxy_read_timeout |
| 413 | 请求体过大 | 超过 client_max_body_size |
| 414 | URI 过长 | 请求头中 URI 超过 large_client_header_buffers |
| 429 | 请求过多 | 配置了 limit_req_status 与 limit_conn_status |
499 需要区分两种情形:Nginx 侧确认是客户端主动断开,但根本原因可能是后端响应慢导致客户端先超时,因此应结合 $upstream_response_time 一起判断。
2.8 分层排查方法
现象:部分请求变慢或失败
|
|-- 1. 看错误率与状态码分布:5xx 集中在哪一码
| |-- 502/504 -> 后端侧
| |-- 499 -> 客户端超时或后端过慢
| |-- 429 -> 限流阈值
|
|-- 2. 看 error_log:按 2.7 的关键字定位
|
|-- 3. 看状态页:accepts - handled 是否为正、waiting 是否逼近上限
|
|-- 4. 看系统指标:CPU、内存、句柄数、TIME_WAIT、磁盘 IO
|
|-- 5. 复现与复测:单点压测对比,确认调整有效
三、实现
3.1 性能基线配置
# 全局块
user nginx;
worker_processes auto; # 容器内按 CPU 配额显式指定
worker_rlimit_nofile 65535; # 需与系统 nofile 一并提升
events {
worker_connections 32768; # 含到后端的连接,实际客户端数约减半
multi_accept on;
}
http {
sendfile on;
tcp_nopush on;
tcp_nodelay on;
# 长连接:兼顾复用率与句柄占用
keepalive_timeout 30s;
keepalive_requests 1000;
reset_timedout_connection on;
# 请求侧边界
client_header_buffer_size 8k;
large_client_header_buffers 4 16k;
client_body_buffer_size 128k;
client_max_body_size 20m;
client_header_timeout 15s;
client_body_timeout 30s;
send_timeout 30s;
# 到后端的缓冲与超时
proxy_buffer_size 16k;
proxy_buffers 8 16k;
proxy_busy_buffers_size 32k;
proxy_connect_timeout 3s;
proxy_send_timeout 30s;
proxy_read_timeout 30s;
# 静态文件的元信息缓存
open_file_cache max=10000 inactive=60s;
open_file_cache_valid 60s;
open_file_cache_min_uses 2;
open_file_cache_errors on;
# 压缩:排除已压缩格式,级别取中等
gzip on;
gzip_min_length 1024;
gzip_comp_level 5;
gzip_types text/plain text/css application/json application/javascript application/xml text/javascript image/svg+xml;
gzip_vary on;
gzip_static on; # 需编译时启用 --with-http_gzip_static_module
# 状态页,仅本机可访问
server {
listen 127.0.0.1:8080;
location /nginx_status {
stub_status on;
access_log off;
allow 127.0.0.1;
deny all;
}
}
include /etc/nginx/conf.d/*.conf;
}
3.2 系统侧上限核对
# 进程当前生效的句柄上限
cat /proc/$(cat /run/nginx.pid)/limits | grep -i 'open files'
for p in $(pgrep nginx); do echo -n "$p "; grep -i 'open files' /proc/$p/limits; done | head
# 系统上限
ulimit -n
sysctl fs.file-max
# 监听队列与端口范围
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_max_syn_backlog
sysctl net.ipv4.ip_local_port_range
sysctl net.ipv4.tcp_tw_reuse
# 连接状态统计
ss -s
ss -ant | awk '{print $1}' | sort | uniq -c | sort -rn
# 端口耗尽风险:TIME_WAIT 数量与可用端口数对比
ss -ant state time-wait | wc -l
# 文件句柄占用 TOP 进程
lsof -nP 2>/dev/null | awk '{print $1}' | sort | uniq -c | sort -rn | head
需要提升上限时,除 sysctl 外还要确认服务管理器未覆盖配置:systemd 单元的 LimitNOFILE、容器运行时的 --ulimit 都会改变进程实际生效值。
3.3 压力测试
# wrk:多线程长连接压测,观察吞吐与延迟分布
wrk -t4 -c200 -d30s --latency http://127.0.0.1/
# 针对被代理接口,区分 Nginx 侧与后端侧耗时
wrk -t4 -c200 -d30s --latency http://127.0.0.1/api/ping
# ab:快速验证并发下的成功率与响应时间
ab -n 10000 -c 200 -k http://127.0.0.1/
# hey:输出状态码与延迟分布
hey -n 20000 -c 200 -m GET http://127.0.0.1/api/ping
# 压测期间同时采集系统指标
vmstat 1 10
sar -n DEV 1 10
压测要点:
- 压测客户端与服务端不要在同一台机器,否则测的是本机资源竞争。
- 先测静态资源确认 Nginx 自身上限,再测被代理接口确认后端上限,两者相减才能定位瓶颈。
- 关注失败请求数与延迟分位,而不只看平均 QPS;平均值会掩盖尾部的超时。
3.4 观测
# 状态页关键比值
curl -s http://127.0.0.1:8080/nginx_status
# 活跃连接与空闲连接的分布(waiting 高说明长连接复用良好)
# accepts 与 handled 的差值长期为正说明存在连接建立失败
# 后端耗时与整体耗时的对比(需日志包含对应字段)
awk '{for(i=1;i<=NF;i++){if($i~/^rt=/)rt=substr($i,4); if($i~/^urt=/)urt=substr($i,5)} if(rt!="" && urt!="" && urt!="-"){d+=rt-urt; n++}} END {if(n>0) printf "nginx 侧平均耗时=%.4fs (%d 条)\n", d/n, n}' /var/log/nginx/access.log
# 慢请求 TOP
awk '{for(i=1;i<=NF;i++) if($i~/^rt=/){v=substr($i,4); if(v+0>1) print v, $7}}' /var/log/nginx/access.log | sort -rn | head -20
# 按后端实例统计响应时间与失败数
awk '{for(i=1;i<=NF;i++){if($i~/^ua=/)ua=substr($i,4); if($i~/^rt=/)rt=substr($i,4)} if(ua!="" && ua!="-"){s[ua]+=rt; c[ua]++}} END {for(k in s) printf "%s 平均=%.4fs 次数=%d\n", k, s[k]/c[k], c[k]}' /var/log/nginx/access.log
# 日志中与上游相关的错误归类
grep -oE 'upstream[^,]*|connect\(\) failed[^,]*|Too many open files|worker_connections are not enough|no live upstreams' /var/log/nginx/error.log | sort | uniq -c | sort -rn | head
3.5 典型故障处置
| 现象 | 首要核对 | 处置 |
|---|---|---|
高并发下大量请求超时,error_log 出现句柄报错 | worker_rlimit_nofile 与系统 nofile | 提升两处上限并 reload |
连接被拒绝,accepts - handled 持续为正 | worker_connections 与实际连接数 | 调大连接上限,确认长连接是否长期占用 |
| 突发流量下建连超时 | somaxconn 与 listen backlog | 提升内核队列并调整 backlog |
后端偶发 Cannot assign requested address | TIME_WAIT 数量与端口范围 | 扩大端口范围、开启 tcp_tw_reuse、启用后端长连接 |
502 且日志为 upstream sent too big header | proxy_buffer_size | 调大响应头缓冲区,同时检查后端是否返回了过大的头 |
504 且日志为 upstream timed out | $upstream_response_time 分布 | 先排查后端耗时,再评估是否调整超时 |
| 大量 499 | $upstream_response_time 是否接近 proxy_read_timeout | 优化后端;确认客户端侧超时与网关超时是否过短 |
| 静态资源吞吐上不去 | CPU 使用率与 gzip_comp_level | 降低压缩级别、启用 gzip_static、检查 open_file_cache |
| 内存持续增长不回落 | 长连接数量与 keepalive_timeout | 缩短空闲超时,确认无连接泄漏 |
| 磁盘 IO 高且响应变慢 | 临时文件写入量与缓冲区大小 | 调大缓冲区或关闭缓冲(流式场景) |
3.6 连接与内存异常排查
# 按状态统计连接,确认是否存在大量非活跃连接
ss -ant | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn
# 统计到后端的连接是否被复用(ESTABLISHED 数量应稳定而非持续增长)
ss -ant state established '( dport = :8080 )' | wc -l
# 确认 worker 数是否与配置一致,是否存在 reload 后未退出的旧 worker
ps -eo pid,ppid,etime,cmd | grep nginx
# 单个进程的内存占用(含共享内存区之外映射的私有内存)
ps -eo pid,rss,vsz,cmd | grep nginx
# nginx 的共享内存区为 mmap 匿名映射,不体现在 ipcs 中,用映射总量观察
pmap -x $(cat /run/nginx.pid) | tail -1
判断要点:
- 旧 worker 长期驻留通常由长连接导致,核对
worker_shutdown_timeout与业务连接类型。 - 到后端的
ESTABLISHED数量持续增长而不回落,说明连接未复用或存在泄漏,检查 upstream 的keepalive与proxy_http_version。 - 私有内存持续增长且不释放,优先检查是否启用了会产生大量并发子请求或大缓冲的功能。
3.7 容器环境差异
- 文件句柄:容器默认
nofile受运行时限制,需要--ulimit nofile=65535:65535或编排文件中对应字段,容器内改ulimit不生效。 - 内核参数:
sysctl属于宿主机层面,容器内大多不可写;somaxconn等需要在宿主机调整或使用运行时允许的--sysctl项。 - CPU 可见性:
worker_processes auto可能按宿主机核心数设置,应按配额显式指定,并避免使用worker_cpu_affinity。 - 日志:容器内建议输出到标准输出由运行时管理,避免容器内文件持续增长(日志方案见 nginx 访问日志分析与在线监控 第五章)。
- 配置校验:修改挂载的配置后先在容器内执行
nginx -t,再执行nginx -s reload,步骤见 Nginx 服务管理常用命令。
3.8 调优核对清单
| 核对项 | 期望 | 核对方式 |
|---|---|---|
| worker 数与 CPU 配额匹配 | CPU 占用均衡且无空转 | top -p $(pgrep -d, nginx) |
| 句柄上限大于连接数上限 | 无句柄报错 | /proc/<pid>/limits |
| 连接数上限与业务峰值匹配 | 无 worker_connections are not enough | 状态页与错误日志 |
| 状态页显示连接分布合理 | waiting 占比高但未逼近上限 | curl /nginx_status |
| 后端长连接已启用 | 到后端连接数稳定 | ss -ant state established |
| 缓冲区未导致临时文件写入 | 响应过程无磁盘 IO 尖峰 | iostat 与 proxy_max_temp_file_size |
| 压缩配置合理 | CPU 未因压缩显著上升 | 压缩级别与 gzip_static |
| 超时配置与业务匹配 | 499 与 504 在可接受范围 | 状态码分布统计 |
| 资源上限已按容器或 systemd 调整 | 进程实际生效值符合预期 | limits 文件与单元配置 |
四、总结
- 定位顺序是先划段再看指标最后调参:用
$request_time与$upstream_response_time把范围缩小到客户端、Nginx 或后端,避免凭直觉改配置。 - 连接能力受内核队列、进程句柄、
worker_connections三层约束,且worker_connections包含到后端的连接,句柄上限应显著高于连接上限。 worker_processes应匹配可用 CPU,容器内需要显式指定;reuseport用于替代多 worker 争抢同一接收队列的机制。sendfile与tcp_nopush作用于文件传输,tcp_nodelay作用于小包延迟,两者通常同时开启。- 缓冲区不足会把响应写入磁盘临时文件,是响应变慢的常见隐藏原因;响应头缓冲区不足则直接表现为 502。
- 长连接与超时是双刃配置:延长提升复用率但占用句柄与内存,缩短释放资源但降低复用收益。
- 502 与 504 的区分应依赖
error_log关键字:连接失败、响应头过大、后端提前断开、读取超时对应不同处置方向;499 需要结合后端耗时判断根因。 - 容器环境中句柄与内核参数由运行时与宿主机决定,容器内调整无效,需要从运行时与宿主机侧修正。