一、起源

1.1 一次请求的四段耗时

被代理的请求在时间上可拆为四段,各段的成因与优化手段不同恶女:

段 覆盖范围 观测变量 优化归属
客户端到 Nginx 建连、发送请求、接收响应 $request_time 减去其余段 网络、客户端、静态资源体积
Nginx 自身处理 解析、阶段执行、日志、压缩 $request_time 明显大于 $upstream_response_time 时的差值 配置、缓冲区、压缩、缓存
Nginx 到后端 建连、发送、等待响应 $upstream_response_time 后端性能、连接复用、超时
内核与资源 文件句柄、连接队列、端口、CPU 调度 系统指标 内核参数、资源上限

1.2 判定思路

定位顺序由"哪一段占主要时间"决定,而不是由参数直觉决定:

  1. 先用 $request_time 与 $upstream_response_time 的比较结果把范围缩小到客户端侧、Nginx 侧或后端侧。
  2. 再用状态页与系统指标判断是连接资源不足、文件句柄不足还是 CPU 饱和。
  3. 最后才调整参数,并以同样方式复测确认。

跳过前两步直接改参数,常见的后果是症状消失但原因仍在,或在流量上升后重新出现。

1.3 取舍

  • 缓冲换取内存:加大缓冲区可以减少磁盘临时文件与系统调用次数,代价是每个连接的内存占用上升。
  • 复用换取内存驻留:延长长连接超时提升复用率,代价是空闲连接长期占用内存与文件句柄。
  • 压缩换取 CPU:提高压缩级别减小传输量,代价是 CPU 占用上升;高压缩级别对已压缩内容无效。
  • 稳定换取吞吐:连接队列与超时放宽可以吸收突发,代价是故障时的连接堆积更难暴露。

二、原理

2.1 连接与文件句柄的三处上限

一个连接从建立到被处理,需要依次通过三层限制,任一层不足都会表现为连接失败或性能下降:

层次 参数或配置 不足时的表现
内核监听队列 net.core.somaxconn、net.ipv4.tcp_max_syn_backlog、listen 的 backlog 高并发建连时出现连接超时或握手丢弃
进程句柄上限 系统 nofile、worker_rlimit_nofile error_log 报 Too many open files,请求失败
Nginx 连接数上限 worker_connections error_log 报 worker_connections are not enough

三者的关系:

  • worker_connections 计数包含客户端连接与到后端的连接,因此反向代理场景下实际可服务的客户端数约为该值的一半。
  • 每个连接占用文件句柄,反向代理场景下还需为到后端的连接再占一个,因此 worker_rlimit_nofile 应显著大于 worker_connections,而不是相等。
  • 生效值取配置值与系统上限的较小者,系统 nofile 未提升时,配置中写再大的值也不生效。

2.2 进程与 CPU

  • worker_processes auto 依据可见 CPU 数设置;容器中若未限制 CPU 可见性,该值可能按宿主机核心数设置,导致进程数远超可用配额,需要显式指定。
  • worker_cpu_affinity 把 worker 绑定到固定核心,减少缓存失效与迁移开销;在容器或与其他服务共存的机器上使用绑定会与调度策略冲突,通常不启用。
  • listen ... reuseport; 让每个 worker 拥有独立的内核接收队列,避免多个 worker 争抢同一队列导致的唤醒竞争,替代了早期的 accept_mutex 机制。
  • multi_accept on; 让 worker 一次取出多个就绪连接,减少事件循环轮次,代价是单次处理时间变长。

2.3 网络与文件传输

指令或参数 作用 适用条件
sendfile on 绕过用户态拷贝直接把文件发送到套接字 静态文件、大文件传输;动态响应不受影响
tcp_nopush on 与 sendfile 配合,攒满一个报文再发送 大响应;小响应场景使延迟上升
tcp_nodelay on 立即发送小包,关闭 Nagle 算法 需要低延迟的交互式请求
open_file_cache 缓存文件句柄与元信息,减少 stat 调用 静态文件数量多、访问集中

tcp_nopush 与 tcp_nodelay 并非互斥:前者作用于响应头部与文件发送阶段,后者作用于 keepalive 上的小包,通常同时开启。

2.4 缓冲区与内存

响应处理过程中,若响应体超过缓冲区,Nginx 会写入磁盘临时文件,这在高并发下会带来明显的 IO 开销。

指令 作用对象 影响
client_header_buffer_size 请求头缓冲区 过小会导致更多请求使用大缓冲区,增加内存占用
large_client_header_buffers 大请求头缓冲区 单个头超过该值直接返回 414 或 400
client_body_buffer_size 请求体缓冲区 超过时写入临时文件;上传场景需相应放大
proxy_buffer_size 后端响应头缓冲区 过小会报 upstream sent too big header,表现为 502
proxy_buffers / proxy_busy_buffers_size 后端响应体缓冲区 总量不足时写临时文件
proxy_max_temp_file_size 临时文件上限 设为 0 表示禁止写临时文件,改为同步传输给客户端

proxy_buffering off; 会让响应边收边转发,降低磁盘占用但使后端连接被客户端速度拖住,仅在流式响应场景使用。

2.5 超时与长连接的双向作用

  • keepalive_timeout 延长会提升复用率、减少握手,但同时让空闲连接长期占用文件句柄与内存;空闲连接数接近 worker_connections 时,新连接会被拒绝。
  • keepalive_requests 限制单连接处理的最大请求数,用于防止单个连接长期占用;设置过大时连接上的内存不会释放,设置过小则复用收益下降。
  • client_header_timeout、client_body_timeout、send_timeout 过长会给慢速连接留出资源占用窗口,过短会中断正常慢速客户端。
  • reset_timedout_connection on; 让超时连接直接重置而不进入 FIN_WAIT,可减少处于中间状态的连接数量。

2.6 压缩与缓存的成本

  • gzip 降低传输量但消耗 CPU;gzip_comp_level 超过中等级别后压缩收益下降而 CPU 上升。
  • 对已压缩格式(图片、视频、压缩包)启用 gzip 只会消耗 CPU,应在 gzip_types 中排除。
  • gzip_static on; 优先使用预压缩文件,避免运行时压缩,代价是需要在构建阶段生成对应文件。
  • proxy_cache 把重复的后端计算转为磁盘读取,收益取决于命中率;命中率低时缓存只增加磁盘与内存开销(见 Nginx 缓存机制与实践)。

2.7 状态码与日志的关键字归因

error_log 中与上游相关的关键字直接指向故障位置:

关键字片段 含义 处置方向
connect() failed (111: Connection refused) 后端未监听或已退出 检查后端进程与端口
upstream timed out 读取响应超过 proxy_read_timeout 排查后端耗时或调大超时
upstream sent too big header 后端响应头超过缓冲区 调大 proxy_buffer_size 与 large_client_header_buffers
upstream prematurely closed connection 后端在响应完成前断开 检查后端崩溃、超时或协议不匹配
no live upstreams 所有实例被标记为不可用 检查健康状态与 max_fails 配置
worker_connections are not enough 连接数达到上限 调大 worker_connections 与句柄上限
Too many open files 进程句柄耗尽 提升系统 nofile 与 worker_rlimit_nofile
Cannot assign requested address 本地端口耗尽 检查 TIME_WAIT 数量与端口范围

常见状态码的归因:

状态码 含义 常见成因
499 客户端在响应返回前断开 客户端超时设置过短、页面跳转、后端过慢导致用户等待中断
502 网关错误 后端不可达、响应头过大、提前断开、协议错误
503 服务不可用 限流触发(默认状态码)、无可用后端
504 网关超时 后端处理超过 proxy_read_timeout
413 请求体过大 超过 client_max_body_size
414 URI 过长 请求头中 URI 超过 large_client_header_buffers
429 请求过多 配置了 limit_req_status 与 limit_conn_status

499 需要区分两种情形:Nginx 侧确认是客户端主动断开,但根本原因可能是后端响应慢导致客户端先超时,因此应结合 $upstream_response_time 一起判断。

2.8 分层排查方法

现象:部分请求变慢或失败
  |
  |-- 1. 看错误率与状态码分布:5xx 集中在哪一码
  |       |-- 502/504 -> 后端侧
  |       |-- 499      -> 客户端超时或后端过慢
  |       |-- 429      -> 限流阈值
  |
  |-- 2. 看 error_log:按 2.7 的关键字定位
  |
  |-- 3. 看状态页:accepts - handled 是否为正、waiting 是否逼近上限
  |
  |-- 4. 看系统指标:CPU、内存、句柄数、TIME_WAIT、磁盘 IO
  |
  |-- 5. 复现与复测:单点压测对比,确认调整有效

三、实现

3.1 性能基线配置

# 全局块
user  nginx;
worker_processes auto;              # 容器内按 CPU 配额显式指定
worker_rlimit_nofile 65535;         # 需与系统 nofile 一并提升

events {
    worker_connections 32768;        # 含到后端的连接,实际客户端数约减半
    multi_accept on;
}

http {
    sendfile    on;
    tcp_nopush  on;
    tcp_nodelay on;

    # 长连接:兼顾复用率与句柄占用
    keepalive_timeout   30s;
    keepalive_requests  1000;
    reset_timedout_connection on;

    # 请求侧边界
    client_header_buffer_size   8k;
    large_client_header_buffers 4 16k;
    client_body_buffer_size     128k;
    client_max_body_size        20m;
    client_header_timeout       15s;
    client_body_timeout         30s;
    send_timeout                30s;

    # 到后端的缓冲与超时
    proxy_buffer_size        16k;
    proxy_buffers            8 16k;
    proxy_busy_buffers_size  32k;
    proxy_connect_timeout    3s;
    proxy_send_timeout       30s;
    proxy_read_timeout       30s;

    # 静态文件的元信息缓存
    open_file_cache          max=10000 inactive=60s;
    open_file_cache_valid    60s;
    open_file_cache_min_uses 2;
    open_file_cache_errors   on;

    # 压缩:排除已压缩格式,级别取中等
    gzip              on;
    gzip_min_length   1024;
    gzip_comp_level   5;
    gzip_types        text/plain text/css application/json application/javascript application/xml text/javascript image/svg+xml;
    gzip_vary         on;
    gzip_static       on;          # 需编译时启用 --with-http_gzip_static_module

    # 状态页,仅本机可访问
    server {
        listen 127.0.0.1:8080;
        location /nginx_status {
            stub_status on;
            access_log off;
            allow 127.0.0.1;
            deny all;
        }
    }

    include /etc/nginx/conf.d/*.conf;
}

3.2 系统侧上限核对

# 进程当前生效的句柄上限
cat /proc/$(cat /run/nginx.pid)/limits | grep -i 'open files'
for p in $(pgrep nginx); do echo -n "$p "; grep -i 'open files' /proc/$p/limits; done | head

# 系统上限
ulimit -n
sysctl fs.file-max

# 监听队列与端口范围
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_max_syn_backlog
sysctl net.ipv4.ip_local_port_range
sysctl net.ipv4.tcp_tw_reuse

# 连接状态统计
ss -s
ss -ant | awk '{print $1}' | sort | uniq -c | sort -rn

# 端口耗尽风险:TIME_WAIT 数量与可用端口数对比
ss -ant state time-wait | wc -l

# 文件句柄占用 TOP 进程
lsof -nP 2>/dev/null | awk '{print $1}' | sort | uniq -c | sort -rn | head

需要提升上限时,除 sysctl 外还要确认服务管理器未覆盖配置:systemd 单元的 LimitNOFILE、容器运行时的 --ulimit 都会改变进程实际生效值。

3.3 压力测试

# wrk:多线程长连接压测,观察吞吐与延迟分布
wrk -t4 -c200 -d30s --latency http://127.0.0.1/

# 针对被代理接口,区分 Nginx 侧与后端侧耗时
wrk -t4 -c200 -d30s --latency http://127.0.0.1/api/ping

# ab:快速验证并发下的成功率与响应时间
ab -n 10000 -c 200 -k http://127.0.0.1/

# hey:输出状态码与延迟分布
hey -n 20000 -c 200 -m GET http://127.0.0.1/api/ping

# 压测期间同时采集系统指标
vmstat 1 10
sar -n DEV 1 10

压测要点:

  • 压测客户端与服务端不要在同一台机器,否则测的是本机资源竞争。
  • 先测静态资源确认 Nginx 自身上限,再测被代理接口确认后端上限,两者相减才能定位瓶颈。
  • 关注失败请求数与延迟分位,而不只看平均 QPS;平均值会掩盖尾部的超时。

3.4 观测

# 状态页关键比值
curl -s http://127.0.0.1:8080/nginx_status

# 活跃连接与空闲连接的分布(waiting 高说明长连接复用良好)
# accepts 与 handled 的差值长期为正说明存在连接建立失败

# 后端耗时与整体耗时的对比(需日志包含对应字段)
awk '{for(i=1;i<=NF;i++){if($i~/^rt=/)rt=substr($i,4); if($i~/^urt=/)urt=substr($i,5)} if(rt!="" && urt!="" && urt!="-"){d+=rt-urt; n++}} END {if(n>0) printf "nginx 侧平均耗时=%.4fs (%d 条)\n", d/n, n}' /var/log/nginx/access.log

# 慢请求 TOP
awk '{for(i=1;i<=NF;i++) if($i~/^rt=/){v=substr($i,4); if(v+0>1) print v, $7}}' /var/log/nginx/access.log | sort -rn | head -20

# 按后端实例统计响应时间与失败数
awk '{for(i=1;i<=NF;i++){if($i~/^ua=/)ua=substr($i,4); if($i~/^rt=/)rt=substr($i,4)} if(ua!="" && ua!="-"){s[ua]+=rt; c[ua]++}} END {for(k in s) printf "%s 平均=%.4fs 次数=%d\n", k, s[k]/c[k], c[k]}' /var/log/nginx/access.log

# 日志中与上游相关的错误归类
grep -oE 'upstream[^,]*|connect\(\) failed[^,]*|Too many open files|worker_connections are not enough|no live upstreams' /var/log/nginx/error.log | sort | uniq -c | sort -rn | head

3.5 典型故障处置

现象 首要核对 处置
高并发下大量请求超时,error_log 出现句柄报错 worker_rlimit_nofile 与系统 nofile 提升两处上限并 reload
连接被拒绝,accepts - handled 持续为正 worker_connections 与实际连接数 调大连接上限,确认长连接是否长期占用
突发流量下建连超时 somaxconn 与 listen backlog 提升内核队列并调整 backlog
后端偶发 Cannot assign requested address TIME_WAIT 数量与端口范围 扩大端口范围、开启 tcp_tw_reuse、启用后端长连接
502 且日志为 upstream sent too big header proxy_buffer_size 调大响应头缓冲区,同时检查后端是否返回了过大的头
504 且日志为 upstream timed out $upstream_response_time 分布 先排查后端耗时,再评估是否调整超时
大量 499 $upstream_response_time 是否接近 proxy_read_timeout 优化后端;确认客户端侧超时与网关超时是否过短
静态资源吞吐上不去 CPU 使用率与 gzip_comp_level 降低压缩级别、启用 gzip_static、检查 open_file_cache
内存持续增长不回落 长连接数量与 keepalive_timeout 缩短空闲超时,确认无连接泄漏
磁盘 IO 高且响应变慢 临时文件写入量与缓冲区大小 调大缓冲区或关闭缓冲(流式场景)

3.6 连接与内存异常排查

# 按状态统计连接,确认是否存在大量非活跃连接
ss -ant | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn

# 统计到后端的连接是否被复用(ESTABLISHED 数量应稳定而非持续增长)
ss -ant state established '( dport = :8080 )' | wc -l

# 确认 worker 数是否与配置一致,是否存在 reload 后未退出的旧 worker
ps -eo pid,ppid,etime,cmd | grep nginx

# 单个进程的内存占用(含共享内存区之外映射的私有内存)
ps -eo pid,rss,vsz,cmd | grep nginx

# nginx 的共享内存区为 mmap 匿名映射,不体现在 ipcs 中,用映射总量观察
pmap -x $(cat /run/nginx.pid) | tail -1

判断要点:

  • 旧 worker 长期驻留通常由长连接导致,核对 worker_shutdown_timeout 与业务连接类型。
  • 到后端的 ESTABLISHED 数量持续增长而不回落,说明连接未复用或存在泄漏,检查 upstream 的 keepalive 与 proxy_http_version。
  • 私有内存持续增长且不释放,优先检查是否启用了会产生大量并发子请求或大缓冲的功能。

3.7 容器环境差异

  • 文件句柄:容器默认 nofile 受运行时限制,需要 --ulimit nofile=65535:65535 或编排文件中对应字段,容器内改 ulimit 不生效。
  • 内核参数:sysctl 属于宿主机层面,容器内大多不可写;somaxconn 等需要在宿主机调整或使用运行时允许的 --sysctl 项。
  • CPU 可见性:worker_processes auto 可能按宿主机核心数设置,应按配额显式指定,并避免使用 worker_cpu_affinity。
  • 日志:容器内建议输出到标准输出由运行时管理,避免容器内文件持续增长(日志方案见 nginx 访问日志分析与在线监控 第五章)。
  • 配置校验:修改挂载的配置后先在容器内执行 nginx -t,再执行 nginx -s reload,步骤见 Nginx 服务管理常用命令。

3.8 调优核对清单

核对项 期望 核对方式
worker 数与 CPU 配额匹配 CPU 占用均衡且无空转 top -p $(pgrep -d, nginx)
句柄上限大于连接数上限 无句柄报错 /proc/<pid>/limits
连接数上限与业务峰值匹配 无 worker_connections are not enough 状态页与错误日志
状态页显示连接分布合理 waiting 占比高但未逼近上限 curl /nginx_status
后端长连接已启用 到后端连接数稳定 ss -ant state established
缓冲区未导致临时文件写入 响应过程无磁盘 IO 尖峰 iostat 与 proxy_max_temp_file_size
压缩配置合理 CPU 未因压缩显著上升 压缩级别与 gzip_static
超时配置与业务匹配 499 与 504 在可接受范围 状态码分布统计
资源上限已按容器或 systemd 调整 进程实际生效值符合预期 limits 文件与单元配置

四、总结

  1. 定位顺序是先划段再看指标最后调参:用 $request_time 与 $upstream_response_time 把范围缩小到客户端、Nginx 或后端,避免凭直觉改配置。
  2. 连接能力受内核队列、进程句柄、worker_connections 三层约束,且 worker_connections 包含到后端的连接,句柄上限应显著高于连接上限。
  3. worker_processes 应匹配可用 CPU,容器内需要显式指定;reuseport 用于替代多 worker 争抢同一接收队列的机制。
  4. sendfile 与 tcp_nopush 作用于文件传输,tcp_nodelay 作用于小包延迟,两者通常同时开启。
  5. 缓冲区不足会把响应写入磁盘临时文件,是响应变慢的常见隐藏原因;响应头缓冲区不足则直接表现为 502。
  6. 长连接与超时是双刃配置:延长提升复用率但占用句柄与内存,缩短释放资源但降低复用收益。
  7. 502 与 504 的区分应依赖 error_log 关键字:连接失败、响应头过大、后端提前断开、读取超时对应不同处置方向;499 需要结合后端耗时判断根因。
  8. 容器环境中句柄与内核参数由运行时与宿主机决定,容器内调整无效,需要从运行时与宿主机侧修正。