内容总览
一、起源
1.1 并发连接的规模压力
Web 服务器需要同时保持的连接数取决于正在传输请求与响应的会话数量,而不是每秒请求数。连接的存在时间由客户端网络质量、请求体大小与后端处理时长共同决定,一个网络缓慢的客户端会长时间占用服务器侧资源。
连接规模上升后,压力并不只出现在带宽或 CPU 上,而是分布在三个位置:
| 压力位置 | 产生原因 | 表现形式 |
|---|---|---|
| 内存 | 每个连接都需要独立的缓冲区与状态结构 | 连接数上升后内存占用线性增长,无法靠增加 CPU 缓解 |
| 调度开销 | 可运行实体数量超过 CPU 核心数 | 内核在实体之间切换的频率上升,CPU 时间被切走 |
| 连接建立与销毁 | 连接生命周期包含握手、分配、回收 | 短连接场景下单位时间内的建立次数决定这部分开销 |
1.2 每连接一个执行单元的三项成本
以进程或线程作为连接处理单元时,上述压力会直接转化为成本。
- 内存成本:进程与线程都需要各自的栈与内核数据结构,栈的预留大小通常在兆字节量级,大量空闲连接也会按此规模占用内存(准确规模受系统参数影响,见 linux: 内存管理)。
- 调度成本:可运行实体数超过核心数后,内核需要按时间片轮转,切换过程本身消耗 CPU,且换入的实体往往只是继续等待数据。
- 同步成本:多个执行单元共享连接表、缓存与配置等结构时,需要加锁保护;锁竞争随实体数量上升而加剧,成为新的瓶颈。
阻塞式读取是这些成本的共同来源:执行单元在等待客户端数据或后端响应时无法做其他事,只能让出 CPU 或休眠,而休眠后的唤醒又需要一次调度。
1.3 需要回答的三个问题
要把连接规模从数百提升到数千以上,模型必须回答三个问题:
- 如何在一个执行单元内同时等待大量连接上的事件,而不是为每个连接持有一个等待者。
- 如何把"连接的存在"与"执行单元的存在"解耦,使空闲连接不占用调度资源(连接数与进程数不再绑定)。
- 如何在多核环境下扩展,同时不引入共享状态带来的锁竞争。
1.4 取舍
异步非阻塞模型解决了资源占用问题,代价转移到了别处:
- 代码复杂度上升:一次请求的处理被拆成多个回调点,无法用顺序书写的阻塞调用表达。
- 任何阻塞操作都会拖垮整个进程:在 worker 内执行阻塞式系统调用或耗时计算,会暂停该进程上所有连接的处理。
- 调试与排障路径变化:问题不再表现为"某个线程卡住",而是表现为响应延迟整体抬升或事件循环停滞。
因此 Nginx 的模型约束不只是实现细节,也是使用约束:配置中不应出现会让 worker 阻塞的操作。
二、原理
2.1 master 与 worker 的职责划分
Nginx 启动后形成一个 master 进程与若干个 worker 进程,另有在启用缓存时出现的 cache manager 与 cache loader。
| 进程 | 职责 | 数量 |
|---|---|---|
| master | 读取并校验配置、绑定监听端口、创建与回收 worker、接收管理信号、处理平滑升级 | 1 |
| worker | 接收连接、解析请求、执行阶段、转发到后端、写日志 | 由 worker_processes 决定 |
| cache manager | 按 inactive 与 max_size 淘汰缓存文件,维护缓存索引 | 0 或 1 |
| cache loader | 启动时扫描缓存目录,把已有缓存文件的元信息载入共享内存 | 0 或 1 |
职责这样划分的原因:
- 端口绑定由 master 完成,worker 通过继承已打开的监听套接字获得接收能力,因此 worker 的增减不需要重新绑定端口,也不会出现端口争抢。
- 每个 worker 独立持有自己的连接、缓冲区与事件循环,彼此之间不共享运行期状态;请求处理路径上不需要跨进程加锁,这是多进程模型优于多线程模型的关键点。
- 单个 worker 异常退出只影响其正在处理的连接,其余 worker 继续服务;master 检测到 worker 退出后会拉起新的 worker。
- 进程隔离的代价是共享数据必须放在共享内存区,例如限流计数、SSL 会话缓存、缓存索引、连接数统计都依赖
*_zone形式的共享内存。
cache loader 单独存在的原因是:缓存目录的元信息存放在共享内存中,进程重启后共享内存为空,必须扫描磁盘重建索引;若在 worker 内同步扫描,启动阶段会被阻塞。缓存机制细节见 Nginx 缓存机制与实践。
2.2 事件驱动与 IO 多路复用
单个 worker 能承载数千连接,依靠的是「一个事件循环 + 非阻塞套接字 + IO 多路复用」。
- 多路复用:
epoll让一个系统调用同时等待多个套接字上的可读、可写事件。与select、poll的差别在于,epoll把关注的套接字集合保存在内核中,每次调用只返回就绪项,因此等待成本不随监听的连接数线性上升。 - 非阻塞套接字:读写调用在无数据可读或缓冲区满时立即返回,事件循环据此决定把该连接重新放回等待状态,而不是阻塞在调用上。
- 事件循环:worker 反复执行「取得就绪事件 -> 处理 -> 注册下一次关注的事件」。处理过程不会等待数据到达,而是把等待交给下一轮多路复用。
连接在模型中表现为一份状态结构,而不是一个执行单元:
连接状态:读请求头 -> 读请求体 -> 处理 -> 写响应 -> 关闭或复用
每个状态只在对应事件就绪时被推进一次,推进过程不产生阻塞
需要在配置与运维层面注意两点:
worker_connections限制单个 worker 能同时保持的连接数,包含客户端连接与到后端的连接。总上限近似为worker_processes × worker_connections。- 一旦 worker 因磁盘 IO、慢速第三方服务或大文件同步读写而阻塞,该 worker 上的所有连接都会受影响;这也是不推荐在 Nginx 中承载业务逻辑的原因。
2.3 模块体系与指令归属
Nginx 的功能全部由模块提供,配置指令的可用位置由所属模块声明。
| 模块类别 | 作用 | 典型指令或模块 |
|---|---|---|
| 核心模块 | 进程、日志、事件模型、监听 | worker_processes、error_log、events、listen |
| HTTP 模块 | 请求解析、阶段调度、内容处理、过滤 | ngx_http_core_module、ngx_http_rewrite_module |
| 上游模块 | 到后端的转发与负载均衡 | proxy_pass、upstream |
| 过滤模块 | 对响应内容做变换 | gzip、sub_filter、charset |
| 四层模块 | TCP/UDP 转发 | stream、ngx_stream_proxy_module |
按处理角色又可细分:
- handler 模块:在 content 阶段产生响应(
proxy_pass、fastcgi_pass、index、autoindex)。 - filter 模块:在响应发送前处理内容(
gzip、add_header实际由 headers 过滤链完成)。 - upstream 模块:定义与后端通信的协议(HTTP、FastCGI、gRPC)。
- load-balancer 模块:定义后端选择算法(轮询、
ip_hash、least_conn)。
模块的引入方式有两种:
- 编译期模块:编译时通过
--with-*启用,缺失时对应指令直接不可用。 - 动态模块:编译为
.so,通过load_module在配置中加载,要求与主程序版本和编译参数兼容。
指令只能写在所属模块允许的上下文中,写错位置时 nginx -t 报 directive is not allowed here,这是判断指令归属的直接手段。
2.4 HTTP 请求的十一个处理阶段
HTTP 请求的处理被划分为若干阶段,各阶段按固定顺序执行,模块把处理逻辑注册到指定阶段。理解阶段顺序可以解释大量配置行为。
| 顺序 | 阶段 | 主要工作 | 典型模块或指令 |
|---|---|---|---|
| 1 | post-read | 读取并解析请求行与请求头 | real_ip 模块在此改写客户端地址 |
| 2 | server-rewrite | server 级重写 | server 块内的 rewrite、set |
| 3 | find-config | 依据 URI 选择 location | 内部完成,无对应指令 |
| 4 | rewrite | location 级重写 | location 内的 rewrite、set、if、return |
| 5 | post-rewrite | 重写后的收尾 | 重写导致 URI 变化时重新跳转到 find-config |
| 6 | preaccess | 访问前置处理 | limit_req、limit_conn |
| 7 | access | 访问控制 | allow、deny、auth_basic、auth_request |
| 8 | post-access | 访问后处理 | satisfy 控制 access 与 auth 的组合方式 |
| 9 | precontent | 内容产生前 | try_files、autoindex、random_index |
| 10 | content | 产生响应内容 | proxy_pass、fastcgi_pass、root + index |
| 11 | log | 写访问日志 | access_log |
阶段模型带来的三个直接结论:
- rewrite 类指令执行在 content 之前,因此
rewrite与return能够改变最终被选中的 location 与后端,而 content 阶段的 handler 一旦产生响应,后续 handler 不再执行;content 阶段具有互斥性。 - 访问控制与限流在 content 之前,因此被拒绝或限流的请求不会消耗后端资源。
if指令属于 rewrite 模块,其语义是在 rewrite 阶段创建一个嵌套的隐式 location;在if内写proxy_pass等 content 阶段指令会打乱阶段顺序,因此社区共识是"能不用if就不用",优先用map、try_files、return表达条件。
2.5 location 匹配流程
请求经过 find-config 阶段时,按以下顺序确定 location:
- 前缀匹配阶段:在由前缀 location 构成的树中查找最长匹配项,并记录该结果。
- 精确匹配:若存在
=修饰的完全相等项,直接采用并结束匹配。 - 最长前缀修饰符判定:若最长前缀项带有
^~,直接采用并结束匹配,不再进入正则阶段。 - 正则匹配阶段:按配置文件中出现的顺序依次尝试
~与~*项,第一个匹配成功者被采用。 - 回退:正则全部未命中时,采用第 1 步记录的最长前缀项。
由此得到两个容易出错的性质:
- 正则匹配与"最长前缀"无关,顺序决定结果;把更具体的正则写在前面会改变行为。
- 普通前缀匹配不会因为更长而覆盖正则结果,只有
^~或=才能阻止正则参与。
修饰符的写法与用法示例见 nginx 配置 第六章。
2.6 配置加载与平滑重载
执行 nginx -s reload 后,内部过程如下:
- master 读取配置并做语法与语义校验,校验失败时保留旧配置,正在服务的 worker 不受影响。
- 校验通过后 master 用新配置启动一批新 worker;新 worker 继承监听套接字,开始接收新连接。
- master 向旧 worker 发送退出信号。旧 worker 停止接收新连接,但会继续处理已经建立的连接,处理完毕后退出。
- 若旧 worker 在规定时间内未退出(受
worker_shutdown_timeout约束),会被强制终止。
这套流程让配置变更不需要中断服务,但有两点限制:
- 长连接会延长旧 worker 的生命周期,长轮询与 WebSocket 场景下旧 worker 可能长期驻留,表现为内存中同时存在两批 worker。
- 共享内存区在 reload 时按新配置重建,限流计数、缓存索引等运行期状态会被重置;需要保留状态时应使用
*_zone中不支持持久化的部分以外的手段,或接受重置。
二进制升级使用另一套信号组合:向 master 发送 USR2 生成新的 master 与 worker(旧进程的 PID 文件被重命名),确认新进程正常后向旧 master 发送 WINCH 令其旧 worker 退出,最后发送 QUIT 结束旧 master。
2.7 连接与共享内存
- 每个连接的内存开销由连接结构、读写缓冲区、请求头缓冲区共同构成;空闲长连接占用较小,但数量大时总量可观(长连接相关配置见 nginx 配置说明 第五章)。
- 共享内存区在配置解析阶段分配,大小固定,不能动态扩容。
limit_req_zone、limit_conn_zone、ssl_session_cache、proxy_cache_path的keys_zone都占用共享内存,配置中声明后即从进程地址空间中划出。
三、实现
3.1 进程模型配置与观察
# 全局块
worker_processes auto; # 通常等于 CPU 核心数
worker_rlimit_nofile 65535; # 提升单 worker 可打开的文件句柄上限
# 观察 master 与 worker
ps -eo pid,ppid,user,cmd | grep nginx
# 观察各 worker 的 CPU 占用是否均匀
top -p $(pgrep -d, nginx)
# 观察监听套接字由哪些进程持有
ss -tlnp | grep nginx
worker_processes 小于核心数会浪费 CPU,大于核心数会引入额外的调度开销。判断依据是 worker 的 CPU 占用是否均衡,而非配置值本身。
3.2 事件模型与编译参数核对
# 查看编译参数,确认事件模块与所需模块是否启用
nginx -V 2>&1 | tr ' ' '\n' | grep -E 'with-(epoll|select|http|stream|stub_status)|without'
# 查看版本
nginx -v
Linux 环境下应看到 --with-epoll(默认启用,通常不显式出现在参数中);select 仅用于跨平台兼容,高并发场景不使用。缺少 http_stub_status_module 时状态页不可用,需要在编译期补齐或改用日志指标。
3.3 动态模块加载
# 全局块,需在 events 之前
load_module modules/ngx_http_v2_module.so;
# 容器或系统包安装的模块目录
ls /usr/lib/nginx/modules/
ls /etc/nginx/modules-enabled/
# 校验模块与主程序版本是否匹配
nginx -t
模块版本或编译参数不匹配时,nginx -t 会在加载阶段报错并终止,属于启动即失败而非运行期故障。
3.4 阶段顺序的验证
阶段顺序可以通过对比不同指令的生效时点观察。
server {
listen 80;
server_name stage.example.com;
# 位于 server-rewrite 阶段
set $stage "server-rewrite";
location /stage/ {
# 位于 rewrite 阶段,可改写 URI 并触发重新选择 location
rewrite ^/stage/(.*)$ /target/$1 last;
# 位于 preaccess 阶段,先于 content 生效
limit_req zone=req_limit burst=5 nodelay;
# 位于 content 阶段
proxy_pass http://backend;
}
location /target/ {
return 200 "rewrite 已生效,当前阶段=$stage\n";
}
}
# 观察 rewrite 是否改变了最终 location
curl -s http://stage.example.com/stage/check
# 观察限流在 content 之前触发
for i in $(seq 1 20); do curl -s -o /dev/null -w "%{http_code}\n" http://stage.example.com/stage/check; done
last 与 break 的差别同样源于阶段模型:last 结束 rewrite 阶段并重新执行 find-config 选择 location,break 结束当前 location 的 rewrite 处理并继续后续阶段。
3.5 location 匹配的验证
server {
listen 80;
server_name match.example.com;
location / { return 200 "prefix /\n"; }
location /a/ { return 200 "prefix /a/\n"; }
location ^~ /a/b/ { return 200 "prefix ^~ /a/b/\n"; }
location ~ ^/a/b/c { return 200 "regex ^/a/b/c\n"; }
location = /a/b/c/exact { return 200 "exact\n"; }
}
# 逐条验证匹配结果,确认与预期一致
for p in / /a/1 /a/b/1 /a/b/c/1 /a/b/c/exact; do
printf '%-16s -> ' "$p"
curl -s "http://match.example.com$p"
done
验证时注意两点:^~ 命中后正则不再参与,因此 /a/b/1 走前缀项;精确匹配只对完全相等的 URI 生效,带参数不影响比较,但路径后多余的斜杠会影响。
3.6 平滑重载与升级
# 1. 校验配置,未通过时不要继续
nginx -t
# 2. 平滑重载,观察新旧 worker 的更替
nginx -s reload
watch -n1 'ps -eo pid,ppid,etime,cmd | grep nginx'
# 3. 确认旧 worker 已退出(长连接场景可能延迟)
ps -eo pid,ppid,etime,cmd | grep nginx
# 4. 需要限制旧 worker 的退出等待时间时,在配置中设置
# worker_shutdown_timeout 30s;
# 5. 二进制升级
# kill -USR2 $(cat /run/nginx.pid) # 启动新 master
# kill -WINCH $(cat /run/nginx.pid.oldbin) # 旧 worker 退出
# kill -QUIT $(cat /run/nginx.pid.oldbin) # 结束旧 master
重载失败时的定位顺序:先看 nginx -t 的输出,再看 error_log 中配置解析阶段的报错行号,最后确认新配置引用的文件、证书、目录是否存在且权限匹配。
3.7 认知误区对照
| 常见认知 | 实际情况 |
|---|---|
worker_processes 越大并发越高 | worker 数超过核心数只增加调度开销,不提升吞吐 |
worker_connections 就是最大用户数 | 该值包含到后端的连接,且受文件句柄与内核参数限制 |
| reload 会中断现有连接 | 旧 worker 处理完已建立连接后退出,新连接由新 worker 接收 |
| reload 后运行期状态保持不变 | 共享内存区重建,限流计数与缓存索引会重置 |
if 可以像编程语言一样使用 | if 创建嵌套隐式 location,语义受阶段模型约束,应优先使用 map、try_files |
| 加长前缀的 location 一定优先 | 普通前缀不覆盖正则结果,需要 ^~ 或 = |
四、总结
- 连接规模的压力分布在内存、调度与连接建立三处,阻塞式的"每连接一个执行单元"模型会在这三处同时放大成本。
- Nginx 把连接处理从执行单元中剥离:master 只做管理与端口绑定,worker 通过事件循环推进大量连接状态,连接数与进程数不再绑定。
- 多进程而非多线程的关键收益是请求路径上不需要跨进程加锁,代价是共享数据必须放入共享内存区,且大小固定。
- 模块决定指令的可用位置与处理角色,
nginx -t的directive is not allowed here通常指向指令与上下文不匹配。 - 十一个处理阶段解释了 rewrite、访问控制、限流、content、日志的先后关系,也解释了
if与last、break的行为边界。 - location 匹配是"最长前缀 + 正则顺序 + 修饰符短路"的组合,正则与前缀长短无关,只有
=与^~能阻止正则参与。 - 平滑重载的本质是新旧 worker 并行存在并交替退出,因此长连接会延长旧 worker 的驻留时间,共享内存状态会在重载后重置。