内容总览
定位
面向 Java Web 与微服务开发场景,围绕进程与线程、内存管理、文件系统、网络模型四个内核子系统组织原理,结合开发与部署过程中的关联场景展开。内容止于逻辑层面的机制理解,不涉及硬件实现细节与内核代码级分析。
前置基础:架构分层
整体架构(自上而下)
| 层级 | 组成 | 作用 | 与开发的关联 |
|---|---|---|---|
| 应用层 | 应用程序、JVM、中间件 | 承载业务功能 | 启动参数、进程资源限制直接影响运行表现 |
| 系统调用层 | Syscall(fork、exec、read、write 等) | 应用与内核的接口 | JVM 通过系统调用完成进程创建、文件 IO、网络通信 |
| 内核层 | 进程管理、内存管理、文件系统、网络、IO 子系统 | 资源调度与隔离 | 决定程序的性能上限:线程调度、内存分配、网络模型选择 |
| 硬件抽象层 | 驱动程序、硬件接口 | 屏蔽硬件差异 | 开发关注内核对硬件的调度结果(磁盘 IO 性能、网卡中断分布),不直接操作驱动 |
| 硬件层 | CPU、内存、磁盘、网卡 | 物理资源 | 硬件规格影响调度策略,进而影响应用性能 |
内核核心子系统
Linux 内核为单内核架构,以模块化方式组合子系统。子系统之间通过三类结构联动:进程控制块(task_struct)管理执行主体;虚拟文件系统(VFS)统一各类文件与设备的访问接口;套接字(Socket)承载网络通信。
一、进程与线程
1. 起源
早期单道批处理系统一次执行一个任务,CPU 与 IO 串行运行,资源利用率低。为支持同一台机器同时执行多个任务,需要两类机制:
- 资源隔离:每个任务拥有独立的内存、文件、IO 配额,互不干扰。由此产生进程——资源分配的基本单位。
- 执行调度:多任务之间切换 CPU 使用权。若每次切换都换入换出完整资源空间,切换成本过高。由此产生线程——调度执行的基本单位,共享所属进程的资源,仅保留独立的栈与执行上下文。
2. 原理
进程与线程的内核定义
- 进程:资源分配基本单位。内核通过 task_struct(PCB)管理,包含独立地址空间、文件描述符表、信号处理、调度优先级等信息。
- 线程:调度执行基本单位,又称轻量级进程(LWP)。共享所属进程的地址空间与文件描述符,仅拥有独立栈、寄存器、程序计数器。
- Java 层的 Thread 在内核中对应一个 LWP;线程池即 LWP 的复用。
task_struct 关键字段
| 字段 | 含义 | 对应观察方式 |
|---|---|---|
| pid / tgid | 进程内线程 ID / 线程组 ID(即进程 ID) | jps 查看的 Java 进程 ID 对应 tgid;top -Hp 查看线程的 pid |
| state | 进程状态 | ps、top 状态列 |
| mm | 内存描述符 | 关联进程虚拟地址空间 |
| files | 文件描述符表 | 管理进程打开的文件与 Socket(进程凭证与身份模型详见用户与组管理) |
| task_group | 调度组 | 结合 nice 与 cgroup 调整调度权重 |
状态流转
核心状态链:新建 → 就绪 → 运行 → 阻塞 → 终止。
两种特殊状态:
- D(不可中断睡眠):等待磁盘 IO、网络 IO(如 NFS)时进入,信号无法唤醒。Java 进程出现大量 D 状态通常对应 IO 阻塞。
- Z(僵尸进程):进程退出后,父进程尚未调用 wait 回收 task_struct,PCB 残留。僵尸进程数量持续增长会耗尽内核可用 PID,导致无法创建新线程。
创建与销毁
创建流程:fork() 复制父进程的 PCB,形成子进程;随后 exec() 载入新的可执行镜像,替换子进程的地址空间与代码段。Shell 启动 java -jar 即按此流程执行。
销毁流程:进程退出(正常或异常)后向父进程发送 SIGCHLD 信号,父进程调用 wait 回收 PCB,资源彻底释放。
调度机制
Linux 默认使用 CFS(完全公平调度器),以公平分配 CPU 时间为目标。
| 调度策略 | 适用范围 |
|---|---|
| SCHED_OTHER | 普通进程默认策略。通过 nice 值(-20~19)调整权重,值越小权重越高。nice 与 cgroup 的调度权重与身份模型见权限模型。Java 进程默认使用。 |
| SCHED_FIFO | 实时策略,先进先出,无时间片。Java 场景极少使用,需通过 JNI 设置。 |
| SCHED_RR | 实时策略,时间片轮转。Java 场景极少使用,需通过 JNI 设置。 |
CFS 不固定时间片,通过 vruntime(虚拟运行时间)排序红黑树选择下一个运行的进程,vruntime 越低越优先调度。抢占触发时机包括:虚拟运行时间超过阈值、高权重进程进入就绪队列、进程主动放弃 CPU(如 sleep、IO 阻塞)。
进程间通信(IPC)
| 机制 | 原理 | 开发关联 |
|---|---|---|
| 管道(匿名、命名) | 基于文件系统的单向字节流 | ProcessBuilder 执行系统命令时通过匿名管道传输标准 IO |
| 信号 | 内核向进程发送的软中断 | kill 命令通过信号控制进程;Java 可注册 SignalHandler 处理除 SIGKILL/SIGSTOP 外的部分信号 |
| 套接字 | 基于协议栈的跨进程或跨主机通信 | Java Socket、Netty、微服务通信的底层机制 |
| 共享内存 | 多个进程映射同一块物理内存 | Redis、数据库等中间件使用,Java 通过 JNI 可达 |
| 消息队列 | 内核维护的消息链表 | 常规业务中被消息中间件替代 |
3. 实现
常用观测
# 进程与线程概览
top -H # 按线程显示,列 LWP 为线程 pid
ps -efL # 含线程列 LWP
ps -eLf | grep java
# 进程状态与资源
pidstat -u 1 -p <pid> # CPU 使用率每秒采样
pidstat -w 1 -p <pid> # 上下文切换(cswch/s 主动切换、nvcswch/s 被动切换)
# D 状态与僵尸进程
ps -eo stat,pid,comm | grep '^D' # 列出 D 状态
ps -ef | grep defunct # 列出僵尸进程
常见场景
线程数过多引发创建失败
Linux 限制 pid_max 与单用户进程数(ulimit -u)。每个 Java 线程对应一个 LWP,超过上限会抛出 Cannot create native thread。处理方式为调整 ulimit、同时优化线程池参数,使核心线程数与 CPU 核数及 IO 等待比例匹配。
CPU 占用持续偏高
持续 RUNNING 的 LWP 抢占 CPU 时间。定位步骤:top -Hp
僵尸进程导致无法创建线程
父进程未回收子进程的 task_struct,系统 PID 与内核资源被僵尸占用。通过 ps 定位僵尸后重启父进程可回收;守护进程类程序应确保对所有子进程调用 wait。
二、内存管理
1. 起源
程序直接使用物理地址会带来四个问题:
- 多个程序地址范围重叠,无法同时运行
- 任意程序可读写其他程序或内核的内存,无隔离
- 程序启动时必须分配连续物理内存,内存碎片化后无法装载大程序
- 同一库(如 libc、JVM 的 so)被多个程序使用时,代码段在物理内存中重复驻留
虚拟内存机制由此产生:为每个进程提供独立的虚拟地址空间,通过页表将虚拟地址翻译到物理内存。
2. 原理
虚拟地址空间布局(64 位)
| 区间 | 用途 | 开发对应 |
|---|---|---|
| 内核空间(高地址) | 内核代码与数据、页表 | 系统调用使用,用户态不可直接访问 |
| 栈区 | 线程栈、局部变量、调用帧 | Java -Xss 指定线程栈大小,默认约 1MB,过大减少线程数 |
| 堆区 | 动态内存分配 | Java 堆 -Xms/-Xmx 在此区间,通过 brk 与 mmap 分配 |
| 数据段 | 全局变量、静态变量 | 类静态变量、常量池 |
| 代码段 | 可执行代码 | JVM 执行引擎、本地方法代码 |
| mmap 区 | 文件映射、匿名映射 | Direct ByteBuffer、Jar 包 mmap、线程栈保护页 |
地址翻译:页表与缺页中断
- 页(Page):虚拟内存管理单位,默认 4KB。
- 页框(Page Frame):物理内存管理单位,与页大小对应。
- 多级页表:四级或五级页表,节省单级页表占用的内存。
缺页中断流程:
1. 进程访问尚未映射的虚拟地址,页表项不存在或权限不匹配,触发缺页中断。
2. 内核判定地址合法后分配物理页框、建立页表映射、中断返回,程序继续执行。
3. 地址非法则发送 SIGSEGV 信号终止进程。Java 层的指针越界会触发此路径。
内存分配
- brk():调整堆顶指针,分配小于 128KB 的小内存,适合 JVM 新生代。
- mmap():映射匿名区或文件区,分配 128KB 及以上的大内存,适合 JVM 老年代与堆外内存。
二者都仅占用虚拟地址,实际物理页在首次访问触发缺页中断时才分配。
页缓存与 Swap
- 页缓存(Page Cache):磁盘文件数据在内存中的副本,文件读写优先走缓存,miss 才读盘。完整机制与调优详见页缓存与IO性能。Java NIO 与常规文件 IO 均使用页缓存。
- Swap:物理内存不足时,内核将不活跃的匿名页写回 Swap 分区,释放页框供活跃页使用;再次访问时换入。Swap 会把内存访问变为磁盘 IO,Java 堆内存在 Swap 上会严重放大 GC 停顿与对象访问延迟。
限制与隔离
- ulimit:进程级资源限制,包括栈大小、虚拟内存、文件描述符数等。
- cgroup:进程组的资源限制、统计与隔离,容器内存上限、CPU 配额均基于 cgroup。Java 进程运行于容器时,JVM 堆与非堆总和需低于 cgroup 内存上限,否则会被 cgroup OOM Killer 直接终止。
3. 实现
常用观测
# 内存概览
free -h
cat /proc/meminfo | grep -E 'MemAvailable|Cached|Dirty|Swap|AnonPages'
# 进程级内存
pmap -x <pid> | tail -n 1 # RSS / Dirty / Mapping
cat /proc/<pid>/status | grep -E 'VmRSS|VmSize|VmPeak'
pidstat -r 1 -p <pid> # RSS、缺页
# Swap 活动
vmstat 1 # si/so 换入换出(非零表示 Swap 活动)
# cgroup 内存(容器)
cat /sys/fs/cgroup/memory/memory.limit_in_bytes
cat /sys/fs/cgroup/memory/memory.usage_in_bytes
cat /sys/fs/cgroup/memory/memory.max_usage_in_bytes
常见场景
进程被 OOM Killer 终止
当系统或 cgroup 内存耗尽,OOM Killer 按 badness 评分终止高分进程。Java 进程的 RSS 超过系统可用内存或 cgroup 上限时会触发。处置包括调整 -Xmx、关闭 Swap、排查堆外内存泄漏、调整 cgroup 限制。
GC 停顿异常延长
物理内存不足时,页缓存被持续回收、Swap 频繁换入换出,GC 线程访问对象时触发缺页或 Swap IO。处置方式包括增加物理内存、关闭 Swap、调整 GC 算法(如使用分代暂停更短的收集器)。
虚拟内存远高于物理内存
mmap 与 brk 分配的仅为虚拟地址,未实际使用时不占用物理页。JVM -Xmx 对应虚拟内存申请量,RSS 才表示当前实际驻留的物理内存。
三、文件系统
1. 起源
同一台机器通常同时使用多种文件系统:磁盘型(ext4、xfs)、内存型(tmpfs、procfs、sysfs)、网络型(NFS、CIFS)。若每种文件系统提供独立访问接口,则应用层无法统一操作,目录树也无法合并呈现。
VFS(虚拟文件系统,接口契约、四对象模型、特殊文件系统接入与系统调用分发路径详见虚拟文件系统)即为解决该异构性而存在:在内核中定义一套统一文件模型与操作接口,所有具体文件系统各自实现接口并注册。应用层通过 VFS 的同一套 open/read/write 接口访问任意文件系统。这也是 Linux"一切皆文件"的实现机制。
2. 原理
VFS 核心对象
| 对象 | 含义 | 开发对应 |
|---|---|---|
| inode | 索引节点,存储文件元数据(大小、权限、时间戳、物理块指针) | 文件名仅为 inode 的目录项别名;删除文件实际删除目录项,inode link count 归零才释放数据(link count 引用计数与硬链接删除本质详见软连接和硬链接) |
| dentry | 目录项,文件名与 inode 的映射 | 缓存路径解析结果,Jar 包类加载时频繁依赖 |
| file | 已打开文件实例,含文件描述符、读写偏移、操作集指针 | Java FileInputStream、RandomAccessFile 对应 file 对象与一个文件描述符 |
文件类型
| 类型 | 标识 | 含义 | 开发对应 |
|---|---|---|---|
| 普通文件 | - | 文本、二进制、Jar、日志 | 文件 IO 的主要操作对象 |
| 目录文件 | d | 文件名列表 | JVM 目录遍历、类加载 |
| 套接字文件 | s | AF_UNIX 套接字 | UnixDomainSocket 与容器本地通信 |
| 设备文件 | c / b | 字符设备、块设备 | 块设备文件为磁盘分区与逻辑卷的访问入口(分区+LVM空间管理见逻辑卷;块层合并与调度见块设备层与IO调度器;硬件协议与驱动见块设备驱动层) |
| 符号链接 | l | 存目标路径,访问时由 VFS 重解析(VFS 路径跟随、悬空链接与跨分区根因详见软连接和硬链接) | 部署中用于多版本切换、路径映射 |
IO 模型与页缓存
页缓存完整机制、脏页回写阈值、预读与缓存回收策略详见页缓存与IO性能。
Buffered IO(默认)
- read:查页缓存命中则返回,未命中则分配页、从磁盘填入缓存再返回。
- write:写入页缓存即返回,页标记为脏页,由内核回写线程异步刷盘。
Direct IO
打开文件时使用 O_DIRECT 标志,数据直接在用户空间缓冲与块设备之间传输,绕过页缓存。适用于自带缓存管理器的程序(如数据库)与大文件顺序传输。要求用户缓冲区地址、长度与偏移按扇区大小对齐。
页缓存与刷盘
刷盘触发方式:
- 时间阈值:脏页驻留超过 dirty_expire_centisecs 加入回写队列。
- 空间阈值:脏页占内存比例超过 dirty_ratio,写进程同步刷盘。
- 主动同步:应用调用 fsync 或 fdatasync。fsync 同时刷数据与必要元数据;fdatasync 仅刷数据与后续读回所需的最小元数据(四种同步调用语义对比详见页缓存与IO性能)。Java FileChannel.force() 调用 fsync,用于日志、事务、提交记录等持久化场景。
3. 实现
常用观测
# 页缓存与脏页
cat /proc/meminfo | grep -E 'Cached|Dirty|Writeback|Buffers'
vmstat 1 # bi/bo 块读写、buff/cache 总量
# 块设备 IO 与等待
iostat -xz 1 # await、%util、aqu-sz
# 进程文件描述符
lsof -p <pid> | wc -l
cat /proc/<pid>/fd | wc -l
ulimit -n # 单进程最大文件描述符数
# 打开文件列表
lsof -p <pid>
fuser /path/to/file # 查看哪些进程打开了某文件
常见场景
日志写入丢失
日志经 write 写入页缓存即返回,未调用 fsync 时进程崩溃或服务器断电会丢失尚未刷盘的数据。logback/log4j 的 immediateFlush 开启后,每次日志写入追加后强制 flush 到底层(对应 fsync/fdatasync,取决于 Appender 实现)。
Jar 包或类加载缓慢
首次加载时,JVM 解压 Jar、遍历目录项(dentry/inode lookup)并读取字节码,冷启动阶段多次缺页填缓存。第二次启动因页缓存与 dentry 缓存残留,速度显著提升。将 Jar 所在目录挂为 tmpfs(内存文件系统)可消除冷启动磁盘 IO。
文件描述符耗尽
打开文件、Socket、管道、目录后未及时关闭,进程的文件描述符表逐步占满,超过 ulimit -n 后新打开失败,表现为 Too many open files(files 字段与进程凭证身份模型详见用户与组管理,内核访问裁决流程与权限位见权限模型)。定位用 lsof -p 结合 jstack,找到未关闭的流或 Socket。未释放的 Netty 连接池、NIO FileChannel、JDBC 连接均为常见泄漏源。
四、网络模型
1. 起源
早期网络程序为每个连接创建一个线程(或进程),阻塞在 read 上。连接数升至数千后,线程数与上下文切换开销、栈内存占用成为瓶颈。多路复用机制通过让单个线程同时监听多个文件描述符的事件,减少线程数量与切换成本。
select 与 poll 先于 epoll 出现:select 固定 1024 连接上限、每次调用复制与轮询全部 fd 集合;poll 移除连接数限制,但仍然每次调用全量轮询。二者的时间复杂度均为 O(n),高并发(万级连接及以上)下 CPU 主要消耗在空轮询上。epoll 引入事件驱动与内核维护的就绪链表,仅遍历活跃连接,时间复杂度降至 O(1),成为高并发网络框架的默认机制。
2. 原理
Socket 与缓冲区
- Socket 是应用层与内核协议栈之间的抽象接口,在内核中对应一对接收/发送缓冲区,以及协议状态、端口、连接对端信息。
- sk_buff 为内核网络数据包的通用结构,自驱动层到协议栈再到 Socket 接收队列全程复用。
TCP 连接管理
三次握手:客户端 SYN → 服务端 SYN+ACK → 客户端 ACK,连接进入 ESTABLISHED。ServerSocket.accept() 阻塞等待三次握手完成的连接从全连接队列取出。
四次挥手:主动方 FIN → 被动方 ACK(进入 CLOSE_WAIT)→ 被动方 FIN → 主动方 ACK(进入 TIME_WAIT,2MSL 约 60 秒后关闭)。
TIME_WAIT 作用:
- 保证主动方最后一个 ACK 可被被动方收到,避免被动方重复重发 FIN。
- 让晚到的旧连接报文在网络中消亡,避免新连接使用相同四元组时被误判为旧连接报文。
短连接场景下主动关闭方(如调用方微服务)TIME_WAIT 累积,可占用全部可用临时端口,新连接建立失败。
滑动窗口与拥塞控制
- 接收窗口(滑动窗口):接收方通过 TCP 头窗口字段通知发送方当前剩余接收缓冲区,避免接收方溢出。Socket.setReceiveBufferSize() 调整接收缓冲区大小,进而影响最大窗口。
- 拥塞控制:发送方基于丢包与延迟估计网络承载能力。常用算法:CUBIC(多数发行版默认,丢包驱动);BBR(基于带宽与往返延迟的模型驱动,高带宽时延积链路吞吐更高)。
IO 多路复用
| 接口 | 原理 | 开发对应 |
|---|---|---|
| select | 轮询 fd 集合,固定 1024 连接,每次调用复制与扫描全量集合 | Java NIO 早期兼容实现,实际生产不再使用 |
| poll | 轮询 fd 链表,无连接数硬限制,仍需全量扫描 | Linux 上 Java 不优先使用 |
| epoll | 内核维护红黑树(注册 fd)与双向链表(就绪 fd),调用时仅返回就绪链表 | Java NIO Selector 与 Netty 在 Linux 上的默认实现 |
epoll 两种模式:
- LT(水平触发):缓冲区有数据就持续通知事件。应用读不完数据也会重复通知,容错性高。
- ET(边缘触发):仅状态变化时通知一次。应用需一次性读空缓冲区,否则剩余数据不会再次触发通知,效率更高。Netty 默认为 ET。
3. 实现
常用观测
# 连接状态与端口
ss -antp # 所有 TCP 连接与监听端口,含进程
ss -s # 连接状态汇总(ESTAB/TIME-WAIT/CLOSE-WAIT)
netstat -s | grep -i 'retr|reset|listen' # TCP 协议统计
# 内核参数
sysctl net.ipv4.tcp_fin_timeout
sysctl net.ipv4.tcp_tw_reuse
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_max_syn_backlog
# 网卡与缓冲区
ethtool -g eth0 # 网卡硬件队列与环形缓冲区
ss -m # Socket 发送/接收缓冲区用量
# 网络丢包与重传
sar -n DEV 1 # 网卡收发速率、丢包
ss -ti # TCP 拥塞控制信息(cwnd、rtt、重传率)
常见场景
TIME_WAIT 过多
短连接场景下主动关闭方端口被 TIME_WAIT 占用。处置:切换为长连接(如 gRPC、HTTP/2 与连接池);设置 SO_REUSEADDR;调整 tcp_tw_reuse;缩短 tcp_fin_timeout;服务端程序尽量成为被动关闭方。
连接数上限偏低
三个常见限制:ulimit -n 文件描述符上限;net.core.somaxconn 全连接队列长度;net.ipv4.tcp_max_syn_backlog 半连接队列长度。三项值通常设置为数千到 65535 量级,与预期并发匹配。
TCP 粘包与拆包
发送方合并小包(Nagle 算法)、接收方按 MTU 拆分数据,导致应用层收到的数据边界与发送边界不一致。解决方式在应用层协议中增加帧边界:固定长度、分隔符、长度前缀(如 Netty LengthFieldBasedFrameDecoder)。
五、内核参数
参数写入 /etc/sysctl.conf 永久生效,执行 sysctl -p 立即加载。
进程与线程
| 参数 | 作用 | 典型值 |
|---|---|---|
| kernel.pid_max | 系统最大 PID,决定并发线程上限 | 4194304 |
| kernel.threads-max | 单用户最大线程数 | 按内存量,百万级常见 |
内存
dirty_* 系列参数原理与调优方向详见页缓存与IO性能 调优参数表。
| 参数 | 作用 | 典型值 |
|---|---|---|
| vm.swappiness | 换页倾向,0 偏向尽量使用物理内存 | 0(Java 场景) |
| vm.max_map_count | 进程最大 mmap 区间数 | 262144(ES 等大量 mmap 的 Java 程序要求) |
| vm.dirty_ratio | 脏页比例阈值,超过同步刷盘 | 20 |
| vm.dirty_background_ratio | 脏页比例阈值,超过启动后台异步回写 | 10 |
网络
| 参数 | 作用 | 典型值 |
|---|---|---|
| net.ipv4.tcp_tw_reuse | 是否复用 TIME_WAIT 端口作为客户端 | 1 |
| net.ipv4.tcp_fin_timeout | FIN_WAIT_2 超时,加速回收 | 30 |
| net.core.somaxconn | 全连接队列长度 | 65535 |
| net.ipv4.tcp_max_syn_backlog | 半连接队列长度 | 65535 |
| net.core.rmem_max | 最大接收缓冲区(字节) | 16777216 |
| net.core.wmem_max | 最大发送缓冲区(字节) | 16777216 |
文件描述符
| 参数 | 作用 | 典型值 |
|---|---|---|
| fs.file-max | 系统级最大文件描述符数 | 655350 |
| fs.inotify.max_user_watches | 单用户最大 inotify 监控数 | 524288 |
总结
- 进程为资源分配单位,线程为调度单位;Java Thread 对应 LWP,线程池即 LWP 复用;CFS 以 vruntime 公平调度,nice 与 cgroup 调整权重。
- 虚拟内存解决多程序地址冲突、隔离、碎片与共享问题;页表翻译、缺页中断按需分配物理页;brk 与 mmap 分别负责小内存与大内存分配;页缓存提升 IO,Swap 补充内存但影响 GC 延迟。
- VFS 统一异构文件系统接口;Buffered IO 默认走页缓存 + 异步回写,Direct IO 绕过缓存;fsync 与 fdatasync 是保证数据持久化的唯一可靠方式。
- TCP 三次握手与四次挥手、TIME_WAIT、滑动窗口、拥塞控制共同决定连接管理与吞吐;epoll 以事件驱动实现高并发单线程多连接,是 Netty 与 Java NIO 的基础。
- 观察工具集:top/ps/pidstat(进程)、free/vmstat/pmap(内存)、iostat/lsof(文件与块)、ss/netstat/sar/ethtool(网络)。
- 内核参数集中在 sysctl.conf 下的 kernel、vm、net、fs 四大子系统,分别对应线程、内存、网络、文件四类资源上限与策略。