内容总览
一、起源:内存管理解决的问题
1.1 直接物理内存的局限
早期计算机内存小,程序完全装入物理内存后执行。多程序并发运行时,暴露三类问题:
- 容量不足:多程序同时常驻内存,物理内存快速耗尽
- 安全缺失:程序直接操作物理地址,可越界读写其他程序或内核内存
- 地址冲突:程序链接时写死加载地址,多个程序地址重叠,无法并存运行
1.2 程序访问的局部性
程序不会在同一时刻访问全部代码与数据,存在两类局部性:
- 时间局部性:近期被访问的内容,短期内大概率被再次访问
- 空间局部性:某地址被访问后,其相邻地址大概率被连续访问
局部性是缓存(CPU Cache、Page Cache)与换出策略(LRU)有效性的前提。
1.3 内存作为稀缺资源
多进程并发运行时,物理内存总量远小于所有进程虚拟地址空间的总和。需要:
- 分配:在进程间公平分配物理页
- 隔离:各进程地址空间独立,避免相互干扰
- 回收:内存紧张时,淘汰不常用页或换出到磁盘
- 扩展:必要时借助 swap 用磁盘空间扩展内存容量
1.4 内存虚拟化的诞生
硬件 MMU(内存管理单元)与内核页表配合,引入虚拟地址概念:
- 每个进程拥有独立虚拟地址空间,程序链接与运行地址统一
- 虚拟地址经 MMU 翻译得到物理地址,翻译过程由内核页表定义
- 未映射或权限不足时触发缺页中断,由内核按需分配或读入
由此实现进程隔离、数据共享、内存超额分配(overcommit)三大目标。
二、原理:内存管理如何工作
2.1 虚拟地址空间
2.1.1 地址空间大小
- 32 位:4GB,典型布局为用户空间 3GB(0x00000000 ~ 0xBFFFFFFF)+ 内核空间 1GB(0xC0000000 ~ 0xFFFFFFFF)
- 64 位(x86_64):架构虚拟 64 位,实际仅使用低 48 位,共 256TB 可寻址
- 用户空间:0x0000000000000000 ~ 0x00007FFFFFFFFFFF(128TB)
- 内核空间:0xFFFF800000000000 ~ 0xFFFFFFFFFFFFFFFF(128TB)
- 中间空洞不允许访问,触发 #PF
2.1.2 用户空间布局(低地址→高地址)
- 代码段 .text:只读,可执行,存放机器指令
- 数据段 .data:已初始化的全局变量与静态变量(可读可写)
- BSS 段:未初始化的全局变量与静态变量,程序加载时清零
- 堆:动态分配内存,malloc 小内存来源,从低向高增长
- mmap 区:共享库映射、mmap 匿名映射、文件映射,堆与栈之间
- 栈:函数调用栈、局部变量,从高向低增长
- vDSO / vvar:内核映射的少量用户态可读页,用于无需切换内核的快速系统调用(如 gettimeofday),位于栈上方
2.1.3 内核空间布局(64 位典型)
- 线性直接映射区:低地址物理内存与内核虚拟地址一一对应,减去偏移量即可转换物理地址,用于 slab 分配与内核栈等
- vmalloc 动态映射区:非连续物理页映射为连续虚拟页,用于大但物理可离散的内核分配
- 高端内存映射:仅 32 位场景存在,临时窗口将高位物理页映射到内核空间
- 页表区:页表自身占用的内核内存
- 固定映射区:预留虚拟地址固定映射到特定用途(如 IO 寄存器、ACPI 表)
2.2 页与页表
2.2.1 页尺寸
页是内存管理的基本单位:
- 常规页:4KB(绝大多数架构默认)
- 大页(hugepage):2MB(PMD 级)与 1GB(PUD 级)
- 减少页表层级,降低 TLB miss 率
- 适合常驻内存的大块数据(如数据库共享缓冲池)
2.2.2 页表
页表以多级树结构存储"虚拟页 → 物理页"映射,节省稀疏映射空间。
x86_64 4 级页表(虚拟地址拆分):
- PGD(Page Global Directory):每进程一颗,根指针存 task_struct->mm->pgd
- PUD(Page Upper Directory):若启用 5 级分页则存在 P4D,4 级时 PGD 直接指向 PMD
- PMD(Page Middle Directory):若为 1GB 大页,PMD 条目直接指向物理页
- PTE(Page Table Entry):最末级条目,指向 4KB 物理页或 2MB 大页时 PMD 即为末级
每条 PTE 携带权限与状态位:
| 位 | 含义 |
|---|---|
| P(Present) | 该条目是否有效指向物理页 |
| R/W | 页是否可写 |
| U/S | 用户态是否可访问(User/Supervisor) |
| PWT / PCD | 内存缓存策略(WriteThrough / CacheDisable) |
| A(Accessed) | 该页是否被访问过 |
| D(Dirty) | 该页是否被写入过(回收时需回写) |
| G(Global) | 切换进程不刷新 TLB 条目(内核页常用) |
| NX(No eXecute) | 页禁止执行(DEP/SMEP 等安全机制依赖) |
2.2.3 TLB(翻译后援缓冲)
- CPU MMU 内部的小型高速缓存,存储近期的"虚拟页号→物理页号"翻译
- TLB 命中:免查页表,地址翻译 1 个时钟周期完成
- TLB 缺失:执行硬件页表遍历(现代 CPU)或软件处理,耗时数十至数百周期
- 大页优势:每 TLB 条目覆盖 2MB / 1GB,减少 TLB miss 率
- 切换进程时 TLB 刷新(CR3 写入),除非页表条目标记 G
2.3 分配器
2.3.1 内核伙伴系统(Buddy System)
- 职责:按 2^n 阶(n=0..MAX_ORDER)分配连续物理页,阶数越大连续页数越多
- 分配:从目标阶链表取一块,不存在则从高一阶拆分两块,伙伴关系记录在 bitmap
- 释放:归还到对应阶链表,若相邻伙伴也空闲则合并为高一阶,递归向上
- 优点:分配连续页迅速,合并策略解决外碎片
外碎片:离散空闲小页无法凑出大连续页的问题。
2.3.2 slab / slub 分配器
从伙伴系统拿整页(2^n 阶)后切割为固定尺寸对象,解决内碎片并加速高频小对象分配。
内碎片:给请求分配比实际更大的块导致的浪费。
- slab 三种实现
- slab(原始):每 CPU 共享缓存,对象着色提升 CPU Cache 利用
- slub(当前默认):简化设计,移除部分元数据,减少锁竞争
- slob:用于嵌入式极小内存系统
- 典型缓存
- task_struct、inode、dentry、filp、skb 等内核高频对象
- 每类对象对应 kmem_cache,一组专用 slab 链表
- 冷热缓存
- 热缓存:CPU 本地缓存,可能已命中 CPU Cache,分配快
- 冷缓存:从共享链补充,分配慢但跨 CPU 均衡
- 通用接口
- kmalloc(基于 slab,小于 PAGE_SIZE 的连续虚拟+物理分配)
- vmalloc(虚拟连续、物理离散,vmalloc 区映射)
2.3.3 用户态分配器
向内核申请大块后在用户态二次切分,供 malloc/free 使用。
- 内存获取方式
- brk:调整堆边界(program break),适合小内存分配
- mmap MAP_ANONYMOUS:申请匿名映射段,适合大内存(通常 > 128KB 阈值)
- 常见实现
- ptmalloc2:glibc 默认,多线程 arena 减少锁竞争;多线程释放回其他线程 arena 时难归还 OS
- jemalloc:Firefox、Redis 默认,多层 arena+分级,碎片率低,主动归还 OS
- tcmalloc:Google 实现,Thread Caching,分配路径短,高并发性能优
- 分配器属性
- 内存分配成本、碎片率、可归还 OS、多核扩展性
2.4 缺页中断(Page Fault)
访问虚拟地址时,MMU 查页表若发现 P=0(无映射)或权限不符,触发缺页中断。
2.4.1 分类
- 次缺页 minor fault
- 物理页已在内存中,仅缺页表映射
- 常见场景:共享库首次引用、COW 写入前共享页、malloc 后首次触达
- 常见场景:共享库首次引用、COW 写入前共享页、malloc 后首次触达
- 仅需补 PTE 条目,开销小,无磁盘 IO
- 主缺页 major fault
- 物理页不在内存,需从磁盘读入
- 常见场景:程序代码/数据首次加载、swap 换入、mmap 文件被访问
- 涉及阻塞 IO,开销高,程序卡顿
2.4.2 处理流程
- CPU 触发 #PF,压栈进入内核
- 内核根据 CR2 寄存器拿到缺页虚拟地址
- 查找 VMA(进程地址空间段描述)判断地址是否合法
- 不合法 → 发送 SIGSEGV 终止进程(段错误)
- 合法 → 分配页或从磁盘/swap 读入 → 建 PTE → 标记权限 → IRET 返回,重试被中断指令
2.5 写时复制(COW)
fork 创建子进程时,避免复制父进程全部物理页:
- 父子共享全部物理页,PTE 标记只读 + COW 标志
- 任意一方写入时触发缺页中断 → 分配新页 → 复制原页内容 → 双方 PTE 分别指向新旧页、恢复可写
- 未写入的页面保持共享,节省 fork 后立即 exec 场景的巨大复制开销
其他应用:mmap MAP_PRIVATE 私有文件映射,写入时生成私有副本,不落盘到原文件。
2.6 页缓存(Page Cache)
磁盘文件内容以页为单位缓存到物理内存,减少重复磁盘 IO。
- 读路径
- read 命中缓存直接返回,未命中则分配页 → 读磁盘 → 入缓存 → 返回
- 写路径
- write 默认写入页缓存标记 Dirty 后立即返回(延迟写)
- 脏页由 pdflush / writeback 线程按时间或脏页比例回写磁盘
- 缓存占比
- 多数 Linux 系统 free 输出中 buff/cache 可占大量内存,属正常现象
- 内存紧张时可回收,不属于"真正占用无法释放"
- 相关工具与调优,详见文件管理目录下《页缓存与 IO 性能》专题文档
buffer 与 cache 的区别(见实现章节 free 输出解读)。
2.7 回收机制(Page Reclaim)
2.7.1 水线触发
节点空闲内存设三档水线(watermark):
- high:空闲充足,不回收
- low:唤醒 kswapd 内核线程后台异步回收
- min:空闲严重不足,当前进程被阻塞同步直接回收(direct reclaim),业务抖动
2.7.2 回收对象
- 匿名页(堆、栈、匿名 mmap、进程私有 COW 页)
- 干净:无磁盘原件,只能换出到 swap 分区/文件后回收
- 脏:同上,写 swap 后回收
- 文件页(页缓存、mmap 共享文件页)
- 干净:直接丢弃,后续访问重新读文件
- 脏:先回写磁盘再丢弃
2.7.3 LRU 双链表
将页按近期访问热度拆分:
- 不活跃链表(inactive list):久未访问,优先回收
- 活跃链表(active list):频繁访问,回收前需先降级到不活跃
- 访问机制
- 新页先放 inactive,命中时标记访问位
- 再次访问时晋升到 active,实现简易 LRU
- 回收路径先扫描 inactive 尾部,遇到未访问页直接回收
2.7.4 PFRA 回收框架
内核 Page Frame Reclaim Algorithm,负责扫描 LRU、写回、压缩、OOM 触发。
2.8 内存碎片与规整(compaction)
2.8.1 碎片来源
伙伴系统虽有合并机制,但长期分配释放离散页,导致:
- 外碎片:空闲页总量足够但连续块不足,高阶分配(2MB 连续、大页)失败
- 典型表现:/proc/buddyinfo 高阶阶数空闲极少,低阶空闲富余
2.8.2 规整机制 kcompactd
- 触发:高阶分配失败且直接回收无法凑出连续块时唤醒
- 做法:把非连续占用的可移动页(文件页、匿名页)迁移到空闲高区,腾出下方连续物理页
- 分类:可移动(MIGRATE_MOVABLE)、可回收、不可移动(内核 slab 类)
- 不可移动页是碎片顽因来源,CMA(连续内存分配器)技术将大内存区预留给可移动用途
2.9 swap
2.9.1 作用与对象
用磁盘空间扩展内存容量,把不活跃匿名页换出到 swap 分区或 swap 文件。
- 仅匿名页可换出(堆/栈/匿名 mmap)
- 文件页不经过 swap:干净直接丢弃,脏页写回原文件
- 换出流程:kswapd 选择匿名页 → 分配 swap 槽位 → 写磁盘 → 释放物理页
- 换入流程:再次访问触发 major fault → 读 swap → 分配页 → 恢复 PTE
2.9.2 swappiness
/proc/sys/vm/swappiness(0~100)控制回收倾向:
- 0:尽量不换出匿名页,仅在必须时换出;不等于禁用 swap
- 60:默认值,文件页与匿名页大致平衡回收
- 100:积极换出匿名页,优先保留页缓存
桌面与高 IO 场景偏低值;批量后台任务可适当提高。
2.9.3 swap 优先级
多 swap 设备时,高优先级优先使用;可将高速 SSD 的 swap 优先级高于 HDD。
2.10 共享内存
同一块物理页映射到多个进程的地址空间,进程间直接读写,无需内核介入拷贝。
- System V 共享内存(shmget / shmat / shmdt)
- 全局 key 标识,生命周期随内核,ipcs -m 查看
- POSIX 共享内存(shm_open + mmap)
- 挂载 tmpfs 于 /dev/shm,以文件名标识,权限模型与文件一致
- mmap MAP_SHARED 普通文件
- 多进程共享映射,写入同步回原文件,兼具 IPC 与持久化
- 注意:共享内存需配合信号量、互斥锁、条件变量等实现同步
2.11 mmap 内存映射
将文件或匿名区域映射到调用进程虚拟地址空间,按页由缺页中断按需加载。
2.11.1 四类组合
| 类型 | 映射来源 | 写入行为 | 落盘方式 |
|---|---|---|---|
| MAP_PRIVATE + 文件 | 文件内容私有副本 | 写时复制生成私有页,不影响原文件或其他进程 | 不落盘 |
| MAP_SHARED + 文件 | 共享页缓存 | 写入即修改其他进程视图 | msync / writeback 落盘 |
| MAP_PRIVATE + ANONYMOUS | 零页 | 写时复制分配物理页 | 不涉及文件 |
| MAP_SHARED + ANONYMOUS | 共享物理页 | 父子/亲缘进程共享修改 | 不涉及文件,进程间 IPC |
2.11.2 mmap vs read/write
- mmap 优势:零拷贝(直接操作页缓存)、随机访问高效、无需用户态缓冲
- mmap 劣势:小文件开销高、缺页中断引入不可控延迟、需整页对齐
- 适用场景:大文件随机读、跨进程共享内存
2.12 过度承诺(overcommit)
允许进程申请的虚拟内存总和超过物理内存 + swap 实际可用量。
- vm.overcommit_memory
| 值 | 策略 | 说明 |
|---|---|---|
| 0 | 启发式(默认) | 明显超量请求拒绝,其他允许 |
| 1 | 始终允许 | 强制 overcommit,不可被 malloc 返回空阻塞 |
| 2 | 严格禁止超量 | 总申请 ≤ RAM * overcommit_ratio / 100 + swap |
- vm.overcommit_ratio:策略 2 时的比例,默认 50
- 风险:overcommit 可能导致后续使用时物理耗尽,触发 OOM Killer 杀进程
2.13 大页(Huge Page)
2.13.1 显式大页 hugetlbfs
- 预留固定数量大页,不参与伙伴系统与回收
- 配置
- vm.nr_hugepages:预留 2MB 大页数量
- 挂载 hugetlbfs:
mount -t hugetlbfs none /dev/hugepages - 应用调用 mmap MAP_HUGETLB 或 shmget 使用
- 观察:/proc/meminfo HugePages_Total / Free / Rsvd / Surplus
2.13.2 透明大页 THP(Transparent HugePage)
- 自动将匿名内存 4KB 页合并为 2MB 大页,无需应用改代码
- 启用模式:always / madvise / never
- always:所有匿名内存尝试 THP
- madvise:仅应用标记 MADV_HUGEPAGE 的区域
- never:关闭
- 争议:数据库类延迟敏感业务常见关闭 THP,因后台 khugepaged 合并引入不可控抖动
2.14 与进程管理、cgroups 的关系
- 每个进程 task_struct 指向 mm_struct,记录全部地址空间、页表、VMA 树
- cgroups memory 子系统按 cgroup 粒度限制内存使用
| 版本 | 关键接口 |
|---|---|
| cgroup v1 | memory.limit_in_bytes / memory.memsw.limit_in_bytes(含 swap)/ memory.usage_in_bytes |
| cgroup v2 | memory.max(硬上限)/ memory.low(保护阈值)/ memory.swap.max / memory.current |
memory.low:若组内使用低于 low,且系统内存紧张,优先从其他组回收,提供保护性下限。
与进程管理文档的 cgroups 资源限制章节对应,此处聚焦内存维度。
三、实现:内存管理命令与排查
3.1 系统级总览
3.1.1 free 输出解读
free -h # 人类可读单位;-w 单独显示 buffer cache
列含义:
| 列 | 含义 |
|---|---|
| total | 物理内存总量 |
| used | 已使用内存:total - free - buffers - cache |
| free | 完全未使用的内存,不含可回收缓存 |
| shared | 共享内存(tmpfs 与共享映射) |
| buff/cache | buffers + cached(含 reclaimable slab) |
| available | 应用实际可拿到的内存估算:free + 可回收文件页 + 可回收 slab,更接近真实可用 |
重点:available ≠ free。当 buff/cache 高但 available 仍充足时,属系统利用空闲内存缓存文件的正常现象,无需干预。
buffer 与 cache 区别:
- buffers:块设备层级的元数据缓存(如文件系统元数据、磁盘目录项、raw 块设备 IO 缓冲),大小通常较小
- cache:文件内容页缓存(Page Cache),占大头,含 tmpfs/shmem
- 性能分析与回收主要关注 cache
3.1.2 /proc/meminfo
核心字段:
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapTotal|SwapFree|Slab|SReclaimable|PageTables|HugePages' /proc/meminfo
-
MemAvailable:同 free available 列
-
Cached:页缓存 + tmpfs/shmem
-
Slab:内核 slab 总占用;SReclaimable 其中可回收(dentry/inode 缓存)
-
PageTables:页表占用,异常高表示进程过多或碎片严重
-
Dirty / Writeback:待回写脏页与正在回写页数
-
AnonPages:匿名页总数(堆/栈/匿名 mmap)
3.1.3 vmstat / sar
vmstat 1 # 每秒一行:si/so 为 swap 换入换出(KB),bi/bo 块 IO,r/b 运行/阻塞队列
sar -r 1 # 内存使用率与可用率
sar -B 1 # pgpgin/pgpgout(磁盘IO)、faults/majflt(缺页与主缺页)
sar -W 1 # pswpin/pswpout(swap 换入换出页)
sar -H 1 # HugePages 统计
3.2 进程级内存
3.2.1 ps / top 常用列
ps -eo pid,user,rss,vsz,%mem,min_flt,maj_flt,cmd --sort=-rss | head
top # RES = RSS;VIRT = VSZ;SHR = 共享映射大小(RSS 中与其他进程共享的估算)
-
VSZ / VIRT:虚拟地址空间大小(含未分配页,巨大不代表实际占用)
-
RSS / RES:实际驻留物理页(含共享库,多进程会重复统计)
-
%MEM:RSS / 总物理内存
-
min_flt / maj_flt:累计次缺页与主缺页
3.2.2 /proc/PID 详细信息
cat /proc/PID/status
# 关注 VmPeak/VmSize(虚拟峰值/当前)、VmRSS(驻留)、VmData(堆)、VmStk(栈)、
# VmExe/VmLib(执行文件/共享库)、VmSwap(被换出到 swap 的 KB)、VmPTE(页表占用)、Threads
cat /proc/PID/smaps | less # 每段映射 PSS/RSS/Shared_Clean/Dirty/Swap
-
PSS(Proportional Set Size):RSS 按共享进程数均摊后的实际占用,是多个进程总占用统计的最佳口径
-
PSS 聚合工具:
smem -t -u按用户、按进程 PSS 排序
3.2.3 pmap
pmap -x PID # 每段映射的 RSS、Dirty、Mode,与 smaps 对应但命令行更紧凑
3.3 缺页统计
ps -eo pid,min_flt,maj_flt,cmd | sort -k3 -nr | head # 主缺页高的进程(大量读盘或 swap)
sar -B 1 # pgfault/s(总缺页)、majflt/s(主缺页)
perf stat -e page-faults,minor-faults,major-faults -p PID sleep 10
3.4 页缓存与回写
# 强制回写脏页
sync # 等待全部脏页写回
sync -f /path # 针对某文件系统
# 手动丢弃缓存(调试用,生产需谨慎,先 sync)
echo 1 > /proc/sys/vm/drop_caches # 1 丢弃页缓存;2 丢弃 dentries/inodes;3 全部
# 脏页回写水位(默认单位百分比)
sysctl vm.dirty_ratio # 进程占内存脏页触发同步回写(默认 20%)
sysctl vm.dirty_background_ratio # 后台 writeback 触发(默认 10%)
sysctl vm.dirty_expire_centisecs # 脏页存活超过该时间强制回写(默认 3000=30s)
# 检查某文件在页缓存中的驻留(vmtouch 需安装)
vmtouch -v /path/to/file # 驻留页数
vmtouch -t /path/to/file # 将文件载入缓存(预热)
3.5 swap 管理
# 查看与启用
cat /proc/swaps
swapon --show
swapon /dev/sdb2 # 启用交换分区
swapon /swapfile # 启用交换文件
swapoff /swapfile # 关闭(换入回内存,需时间)
# 创建 swap 文件
fallocate -l 8G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
# /etc/fstab 追加:/swapfile none swap defaults 0 0
# swappiness
sysctl vm.swappiness=10
echo 'vm.swappiness=10' >> /etc/sysctl.conf
# 查看各进程 swap 占用
smem -t -k -s swap
for pid in $(pidof nginx); do grep -E 'VmSwap|Name' /proc/$pid/status; done
3.6 大页配置
# 预留 2MB 大页(立即生效)
sysctl vm.nr_hugepages=2048
# 查看状态
grep -i huge /proc/meminfo
cat /sys/kernel/mm/transparent_hugepage/enabled # always/madvise/never
# 关闭 THP(数据库等低延迟业务常用)
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
# 挂载 hugetlbfs
mount -t hugetlbfs -o uid=997,gid=997,mode=0770,pagesize=2MB none /dev/hugepages
3.7 cgroups 内存限制
# cgroup v2 例子:限制 nginx 服务内存 2G、swap 200M
systemctl set-property nginx.service MemoryMax=2G MemorySwapMax=200M
# 查看限制与当前用量
cat /sys/fs/cgroup/system.slice/nginx.service/memory.max
cat /sys/fs/cgroup/system.slice/nginx.service/memory.current
cat /sys/fs/cgroup/system.slice/nginx.service/memory.events # oom 次数、high 命中次数
# cgroup v1 路径
ls /sys/fs/cgroup/memory/system.slice/nginx.service/
cat memory.limit_in_bytes memory.memsw.limit_in_bytes memory.usage_in_bytes
3.8 overcommit
sysctl vm.overcommit_memory=2
sysctl vm.overcommit_ratio=80
模式 2 时上限 = RAM * overcommit_ratio / 100 + swap。
3.9 常见问题排查
3.9.1 Buffer / Cache 很高,free 很低是否异常
- 先看 available:available 充足 → 正常,系统在利用空闲内存加速文件 IO
- available 不足 → 进入下一步排查谁占内存,或触发回收/换出
- 不可盲目执行 drop_caches:临时释放但文件读会立即回填,造成后续性能回退
3.9.2 内存泄漏
- 特征:业务流量平稳下 VmRSS / VmData 单调上升、不回落
- 定位
- pmap / smaps 观察是堆段增长、mmap 段增长还是共享库异常
- glibc:设置 MALLOC_CHECK_、mtrace、或替换 jemalloc/tcmalloc 观察
- Valgrind memcheck / AddressSanitizer:开发环境精确定位泄漏点与调用栈
3.9.3 页表膨胀(VmPTE 偏高)
- 特征:/proc/PID/status VmPTE 每进程几十 MB 以上;系统总 PageTables 数 GB
- 常见原因:
- 进程/线程数极多(线程栈 + 页表)
- 大量离散小 mmap(典型:Java metaspace、GHC/Go 运行时)
- 缓解
- 合并 mmap 或使用大页降低页表条目
- 控制进程与线程数
3.9.4 高阶分配失败(碎片)
- 识别
cat /proc/buddyinfo # 高阶节点空闲极少 → 外碎片严重
dmesg | grep -i 'page allocation failure' | tail
- 手动触发规整(生产需谨慎,可能阻塞)
echo 1 > /proc/sys/vm/compact_memory
- 长期缓解:定期计划内重启、开启 THP、使用 CMA 预留连续区
3.9.5 OOM Killer
- 识别日志
dmesg -T | grep -i -A 20 'Out of memory'
journalctl -k --grep 'Killed process' -S today
日志包含被杀进程 PID、RSS、进程表与打分。
- 打分机制(oom_score)
- RSS + swap + 子进程总内存 × 归一化 → 基础分
- 运行时间久、nice 高、root 运行 → 分数略微降低
- /proc/PID/oom_score 是最终得分
- 调整豁免 / 提高优先级
- oom_score_adj:-1000 ~ 1000,-1000 完全豁免
- 设置示例:
echo -1000 > /proc/PID/oom_score_adj或启动脚本写入 - 容器 / systemd:
OOMScoreAdjust=-500在单元文件配置
- 规避策略
- 合理配置 cgroups memory.max 限制单服务上限,避免单进程耗尽整机内存
- 增加物理内存或 swap(swap 延迟 OOM 代价是性能)
- overcommit_memory=2 避免过度承诺(代价 malloc 可能失败提前阻塞)
3.9.6 Swap 滥用导致卡顿
- 识别
- vmstat 中 si / so 持续非零,major fault 高
- 应用 P99 延迟升高、iostat %util 高但业务读文件很少
- 定位进程
- smem -s swap 按 swap 占用排序
- 处理
- 降低 swappiness
- 为核心服务设置 cgroup MemorySwapMax=0 禁止其换出
- 增大物理内存或拆分高内存服务到多机
3.10 内存泄漏与 OOM 排查
3.9.2 与 3.9.5 给出内存泄漏与 OOM 的基础识别方式,本节按日志取证、进程内存归因、内核与宿主维度、处置顺序展开可执行的排查路径。
3.10.1 OOM 日志的取证与字段解读
dmesg -T | grep -iE 'invoked oom-killer|Out of memory|Killed process|oom_reaper'
journalctl -k --since today | grep -i oom
journalctl -k -b -1 | grep -i oom # 上一次启动的内核日志
日志中按出现顺序需要确认的内容:
invoked oom-killer: gfp_mask=... order=...:OOM 由哪条分配路径触发;order大于 0 表示高阶分配失败,可能由外碎片引起(见 3.9.4)oom_score_adj与total-vm、anon-rss、file-rss、shmem-rss:候选进程的虚拟内存与各类驻留内存构成Tasks state (memory values in pages):候选进程的oom_score对比,分数最高者被杀Out of memory: Killed process <PID> (<进程名>) total-vm:... anon-rss:... oom_score:...:最终被杀对象及其内存构成Memory cgroup out of memory与oom_group_kill:由 cgroup 限额触发,而非整机内存耗尽
两类 OOM 的区分:
- 整机 OOM:同一段日志的 Mem-Info 中 MemFree 与 SwapFree 均接近 0,被杀对象由全局打分决定
- cgroup OOM:宿主机仍有可用内存,某组因触达 memory.max 被杀;该组未设置 memory.oom.group 时,内核只杀死组内分数最高的进程,其余进程继续运行并可能反复触发
3.10.2 oom_score_adj 的调节与风险
/proc/PID/oom_score_adj取值 -1000 ~ 1000,叠加到基础分上;-1000 表示该进程不被 OOM 选中,1000 表示最优先被杀/proc/PID/oom_score是最终得分,只读;该值随进程内存占用变化,需与实际 RSS 一同观察- 单元级配置使用 OOMScoreAdjust(写法见 3.9.5)
- 风险点:
- 把关键进程设为 -1000 只是把被杀目标转移,内核可能改杀 sshd、监控代理等同样关键的进程
- 多个进程同时设为 -1000 时,非豁免进程承担全部被杀风险,故障范围反而扩大
- 在 cgroup 限额场景下,组内进程若全部被豁免,内核会撤销最低分进程的豁免后再杀,结果不可预期
- 该值只改变被杀顺序,不限制内存增长,属缓解手段而非修复手段
- cgroup v2 的整组处置:向
memory.oom.group写入 1 后,触发 OOM 时同一 cgroup 内的所有进程作为整体被杀,避免组内部分进程存活导致状态不一致
cat /proc/<PID>/oom_score
cat /proc/<PID>/oom_score_adj
echo 500 > /proc/<PID>/oom_score_adj
echo 1 > /sys/fs/cgroup/<路径>/memory.oom.group
cat /sys/fs/cgroup/<路径>/memory.oom.group
3.10.3 cgroup v2 的事件与用量观测
cat /sys/fs/cgroup/system.slice/nginx.service/memory.events
cat /sys/fs/cgroup/system.slice/nginx.service/memory.current
cat /sys/fs/cgroup/system.slice/nginx.service/memory.peak
cat /sys/fs/cgroup/system.slice/nginx.service/memory.stat
字段判读:
low、high、max:memory.low 保护失效、memory.high 触达、memory.max 触达的累计次数oom、oom_kill:该组进入 OOM 流程与被杀进程的累计次数,大于 0 说明已发生实际杀进程memory.peak为峰值用量(需较新内核),用于核对限额设置是否贴合真实需求memory.stat中anon、file、slab、pgfault、pgmajfault、workingset_refault用于区分增长来源;pgmajfault与workingset_refault增长说明工作集被反复换出换入,延迟会明显上升
判读结论的用途:high 计数持续增长说明应用长期超出软上限、频繁触发限速回收,应先调整软上限或降低应用占用;oom_kill 大于 0 时按 3.10.1 追溯被杀进程。
3.10.4 单进程内存增长的排查顺序
- 确认统计口径:RSS 包含与其他进程共享的页,多进程场景会重复统计;PSS 按共享者数量均摊,是判断"谁在增长"的首选口径(见 3.2.1、3.2.2)
- 定位大户与分项:先用 RSS 排序找到候选进程,再读
smaps_rollup的 Rss、Pss、Shared_Clean、Shared_Dirty、Private_Clean、Private_Dirty、Anonymous、Swap - 区分堆与堆外:
pmap -x输出中[heap]段增长属分配器堆增长,[anon]段大量增加属 mmap 匿名映射(线程栈、语言运行时、直接内存),[stack]与共享库段通常稳定 - 观察趋势:RSS 是否随请求量线性上升、是否在业务低峰回落;单调上升且不回落才符合泄漏特征(见 3.9.2)
- 定位分配点:开发与测试环境用 Valgrind memcheck、AddressSanitizer、mtrace;生产环境优先使用语言运行时自带接口,如 Java 的堆转储与 Native Memory Tracking、Go 的 pprof
- 核对共享内存与 tmpfs:/dev/shm 与共享映射的占用计入 RSS,增长可能来自应用写入共享内存,而非私有内存泄漏
ps -eo pid,user,rss,vsz,cmd --sort=-rss | head
cat /proc/<PID>/smaps_rollup
pmap -x <PID> | sort -k3 -n | tail
watch -n 10 'grep -E "^(Rss|Pss|Anonymous|Private_Dirty)" /proc/<PID>/smaps_rollup'
说明:smaps_rollup 提供全部映射段的汇总值,读取一次即可获得总量,比逐段读取 smaps 开销小,适合周期性采样;Anonymous 与 [anon] 段的增长通常指向应用自身分配,Shared 类字段的增长更多与共享库、共享内存有关。
坑点:pmap、smaps_rollup 与 ps 的 RSS 单位均为 KB,与 top 的 RES 口径一致;比较不同工具数值前先确认单位与采样时刻,瞬时值差异不能直接判定为增长。
3.10.5 Java 进程堆外内存与容器上限
JVM 的实际占用大于 -Xmx 指定的堆:
- 堆:由 -Xmx 设定上限,堆内增长可通过堆转储分析
- Metaspace:类元数据,由
-XX:MaxMetaspaceSize限制,未设置时受本地内存与容器限额约束 - 线程栈:
-Xss与线程数的乘积,线程数多时占用显著 - 直接内存与 NIO 缓冲:由
-XX:MaxDirectMemorySize限制,默认近似等于堆上限 - 代码缓存、GC 结构、JIT 编译产物、JNI 及第三方本地库:属本地内存,不计入堆
与容器内存上限的关系:
- 未显式设置 -Xmx 时,JVM 依据容器限额按百分比推导,
-XX:MaxRAMPercentage默认 25%,-XX:InitialRAMPercentage默认 1.5625%,堆上限随容器限额变化 - 显式设置 -Xmx 时,容器限额必须大于堆上限加堆外占用,常用做法是给堆外与线程栈预留 25%~30%;否则堆未达上限而容器已触达 memory.max,表现为容器被 OOM 而堆转储显示堆内仍有余量
- 判断顺序:先比较容器限额、进程 RSS 与堆用量三项数值,再确认堆外部分由哪一类组成
# 容器内确认 JVM 实际生效参数与堆上限
java -XX:+PrintFlagsFinal -version | grep -Ei 'MaxHeapSize|MaxRAMPercentage|MaxDirectMemorySize'
jcmd <PID> VM.flags
jcmd <PID> GC.heap_info
# 开启本地内存跟踪后查看堆外构成
java -XX:NativeMemoryTracking=summary -jar app.jar
jcmd <PID> VM.native_memory summary
# 宿主机核对容器限额与进程 RSS
cat /sys/fs/cgroup/system.slice/docker-<容器ID>.scope/memory.max
grep -E 'VmRSS|VmData' /proc/<PID>/status
说明:VM.native_memory summary 把 Java Heap、Class、Thread、Code、GC、Internal、Other 分开统计,可直接看出堆外增长来源;Native Memory Tracking 会带来约 5%~10% 的性能开销,仅用于排查场景。
坑点:jcmd VM.flags 显示当前进程实际生效的参数,与镜像中写死的启动参数不一致时应以该输出为准;容器内读取的 /proc/meminfo 在部分运行时下仍是宿主机数据,判断是否受限应以 cgroup 接口文件为准。
3.10.6 Go 进程的 RSS 组成
Go 运行时向内核申请内存以 arena 形式管理,RSS 由以下部分构成:
- 堆中仍在使用或尚未被 GC 回收的对象
- 已归还给运行时但尚未归还操作系统的空闲 span,运行时默认延迟归还,受
GODEBUG=madvdontneed与内核 MADV_FREE 行为影响 - goroutine 栈与线程栈
- mcache、mspan、位图等运行时结构
- CGO 分配与 cgo 调动线程的栈空间
判读要点:
- GC 完成后 RSS 不下降属常见现象,运行时保留内存以备复用,判断堆是否稳定应看 heap inuse 与 released,而不是单看 RSS
- RSS 长期单调上升而堆内用量稳定,说明增长在堆外或 CGO 路径;两者同步上升则为真实堆增长
- 限制手段:用 GOGC 调整回收频率,用 GOMEMLIMIT 设定软内存上限使运行时更积极回收;容器中仍应保留 memory.max 作为硬上限
GODEBUG=gctrace=1 ./app # 打印每次 GC 的堆大小与目标值
go tool pprof http://127.0.0.1:6060/debug/pprof/heap
cat /proc/<PID>/smaps_rollup
grep -E 'VmRSS|VmData' /proc/<PID>/status
说明:gctrace=1 输出的堆大小与回收目标用于判断堆是否稳定;pprof 的 inuse_space 对应当前占用、alloc_space 对应累计分配,定位泄漏应看 inuse_space 的长期趋势。
坑点:GOMEMLIMIT 是软限制,超过时运行时加快回收而不是拒绝分配,不能替代容器的 memory.max;两者相差过大时仍会触发容器 OOM。
3.10.7 slab 泄漏的判定
内核 slab 的增长可能来自可回收缓存(dentry、inode_cache),也可能来自不可回收的内核对象(kmalloc-*、task_struct、网络缓冲),二者性质不同。
sudo slabtop -o -s c | head -n 20
grep -E '^(dentry|inode_cache|kmalloc-|task_struct|skbuff_head_cache)' /proc/slabinfo
grep -E 'Slab|SReclaimable|SUnreclaim' /proc/meminfo
判定方法:
- 间隔采样比对:记录两次
slabtop -o或/proc/slabinfo中目标缓存的 Active objects 与 Num objects,短时间内持续增长且不回落才具备泄漏特征 - 区分可回收与不可回收:
SReclaimable对应的 dentry、inode_cache 属可回收缓存,内存紧张时会被回收,其增长本身不构成泄漏;SUnreclaim持续增长才是内核侧泄漏的主要嫌疑 - 交叉验证:执行缓存丢弃后 dentry 与 inode_cache 明显下降,说明此前占用属缓存性质(该操作会丢弃缓存并引起后续读盘,仅在排查时短时使用,注意事项见 3.4)
- 结合业务判断:dentry 增长通常伴随大量目录遍历或大量小文件访问;kmalloc-* 类缓存需结合具体驱动或子系统定位,缓存名与内核版本的对应关系可查内核源码
3.10.8 页缓存增长是否属于泄漏
- 看 available 而不是 free 或 cached(口径见 3.1.1):available 充足时,Cached 增长属系统利用空闲内存加速文件 IO,不构成泄漏
- 看可回收性:文件页在内存压力下可被直接丢弃并重新读盘,Cached 高但在压力下能够回落,不属泄漏;匿名页与不可回收 slab 才是回收压力的来源
- 区分 tmpfs 与共享内存:tmpfs(含 /dev/shm)计入 Cached 与 Shared,写满后占用真实内存且不可回收,是"页缓存假泄漏"的常见来源,需核对
df -h /dev/shm与 free 的 shared 列 - 观察回收效果:内存紧张时 Cached 应显著下降,可查看 /proc/vmstat 中
pgscan_*、pgsteal_*与workingset_refault的变化;若 Cached 不降而 available 持续下降,增长来源不在文件页 - 结论:页缓存增长本身不是泄漏,需要处理的是匿名内存、不可回收 slab 与 tmpfs 占用
free -h
grep -E 'MemAvailable|Cached|Buffers|Slab|SReclaimable|SUnreclaim|Shmem' /proc/meminfo
df -h /dev/shm /tmp
grep -E 'pgscan_|pgsteal_|pgmajfault' /proc/vmstat
3.10.9 处置顺序
- 限流降载:降低并发、暂停批量任务、缩短请求超时,先减缓增长速度为后续操作争取时间
- 重启:确认业务窗口后滚动重启,重启前完整保留现场,包括堆转储、Native Memory Tracking 报告、smaps_rollup 快照、memory.events 与相关日志,重启后现场不可恢复
- 扩容:调大 memory.high 与 memory.max,或增加物理内存;使用 swap 只能延迟 OOM 并引入性能抖动(见 3.9.6)
- 修复代码:把现场数据交接给开发侧定位分配点,修复后以相同压测条件验证,确认修复前不应关闭 cgroup 硬上限
- 长期措施:为服务设置 memory.high 提前限速、memory.max 兜底、memory.oom.group 保证整组一致,并把 memory.events 中 oom_kill 与 high 的计数纳入告警
四、总结
-
内存管理起源于直接物理内存的容量、安全与地址冲突三类问题,借助局部性引入虚拟地址与分层缓存/回收机制
-
原理核心是虚拟地址空间、页表与 TLB、分配器(buddy+slab+用户态分配器)、缺页中断、COW、页缓存、LRU 回收、swap、共享内存与 mmap、overcommit、大页、cgroups 内存限制
-
实现覆盖系统级与进程级内存查看、free/available/buffers/cache 区分、缺页、回写、swap、大页、cgroups、overcommit 等命令,以及内存泄漏、碎片、OOM、页表膨胀、Swap 滥用等高频问题排查路径
-
页缓存与 IO 路径调优同linux:页缓存与 IO 性能专题共享同一底层概念,可交叉阅读;cgroups 内存限制与进程管理文档的 cgroups 章节对应