内容总览

linux: 内存管理 思维导图

一、起源:内存管理解决的问题

1.1 直接物理内存的局限

早期计算机内存小,程序完全装入物理内存后执行。多程序并发运行时,暴露三类问题:

  1. 容量不足:多程序同时常驻内存,物理内存快速耗尽
  2. 安全缺失:程序直接操作物理地址,可越界读写其他程序或内核内存
  3. 地址冲突:程序链接时写死加载地址,多个程序地址重叠,无法并存运行

1.2 程序访问的局部性

程序不会在同一时刻访问全部代码与数据,存在两类局部性:

  1. 时间局部性:近期被访问的内容,短期内大概率被再次访问
  2. 空间局部性:某地址被访问后,其相邻地址大概率被连续访问

局部性是缓存(CPU Cache、Page Cache)与换出策略(LRU)有效性的前提。

1.3 内存作为稀缺资源

多进程并发运行时,物理内存总量远小于所有进程虚拟地址空间的总和。需要:

  1. 分配:在进程间公平分配物理页
  2. 隔离:各进程地址空间独立,避免相互干扰
  3. 回收:内存紧张时,淘汰不常用页或换出到磁盘
  4. 扩展:必要时借助 swap 用磁盘空间扩展内存容量

1.4 内存虚拟化的诞生

硬件 MMU(内存管理单元)与内核页表配合,引入虚拟地址概念:

  1. 每个进程拥有独立虚拟地址空间,程序链接与运行地址统一
  2. 虚拟地址经 MMU 翻译得到物理地址,翻译过程由内核页表定义
  3. 未映射或权限不足时触发缺页中断,由内核按需分配或读入

由此实现进程隔离、数据共享、内存超额分配(overcommit)三大目标。

二、原理:内存管理如何工作

2.1 虚拟地址空间

2.1.1 地址空间大小

  1. 32 位:4GB,典型布局为用户空间 3GB(0x00000000 ~ 0xBFFFFFFF)+ 内核空间 1GB(0xC0000000 ~ 0xFFFFFFFF)
  2. 64 位(x86_64):架构虚拟 64 位,实际仅使用低 48 位,共 256TB 可寻址
    • 用户空间:0x0000000000000000 ~ 0x00007FFFFFFFFFFF(128TB)
    • 内核空间:0xFFFF800000000000 ~ 0xFFFFFFFFFFFFFFFF(128TB)
    • 中间空洞不允许访问,触发 #PF

2.1.2 用户空间布局(低地址→高地址)

  1. 代码段 .text:只读,可执行,存放机器指令
  2. 数据段 .data:已初始化的全局变量与静态变量(可读可写)
  3. BSS 段:未初始化的全局变量与静态变量,程序加载时清零
  4. 堆:动态分配内存,malloc 小内存来源,从低向高增长
  5. mmap 区:共享库映射、mmap 匿名映射、文件映射,堆与栈之间
  6. 栈:函数调用栈、局部变量,从高向低增长
  7. vDSO / vvar:内核映射的少量用户态可读页,用于无需切换内核的快速系统调用(如 gettimeofday),位于栈上方

2.1.3 内核空间布局(64 位典型)

  1. 线性直接映射区:低地址物理内存与内核虚拟地址一一对应,减去偏移量即可转换物理地址,用于 slab 分配与内核栈等
  2. vmalloc 动态映射区:非连续物理页映射为连续虚拟页,用于大但物理可离散的内核分配
  3. 高端内存映射:仅 32 位场景存在,临时窗口将高位物理页映射到内核空间
  4. 页表区:页表自身占用的内核内存
  5. 固定映射区:预留虚拟地址固定映射到特定用途(如 IO 寄存器、ACPI 表)

2.2 页与页表

2.2.1 页尺寸

页是内存管理的基本单位:

  1. 常规页:4KB(绝大多数架构默认)
  2. 大页(hugepage):2MB(PMD 级)与 1GB(PUD 级)
    • 减少页表层级,降低 TLB miss 率
    • 适合常驻内存的大块数据(如数据库共享缓冲池)

2.2.2 页表

页表以多级树结构存储"虚拟页 → 物理页"映射,节省稀疏映射空间。

x86_64 4 级页表(虚拟地址拆分):

  1. PGD(Page Global Directory):每进程一颗,根指针存 task_struct->mm->pgd
  2. PUD(Page Upper Directory):若启用 5 级分页则存在 P4D,4 级时 PGD 直接指向 PMD
  3. PMD(Page Middle Directory):若为 1GB 大页,PMD 条目直接指向物理页
  4. PTE(Page Table Entry):最末级条目,指向 4KB 物理页或 2MB 大页时 PMD 即为末级

每条 PTE 携带权限与状态位:

位 含义
P(Present) 该条目是否有效指向物理页
R/W 页是否可写
U/S 用户态是否可访问(User/Supervisor)
PWT / PCD 内存缓存策略(WriteThrough / CacheDisable)
A(Accessed) 该页是否被访问过
D(Dirty) 该页是否被写入过(回收时需回写)
G(Global) 切换进程不刷新 TLB 条目(内核页常用)
NX(No eXecute) 页禁止执行(DEP/SMEP 等安全机制依赖)

2.2.3 TLB(翻译后援缓冲)

  1. CPU MMU 内部的小型高速缓存,存储近期的"虚拟页号→物理页号"翻译
  2. TLB 命中:免查页表,地址翻译 1 个时钟周期完成
  3. TLB 缺失:执行硬件页表遍历(现代 CPU)或软件处理,耗时数十至数百周期
  4. 大页优势:每 TLB 条目覆盖 2MB / 1GB,减少 TLB miss 率
  5. 切换进程时 TLB 刷新(CR3 写入),除非页表条目标记 G

2.3 分配器

2.3.1 内核伙伴系统(Buddy System)

  1. 职责:按 2^n 阶(n=0..MAX_ORDER)分配连续物理页,阶数越大连续页数越多
  2. 分配:从目标阶链表取一块,不存在则从高一阶拆分两块,伙伴关系记录在 bitmap
  3. 释放:归还到对应阶链表,若相邻伙伴也空闲则合并为高一阶,递归向上
  4. 优点:分配连续页迅速,合并策略解决外碎片

外碎片:离散空闲小页无法凑出大连续页的问题。

2.3.2 slab / slub 分配器

从伙伴系统拿整页(2^n 阶)后切割为固定尺寸对象,解决内碎片并加速高频小对象分配。

内碎片:给请求分配比实际更大的块导致的浪费。

  1. slab 三种实现
    • slab(原始):每 CPU 共享缓存,对象着色提升 CPU Cache 利用
    • slub(当前默认):简化设计,移除部分元数据,减少锁竞争
    • slob:用于嵌入式极小内存系统
  2. 典型缓存
    • task_struct、inode、dentry、filp、skb 等内核高频对象
    • 每类对象对应 kmem_cache,一组专用 slab 链表
  3. 冷热缓存
    • 热缓存:CPU 本地缓存,可能已命中 CPU Cache,分配快
    • 冷缓存:从共享链补充,分配慢但跨 CPU 均衡
  4. 通用接口
    • kmalloc(基于 slab,小于 PAGE_SIZE 的连续虚拟+物理分配)
    • vmalloc(虚拟连续、物理离散,vmalloc 区映射)

2.3.3 用户态分配器

向内核申请大块后在用户态二次切分,供 malloc/free 使用。

  1. 内存获取方式
    • brk:调整堆边界(program break),适合小内存分配
    • mmap MAP_ANONYMOUS:申请匿名映射段,适合大内存(通常 > 128KB 阈值)
  2. 常见实现
    • ptmalloc2:glibc 默认,多线程 arena 减少锁竞争;多线程释放回其他线程 arena 时难归还 OS
    • jemalloc:Firefox、Redis 默认,多层 arena+分级,碎片率低,主动归还 OS
    • tcmalloc:Google 实现,Thread Caching,分配路径短,高并发性能优
  3. 分配器属性
    • 内存分配成本、碎片率、可归还 OS、多核扩展性

2.4 缺页中断(Page Fault)

访问虚拟地址时,MMU 查页表若发现 P=0(无映射)或权限不符,触发缺页中断。

2.4.1 分类

  1. 次缺页 minor fault
    • 物理页已在内存中,仅缺页表映射
    • 常见场景:共享库首次引用、COW 写入前共享页、malloc 后首次触达
    • 常见场景:共享库首次引用、COW 写入前共享页、malloc 后首次触达
    • 仅需补 PTE 条目,开销小,无磁盘 IO
  2. 主缺页 major fault
    • 物理页不在内存,需从磁盘读入
    • 常见场景:程序代码/数据首次加载、swap 换入、mmap 文件被访问
    • 涉及阻塞 IO,开销高,程序卡顿

2.4.2 处理流程

  1. CPU 触发 #PF,压栈进入内核
  2. 内核根据 CR2 寄存器拿到缺页虚拟地址
  3. 查找 VMA(进程地址空间段描述)判断地址是否合法
  4. 不合法 → 发送 SIGSEGV 终止进程(段错误)
  5. 合法 → 分配页或从磁盘/swap 读入 → 建 PTE → 标记权限 → IRET 返回,重试被中断指令

2.5 写时复制(COW)

fork 创建子进程时,避免复制父进程全部物理页:

  1. 父子共享全部物理页,PTE 标记只读 + COW 标志
  2. 任意一方写入时触发缺页中断 → 分配新页 → 复制原页内容 → 双方 PTE 分别指向新旧页、恢复可写
  3. 未写入的页面保持共享,节省 fork 后立即 exec 场景的巨大复制开销

其他应用:mmap MAP_PRIVATE 私有文件映射,写入时生成私有副本,不落盘到原文件。

2.6 页缓存(Page Cache)

磁盘文件内容以页为单位缓存到物理内存,减少重复磁盘 IO。

  1. 读路径
    • read 命中缓存直接返回,未命中则分配页 → 读磁盘 → 入缓存 → 返回
  2. 写路径
    • write 默认写入页缓存标记 Dirty 后立即返回(延迟写)
    • 脏页由 pdflush / writeback 线程按时间或脏页比例回写磁盘
  3. 缓存占比
    • 多数 Linux 系统 free 输出中 buff/cache 可占大量内存,属正常现象
    • 内存紧张时可回收,不属于"真正占用无法释放"
  4. 相关工具与调优,详见文件管理目录下《页缓存与 IO 性能》专题文档

buffer 与 cache 的区别(见实现章节 free 输出解读)。

2.7 回收机制(Page Reclaim)

2.7.1 水线触发

节点空闲内存设三档水线(watermark):

  1. high:空闲充足,不回收
  2. low:唤醒 kswapd 内核线程后台异步回收
  3. min:空闲严重不足,当前进程被阻塞同步直接回收(direct reclaim),业务抖动

2.7.2 回收对象

  1. 匿名页(堆、栈、匿名 mmap、进程私有 COW 页)
    • 干净:无磁盘原件,只能换出到 swap 分区/文件后回收
    • 脏:同上,写 swap 后回收
  2. 文件页(页缓存、mmap 共享文件页)
    • 干净:直接丢弃,后续访问重新读文件
    • 脏:先回写磁盘再丢弃

2.7.3 LRU 双链表

将页按近期访问热度拆分:

  1. 不活跃链表(inactive list):久未访问,优先回收
  2. 活跃链表(active list):频繁访问,回收前需先降级到不活跃
  3. 访问机制
    • 新页先放 inactive,命中时标记访问位
    • 再次访问时晋升到 active,实现简易 LRU
  4. 回收路径先扫描 inactive 尾部,遇到未访问页直接回收

2.7.4 PFRA 回收框架

内核 Page Frame Reclaim Algorithm,负责扫描 LRU、写回、压缩、OOM 触发。

2.8 内存碎片与规整(compaction)

2.8.1 碎片来源

伙伴系统虽有合并机制,但长期分配释放离散页,导致:

  1. 外碎片:空闲页总量足够但连续块不足,高阶分配(2MB 连续、大页)失败
  2. 典型表现:/proc/buddyinfo 高阶阶数空闲极少,低阶空闲富余

2.8.2 规整机制 kcompactd

  1. 触发:高阶分配失败且直接回收无法凑出连续块时唤醒
  2. 做法:把非连续占用的可移动页(文件页、匿名页)迁移到空闲高区,腾出下方连续物理页
  3. 分类:可移动(MIGRATE_MOVABLE)、可回收、不可移动(内核 slab 类)
    • 不可移动页是碎片顽因来源,CMA(连续内存分配器)技术将大内存区预留给可移动用途

2.9 swap

2.9.1 作用与对象

用磁盘空间扩展内存容量,把不活跃匿名页换出到 swap 分区或 swap 文件。

  1. 仅匿名页可换出(堆/栈/匿名 mmap)
  2. 文件页不经过 swap:干净直接丢弃,脏页写回原文件
  3. 换出流程:kswapd 选择匿名页 → 分配 swap 槽位 → 写磁盘 → 释放物理页
  4. 换入流程:再次访问触发 major fault → 读 swap → 分配页 → 恢复 PTE

2.9.2 swappiness

/proc/sys/vm/swappiness(0~100)控制回收倾向:

  1. 0:尽量不换出匿名页,仅在必须时换出;不等于禁用 swap
  2. 60:默认值,文件页与匿名页大致平衡回收
  3. 100:积极换出匿名页,优先保留页缓存

桌面与高 IO 场景偏低值;批量后台任务可适当提高。

2.9.3 swap 优先级

多 swap 设备时,高优先级优先使用;可将高速 SSD 的 swap 优先级高于 HDD。

2.10 共享内存

同一块物理页映射到多个进程的地址空间,进程间直接读写,无需内核介入拷贝。

  1. System V 共享内存(shmget / shmat / shmdt)
    • 全局 key 标识,生命周期随内核,ipcs -m 查看
  2. POSIX 共享内存(shm_open + mmap)
    • 挂载 tmpfs 于 /dev/shm,以文件名标识,权限模型与文件一致
  3. mmap MAP_SHARED 普通文件
    • 多进程共享映射,写入同步回原文件,兼具 IPC 与持久化
  4. 注意:共享内存需配合信号量、互斥锁、条件变量等实现同步

2.11 mmap 内存映射

将文件或匿名区域映射到调用进程虚拟地址空间,按页由缺页中断按需加载。

2.11.1 四类组合

类型 映射来源 写入行为 落盘方式
MAP_PRIVATE + 文件 文件内容私有副本 写时复制生成私有页,不影响原文件或其他进程 不落盘
MAP_SHARED + 文件 共享页缓存 写入即修改其他进程视图 msync / writeback 落盘
MAP_PRIVATE + ANONYMOUS 零页 写时复制分配物理页 不涉及文件
MAP_SHARED + ANONYMOUS 共享物理页 父子/亲缘进程共享修改 不涉及文件,进程间 IPC

2.11.2 mmap vs read/write

  1. mmap 优势:零拷贝(直接操作页缓存)、随机访问高效、无需用户态缓冲
  2. mmap 劣势:小文件开销高、缺页中断引入不可控延迟、需整页对齐
  3. 适用场景:大文件随机读、跨进程共享内存

2.12 过度承诺(overcommit)

允许进程申请的虚拟内存总和超过物理内存 + swap 实际可用量。

  1. vm.overcommit_memory
值 策略 说明
0 启发式(默认) 明显超量请求拒绝,其他允许
1 始终允许 强制 overcommit,不可被 malloc 返回空阻塞
2 严格禁止超量 总申请 ≤ RAM * overcommit_ratio / 100 + swap
  1. vm.overcommit_ratio:策略 2 时的比例,默认 50
  2. 风险:overcommit 可能导致后续使用时物理耗尽,触发 OOM Killer 杀进程

2.13 大页(Huge Page)

2.13.1 显式大页 hugetlbfs

  1. 预留固定数量大页,不参与伙伴系统与回收
  2. 配置
    • vm.nr_hugepages:预留 2MB 大页数量
    • 挂载 hugetlbfs:mount -t hugetlbfs none /dev/hugepages
    • 应用调用 mmap MAP_HUGETLB 或 shmget 使用
  3. 观察:/proc/meminfo HugePages_Total / Free / Rsvd / Surplus

2.13.2 透明大页 THP(Transparent HugePage)

  1. 自动将匿名内存 4KB 页合并为 2MB 大页,无需应用改代码
  2. 启用模式:always / madvise / never
    • always:所有匿名内存尝试 THP
    • madvise:仅应用标记 MADV_HUGEPAGE 的区域
    • never:关闭
  3. 争议:数据库类延迟敏感业务常见关闭 THP,因后台 khugepaged 合并引入不可控抖动

2.14 与进程管理、cgroups 的关系

  1. 每个进程 task_struct 指向 mm_struct,记录全部地址空间、页表、VMA 树
  2. cgroups memory 子系统按 cgroup 粒度限制内存使用
版本 关键接口
cgroup v1 memory.limit_in_bytes / memory.memsw.limit_in_bytes(含 swap)/ memory.usage_in_bytes
cgroup v2 memory.max(硬上限)/ memory.low(保护阈值)/ memory.swap.max / memory.current

memory.low:若组内使用低于 low,且系统内存紧张,优先从其他组回收,提供保护性下限。

与进程管理文档的 cgroups 资源限制章节对应,此处聚焦内存维度。

三、实现:内存管理命令与排查

3.1 系统级总览

3.1.1 free 输出解读

free -h                # 人类可读单位;-w 单独显示 buffer cache

列含义:

列 含义
total 物理内存总量
used 已使用内存:total - free - buffers - cache
free 完全未使用的内存,不含可回收缓存
shared 共享内存(tmpfs 与共享映射)
buff/cache buffers + cached(含 reclaimable slab)
available 应用实际可拿到的内存估算:free + 可回收文件页 + 可回收 slab,更接近真实可用

重点:available ≠ free。当 buff/cache 高但 available 仍充足时,属系统利用空闲内存缓存文件的正常现象,无需干预。

buffer 与 cache 区别:

  1. buffers:块设备层级的元数据缓存(如文件系统元数据、磁盘目录项、raw 块设备 IO 缓冲),大小通常较小
  2. cache:文件内容页缓存(Page Cache),占大头,含 tmpfs/shmem
  3. 性能分析与回收主要关注 cache

3.1.2 /proc/meminfo

核心字段:

grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapTotal|SwapFree|Slab|SReclaimable|PageTables|HugePages' /proc/meminfo
  • MemAvailable:同 free available 列

  • Cached:页缓存 + tmpfs/shmem

  • Slab:内核 slab 总占用;SReclaimable 其中可回收(dentry/inode 缓存)

  • PageTables:页表占用,异常高表示进程过多或碎片严重

  • Dirty / Writeback:待回写脏页与正在回写页数

  • AnonPages:匿名页总数(堆/栈/匿名 mmap)

3.1.3 vmstat / sar

vmstat 1             # 每秒一行:si/so 为 swap 换入换出(KB),bi/bo 块 IO,r/b 运行/阻塞队列
sar -r 1             # 内存使用率与可用率
sar -B 1             # pgpgin/pgpgout(磁盘IO)、faults/majflt(缺页与主缺页)
sar -W 1             # pswpin/pswpout(swap 换入换出页)
sar -H 1             # HugePages 统计

3.2 进程级内存

3.2.1 ps / top 常用列

ps -eo pid,user,rss,vsz,%mem,min_flt,maj_flt,cmd --sort=-rss | head
top            # RES = RSS;VIRT = VSZ;SHR = 共享映射大小(RSS 中与其他进程共享的估算)
  • VSZ / VIRT:虚拟地址空间大小(含未分配页,巨大不代表实际占用)

  • RSS / RES:实际驻留物理页(含共享库,多进程会重复统计)

  • %MEM:RSS / 总物理内存

  • min_flt / maj_flt:累计次缺页与主缺页

3.2.2 /proc/PID 详细信息

cat /proc/PID/status
# 关注 VmPeak/VmSize(虚拟峰值/当前)、VmRSS(驻留)、VmData(堆)、VmStk(栈)、
# VmExe/VmLib(执行文件/共享库)、VmSwap(被换出到 swap 的 KB)、VmPTE(页表占用)、Threads

cat /proc/PID/smaps | less     # 每段映射 PSS/RSS/Shared_Clean/Dirty/Swap
  • PSS(Proportional Set Size):RSS 按共享进程数均摊后的实际占用,是多个进程总占用统计的最佳口径

  • PSS 聚合工具:smem -t -u 按用户、按进程 PSS 排序

3.2.3 pmap

pmap -x PID           # 每段映射的 RSS、Dirty、Mode,与 smaps 对应但命令行更紧凑

3.3 缺页统计

ps -eo pid,min_flt,maj_flt,cmd | sort -k3 -nr | head   # 主缺页高的进程(大量读盘或 swap)
sar -B 1          # pgfault/s(总缺页)、majflt/s(主缺页)
perf stat -e page-faults,minor-faults,major-faults -p PID sleep 10

3.4 页缓存与回写

# 强制回写脏页
sync                 # 等待全部脏页写回
sync -f /path        # 针对某文件系统

# 手动丢弃缓存(调试用,生产需谨慎,先 sync)
echo 1 > /proc/sys/vm/drop_caches   # 1 丢弃页缓存;2 丢弃 dentries/inodes;3 全部

# 脏页回写水位(默认单位百分比)
sysctl vm.dirty_ratio                     # 进程占内存脏页触发同步回写(默认 20%)
sysctl vm.dirty_background_ratio          # 后台 writeback 触发(默认 10%)
sysctl vm.dirty_expire_centisecs          # 脏页存活超过该时间强制回写(默认 3000=30s)

# 检查某文件在页缓存中的驻留(vmtouch 需安装)
vmtouch -v /path/to/file                  # 驻留页数
vmtouch -t /path/to/file                  # 将文件载入缓存(预热)

3.5 swap 管理

# 查看与启用
cat /proc/swaps
swapon --show
swapon /dev/sdb2           # 启用交换分区
swapon /swapfile           # 启用交换文件
swapoff /swapfile          # 关闭(换入回内存,需时间)

# 创建 swap 文件
fallocate -l 8G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
# /etc/fstab 追加:/swapfile none swap defaults 0 0

# swappiness
sysctl vm.swappiness=10
echo 'vm.swappiness=10' >> /etc/sysctl.conf

# 查看各进程 swap 占用
smem -t -k -s swap
for pid in $(pidof nginx); do grep -E 'VmSwap|Name' /proc/$pid/status; done

3.6 大页配置

# 预留 2MB 大页(立即生效)
sysctl vm.nr_hugepages=2048

# 查看状态
grep -i huge /proc/meminfo
cat /sys/kernel/mm/transparent_hugepage/enabled   # always/madvise/never

# 关闭 THP(数据库等低延迟业务常用)
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 挂载 hugetlbfs
mount -t hugetlbfs -o uid=997,gid=997,mode=0770,pagesize=2MB none /dev/hugepages

3.7 cgroups 内存限制

# cgroup v2 例子:限制 nginx 服务内存 2G、swap 200M
systemctl set-property nginx.service MemoryMax=2G MemorySwapMax=200M

# 查看限制与当前用量
cat /sys/fs/cgroup/system.slice/nginx.service/memory.max
cat /sys/fs/cgroup/system.slice/nginx.service/memory.current
cat /sys/fs/cgroup/system.slice/nginx.service/memory.events   # oom 次数、high 命中次数

# cgroup v1 路径
ls /sys/fs/cgroup/memory/system.slice/nginx.service/
cat memory.limit_in_bytes memory.memsw.limit_in_bytes memory.usage_in_bytes

3.8 overcommit

sysctl vm.overcommit_memory=2
sysctl vm.overcommit_ratio=80

模式 2 时上限 = RAM * overcommit_ratio / 100 + swap。

3.9 常见问题排查

3.9.1 Buffer / Cache 很高,free 很低是否异常

  1. 先看 available:available 充足 → 正常,系统在利用空闲内存加速文件 IO
  2. available 不足 → 进入下一步排查谁占内存,或触发回收/换出
  3. 不可盲目执行 drop_caches:临时释放但文件读会立即回填,造成后续性能回退

3.9.2 内存泄漏

  1. 特征:业务流量平稳下 VmRSS / VmData 单调上升、不回落
  2. 定位
    • pmap / smaps 观察是堆段增长、mmap 段增长还是共享库异常
    • glibc:设置 MALLOC_CHECK_、mtrace、或替换 jemalloc/tcmalloc 观察
    • Valgrind memcheck / AddressSanitizer:开发环境精确定位泄漏点与调用栈

3.9.3 页表膨胀(VmPTE 偏高)

  1. 特征:/proc/PID/status VmPTE 每进程几十 MB 以上;系统总 PageTables 数 GB
  2. 常见原因:
    • 进程/线程数极多(线程栈 + 页表)
    • 大量离散小 mmap(典型:Java metaspace、GHC/Go 运行时)
  3. 缓解
    • 合并 mmap 或使用大页降低页表条目
    • 控制进程与线程数

3.9.4 高阶分配失败(碎片)

  1. 识别
cat /proc/buddyinfo                  # 高阶节点空闲极少 → 外碎片严重
dmesg | grep -i 'page allocation failure' | tail
  1. 手动触发规整(生产需谨慎,可能阻塞)
echo 1 > /proc/sys/vm/compact_memory
  1. 长期缓解:定期计划内重启、开启 THP、使用 CMA 预留连续区

3.9.5 OOM Killer

  1. 识别日志
dmesg -T | grep -i -A 20 'Out of memory'
journalctl -k --grep 'Killed process' -S today

日志包含被杀进程 PID、RSS、进程表与打分。

  1. 打分机制(oom_score)
    • RSS + swap + 子进程总内存 × 归一化 → 基础分
    • 运行时间久、nice 高、root 运行 → 分数略微降低
    • /proc/PID/oom_score 是最终得分
  2. 调整豁免 / 提高优先级
    • oom_score_adj:-1000 ~ 1000,-1000 完全豁免
    • 设置示例:echo -1000 > /proc/PID/oom_score_adj 或启动脚本写入
    • 容器 / systemd:OOMScoreAdjust=-500 在单元文件配置
  3. 规避策略
    • 合理配置 cgroups memory.max 限制单服务上限,避免单进程耗尽整机内存
    • 增加物理内存或 swap(swap 延迟 OOM 代价是性能)
    • overcommit_memory=2 避免过度承诺(代价 malloc 可能失败提前阻塞)

3.9.6 Swap 滥用导致卡顿

  1. 识别
    • vmstat 中 si / so 持续非零,major fault 高
    • 应用 P99 延迟升高、iostat %util 高但业务读文件很少
  2. 定位进程
    • smem -s swap 按 swap 占用排序
  3. 处理
    • 降低 swappiness
    • 为核心服务设置 cgroup MemorySwapMax=0 禁止其换出
    • 增大物理内存或拆分高内存服务到多机

3.10 内存泄漏与 OOM 排查

3.9.2 与 3.9.5 给出内存泄漏与 OOM 的基础识别方式,本节按日志取证、进程内存归因、内核与宿主维度、处置顺序展开可执行的排查路径。

3.10.1 OOM 日志的取证与字段解读

dmesg -T | grep -iE 'invoked oom-killer|Out of memory|Killed process|oom_reaper'
journalctl -k --since today | grep -i oom
journalctl -k -b -1 | grep -i oom      # 上一次启动的内核日志

日志中按出现顺序需要确认的内容:

  1. invoked oom-killer: gfp_mask=... order=...:OOM 由哪条分配路径触发;order 大于 0 表示高阶分配失败,可能由外碎片引起(见 3.9.4)
  2. oom_score_adj 与 total-vm、anon-rss、file-rss、shmem-rss:候选进程的虚拟内存与各类驻留内存构成
  3. Tasks state (memory values in pages):候选进程的 oom_score 对比,分数最高者被杀
  4. Out of memory: Killed process <PID> (<进程名>) total-vm:... anon-rss:... oom_score:...:最终被杀对象及其内存构成
  5. Memory cgroup out of memory 与 oom_group_kill:由 cgroup 限额触发,而非整机内存耗尽

两类 OOM 的区分:

  1. 整机 OOM:同一段日志的 Mem-Info 中 MemFree 与 SwapFree 均接近 0,被杀对象由全局打分决定
  2. cgroup OOM:宿主机仍有可用内存,某组因触达 memory.max 被杀;该组未设置 memory.oom.group 时,内核只杀死组内分数最高的进程,其余进程继续运行并可能反复触发

3.10.2 oom_score_adj 的调节与风险

  1. /proc/PID/oom_score_adj 取值 -1000 ~ 1000,叠加到基础分上;-1000 表示该进程不被 OOM 选中,1000 表示最优先被杀
  2. /proc/PID/oom_score 是最终得分,只读;该值随进程内存占用变化,需与实际 RSS 一同观察
  3. 单元级配置使用 OOMScoreAdjust(写法见 3.9.5)
  4. 风险点:
    • 把关键进程设为 -1000 只是把被杀目标转移,内核可能改杀 sshd、监控代理等同样关键的进程
    • 多个进程同时设为 -1000 时,非豁免进程承担全部被杀风险,故障范围反而扩大
    • 在 cgroup 限额场景下,组内进程若全部被豁免,内核会撤销最低分进程的豁免后再杀,结果不可预期
    • 该值只改变被杀顺序,不限制内存增长,属缓解手段而非修复手段
  5. cgroup v2 的整组处置:向 memory.oom.group 写入 1 后,触发 OOM 时同一 cgroup 内的所有进程作为整体被杀,避免组内部分进程存活导致状态不一致
cat /proc/<PID>/oom_score
cat /proc/<PID>/oom_score_adj
echo 500 > /proc/<PID>/oom_score_adj
echo 1 > /sys/fs/cgroup/<路径>/memory.oom.group
cat /sys/fs/cgroup/<路径>/memory.oom.group

3.10.3 cgroup v2 的事件与用量观测

cat /sys/fs/cgroup/system.slice/nginx.service/memory.events
cat /sys/fs/cgroup/system.slice/nginx.service/memory.current
cat /sys/fs/cgroup/system.slice/nginx.service/memory.peak
cat /sys/fs/cgroup/system.slice/nginx.service/memory.stat

字段判读:

  1. low、high、max:memory.low 保护失效、memory.high 触达、memory.max 触达的累计次数
  2. oom、oom_kill:该组进入 OOM 流程与被杀进程的累计次数,大于 0 说明已发生实际杀进程
  3. memory.peak 为峰值用量(需较新内核),用于核对限额设置是否贴合真实需求
  4. memory.stat 中 anon、file、slab、pgfault、pgmajfault、workingset_refault 用于区分增长来源;pgmajfault 与 workingset_refault 增长说明工作集被反复换出换入,延迟会明显上升

判读结论的用途:high 计数持续增长说明应用长期超出软上限、频繁触发限速回收,应先调整软上限或降低应用占用;oom_kill 大于 0 时按 3.10.1 追溯被杀进程。

3.10.4 单进程内存增长的排查顺序

  1. 确认统计口径:RSS 包含与其他进程共享的页,多进程场景会重复统计;PSS 按共享者数量均摊,是判断"谁在增长"的首选口径(见 3.2.1、3.2.2)
  2. 定位大户与分项:先用 RSS 排序找到候选进程,再读 smaps_rollup 的 Rss、Pss、Shared_Clean、Shared_Dirty、Private_Clean、Private_Dirty、Anonymous、Swap
  3. 区分堆与堆外:pmap -x 输出中 [heap] 段增长属分配器堆增长,[anon] 段大量增加属 mmap 匿名映射(线程栈、语言运行时、直接内存),[stack] 与共享库段通常稳定
  4. 观察趋势:RSS 是否随请求量线性上升、是否在业务低峰回落;单调上升且不回落才符合泄漏特征(见 3.9.2)
  5. 定位分配点:开发与测试环境用 Valgrind memcheck、AddressSanitizer、mtrace;生产环境优先使用语言运行时自带接口,如 Java 的堆转储与 Native Memory Tracking、Go 的 pprof
  6. 核对共享内存与 tmpfs:/dev/shm 与共享映射的占用计入 RSS,增长可能来自应用写入共享内存,而非私有内存泄漏
ps -eo pid,user,rss,vsz,cmd --sort=-rss | head
cat /proc/<PID>/smaps_rollup
pmap -x <PID> | sort -k3 -n | tail
watch -n 10 'grep -E "^(Rss|Pss|Anonymous|Private_Dirty)" /proc/<PID>/smaps_rollup'

说明:smaps_rollup 提供全部映射段的汇总值,读取一次即可获得总量,比逐段读取 smaps 开销小,适合周期性采样;Anonymous 与 [anon] 段的增长通常指向应用自身分配,Shared 类字段的增长更多与共享库、共享内存有关。

坑点:pmap、smaps_rollup 与 ps 的 RSS 单位均为 KB,与 top 的 RES 口径一致;比较不同工具数值前先确认单位与采样时刻,瞬时值差异不能直接判定为增长。

3.10.5 Java 进程堆外内存与容器上限

JVM 的实际占用大于 -Xmx 指定的堆:

  1. 堆:由 -Xmx 设定上限,堆内增长可通过堆转储分析
  2. Metaspace:类元数据,由 -XX:MaxMetaspaceSize 限制,未设置时受本地内存与容器限额约束
  3. 线程栈:-Xss 与线程数的乘积,线程数多时占用显著
  4. 直接内存与 NIO 缓冲:由 -XX:MaxDirectMemorySize 限制,默认近似等于堆上限
  5. 代码缓存、GC 结构、JIT 编译产物、JNI 及第三方本地库:属本地内存,不计入堆

与容器内存上限的关系:

  1. 未显式设置 -Xmx 时,JVM 依据容器限额按百分比推导,-XX:MaxRAMPercentage 默认 25%,-XX:InitialRAMPercentage 默认 1.5625%,堆上限随容器限额变化
  2. 显式设置 -Xmx 时,容器限额必须大于堆上限加堆外占用,常用做法是给堆外与线程栈预留 25%~30%;否则堆未达上限而容器已触达 memory.max,表现为容器被 OOM 而堆转储显示堆内仍有余量
  3. 判断顺序:先比较容器限额、进程 RSS 与堆用量三项数值,再确认堆外部分由哪一类组成
# 容器内确认 JVM 实际生效参数与堆上限
java -XX:+PrintFlagsFinal -version | grep -Ei 'MaxHeapSize|MaxRAMPercentage|MaxDirectMemorySize'
jcmd <PID> VM.flags
jcmd <PID> GC.heap_info
# 开启本地内存跟踪后查看堆外构成
java -XX:NativeMemoryTracking=summary -jar app.jar
jcmd <PID> VM.native_memory summary
# 宿主机核对容器限额与进程 RSS
cat /sys/fs/cgroup/system.slice/docker-<容器ID>.scope/memory.max
grep -E 'VmRSS|VmData' /proc/<PID>/status

说明:VM.native_memory summary 把 Java Heap、Class、Thread、Code、GC、Internal、Other 分开统计,可直接看出堆外增长来源;Native Memory Tracking 会带来约 5%~10% 的性能开销,仅用于排查场景。

坑点:jcmd VM.flags 显示当前进程实际生效的参数,与镜像中写死的启动参数不一致时应以该输出为准;容器内读取的 /proc/meminfo 在部分运行时下仍是宿主机数据,判断是否受限应以 cgroup 接口文件为准。

3.10.6 Go 进程的 RSS 组成

Go 运行时向内核申请内存以 arena 形式管理,RSS 由以下部分构成:

  1. 堆中仍在使用或尚未被 GC 回收的对象
  2. 已归还给运行时但尚未归还操作系统的空闲 span,运行时默认延迟归还,受 GODEBUG=madvdontneed 与内核 MADV_FREE 行为影响
  3. goroutine 栈与线程栈
  4. mcache、mspan、位图等运行时结构
  5. CGO 分配与 cgo 调动线程的栈空间

判读要点:

  1. GC 完成后 RSS 不下降属常见现象,运行时保留内存以备复用,判断堆是否稳定应看 heap inuse 与 released,而不是单看 RSS
  2. RSS 长期单调上升而堆内用量稳定,说明增长在堆外或 CGO 路径;两者同步上升则为真实堆增长
  3. 限制手段:用 GOGC 调整回收频率,用 GOMEMLIMIT 设定软内存上限使运行时更积极回收;容器中仍应保留 memory.max 作为硬上限
GODEBUG=gctrace=1 ./app        # 打印每次 GC 的堆大小与目标值
go tool pprof http://127.0.0.1:6060/debug/pprof/heap
cat /proc/<PID>/smaps_rollup
grep -E 'VmRSS|VmData' /proc/<PID>/status

说明:gctrace=1 输出的堆大小与回收目标用于判断堆是否稳定;pprof 的 inuse_space 对应当前占用、alloc_space 对应累计分配,定位泄漏应看 inuse_space 的长期趋势。

坑点:GOMEMLIMIT 是软限制,超过时运行时加快回收而不是拒绝分配,不能替代容器的 memory.max;两者相差过大时仍会触发容器 OOM。

3.10.7 slab 泄漏的判定

内核 slab 的增长可能来自可回收缓存(dentry、inode_cache),也可能来自不可回收的内核对象(kmalloc-*、task_struct、网络缓冲),二者性质不同。

sudo slabtop -o -s c | head -n 20
grep -E '^(dentry|inode_cache|kmalloc-|task_struct|skbuff_head_cache)' /proc/slabinfo
grep -E 'Slab|SReclaimable|SUnreclaim' /proc/meminfo

判定方法:

  1. 间隔采样比对:记录两次 slabtop -o 或 /proc/slabinfo 中目标缓存的 Active objects 与 Num objects,短时间内持续增长且不回落才具备泄漏特征
  2. 区分可回收与不可回收:SReclaimable 对应的 dentry、inode_cache 属可回收缓存,内存紧张时会被回收,其增长本身不构成泄漏;SUnreclaim 持续增长才是内核侧泄漏的主要嫌疑
  3. 交叉验证:执行缓存丢弃后 dentry 与 inode_cache 明显下降,说明此前占用属缓存性质(该操作会丢弃缓存并引起后续读盘,仅在排查时短时使用,注意事项见 3.4)
  4. 结合业务判断:dentry 增长通常伴随大量目录遍历或大量小文件访问;kmalloc-* 类缓存需结合具体驱动或子系统定位,缓存名与内核版本的对应关系可查内核源码

3.10.8 页缓存增长是否属于泄漏

  1. 看 available 而不是 free 或 cached(口径见 3.1.1):available 充足时,Cached 增长属系统利用空闲内存加速文件 IO,不构成泄漏
  2. 看可回收性:文件页在内存压力下可被直接丢弃并重新读盘,Cached 高但在压力下能够回落,不属泄漏;匿名页与不可回收 slab 才是回收压力的来源
  3. 区分 tmpfs 与共享内存:tmpfs(含 /dev/shm)计入 Cached 与 Shared,写满后占用真实内存且不可回收,是"页缓存假泄漏"的常见来源,需核对 df -h /dev/shm 与 free 的 shared 列
  4. 观察回收效果:内存紧张时 Cached 应显著下降,可查看 /proc/vmstat 中 pgscan_*、pgsteal_* 与 workingset_refault 的变化;若 Cached 不降而 available 持续下降,增长来源不在文件页
  5. 结论:页缓存增长本身不是泄漏,需要处理的是匿名内存、不可回收 slab 与 tmpfs 占用
free -h
grep -E 'MemAvailable|Cached|Buffers|Slab|SReclaimable|SUnreclaim|Shmem' /proc/meminfo
df -h /dev/shm /tmp
grep -E 'pgscan_|pgsteal_|pgmajfault' /proc/vmstat

3.10.9 处置顺序

  1. 限流降载:降低并发、暂停批量任务、缩短请求超时,先减缓增长速度为后续操作争取时间
  2. 重启:确认业务窗口后滚动重启,重启前完整保留现场,包括堆转储、Native Memory Tracking 报告、smaps_rollup 快照、memory.events 与相关日志,重启后现场不可恢复
  3. 扩容:调大 memory.high 与 memory.max,或增加物理内存;使用 swap 只能延迟 OOM 并引入性能抖动(见 3.9.6)
  4. 修复代码:把现场数据交接给开发侧定位分配点,修复后以相同压测条件验证,确认修复前不应关闭 cgroup 硬上限
  5. 长期措施:为服务设置 memory.high 提前限速、memory.max 兜底、memory.oom.group 保证整组一致,并把 memory.events 中 oom_kill 与 high 的计数纳入告警

四、总结

  • 内存管理起源于直接物理内存的容量、安全与地址冲突三类问题,借助局部性引入虚拟地址与分层缓存/回收机制

  • 原理核心是虚拟地址空间、页表与 TLB、分配器(buddy+slab+用户态分配器)、缺页中断、COW、页缓存、LRU 回收、swap、共享内存与 mmap、overcommit、大页、cgroups 内存限制

  • 实现覆盖系统级与进程级内存查看、free/available/buffers/cache 区分、缺页、回写、swap、大页、cgroups、overcommit 等命令,以及内存泄漏、碎片、OOM、页表膨胀、Swap 滥用等高频问题排查路径

  • 页缓存与 IO 路径调优同linux:页缓存与 IO 性能专题共享同一底层概念,可交叉阅读;cgroups 内存限制与进程管理文档的 cgroups 章节对应