内容总览

linux: 页缓存与 IO 性能 思维导图

一、起源:磁盘与内存的速度鸿沟

磁盘 IO 为毫秒级,内存 IO 为纳秒级,两者相差 4~5 个数量级。若进程每次读文件都触发磁盘访问,系统吞吐将不可接受。由此需要在内存中缓存磁盘数据副本:同一块数据被重复访问时,直接从内存返回,跳过物理磁盘访问。

页缓存(page cache)即为此而生:以内存页(通常 4KB,与文件系统 Block 量级对应)为单位,缓存文件内容与块设备数据的内存副本。它位于 VFS 读取路径与块设备驱动之间,是 Linux IO 性能体系的枢纽层。

二、原理:缓存机制与读写路径

1. 缓存结构与索引

页缓存以页(page)为单位管理,每个文件系统 Block 大小通常对齐页大小或页的整数倍。每个缓存页对应文件(inode + 偏移)范围内的一段数据,内核通过索引结构按 inode 与偏移快速定位缓存页。

页缓存与块缓存(buffer cache)在现代内核中已融合:块设备的裸块访问与文件数据访问共享同一内存缓存池,不再各自独立。

缓存页按热度分两条 LRU 链表管理:

  • inactive:冷页,近期未被访问,回收优先对象
  • active:热页,近期被访问,只有持续命中才保留在此链表
  • 页被访问时从 inactive 提升到 active,长时间未访问则降级

2. Buffered IO 与 Direct IO

Buffered IO(默认路径)

进程发起 read/write 时走页缓存:

  • read:内核先查页缓存,命中则直接返回内存数据(cache hit);未命中则向块设备提交读请求,将数据填入页缓存后再返回进程(cache miss)
  • write:进程数据写入页缓存即可返回,页被标记为脏页(dirty),由内核后续异步刷回磁盘

优点:读写大多在内存中完成,性能接近内存速度;内核可合并顺序写、提前预读。
缺点:数据落盘时机由内核决定,进程需用 fsync 强制同步;系统崩溃可能丢失尚未刷回的脏页。

Direct IO(绕过页缓存)

进程打开文件时使用 O_DIRECT 标志,数据直接在用户空间与块设备之间传输,不经过页缓存。

适用场景:

  • 数据库等自带缓存管理的程序,自建缓存命中率优于通用页缓存
  • 大文件顺序读写,无需页缓存占用内存
  • 读写路径需精确控制、避免与通用缓存回收策略冲突

限制:用户缓冲区地址、IO 长度与偏移需对齐块设备扇区大小(通常 512 字节或 4096 字节),否则调用失败。

3. 脏页回写机制

Buffered IO 下 write 仅将数据写入页缓存即返回,脏页由内核异步回写线程(flusher 线程)负责刷盘。触发条件:

  • 时间阈值:脏页驻留内存超过 dirty_expire_centisecs(单位 1/100 秒,默认约 30 秒)即加入回写队列
  • 空间阈值:脏页占系统总内存比例超过 dirty_ratio(默认 20%),或超过 dirty_bytes 字节数,触发主动回写;阻塞写进程直到回写比例降至 dirty_background_ratio(默认 10%)以下
  • 主动同步:进程调用 fsync / fdatasync / sync,或管理员执行 sync 命令

回写流程:
1. flusher 线程从 inode 脏页链表收集连续脏页
2. 合并为较大的 IO 请求提交给块设备层
3. 写完成后,页的 dirty 标记清除,转为干净页可继续驻留缓存或被回收

4. fsync、fdatasync、sync 的语义差异

  • fsync(fd):将指定文件的脏数据与元数据(inode、大小、时间戳)同步写入块设备,阻塞直到磁盘确认写入完成
  • fdatasync(fd):仅同步文件数据与后续读回所需的最小元数据(如大小),不比 fsync 刷新如访问时间等非必要元数据,性能略优
  • sync():将系统所有脏页提交回写,不等待写完成即返回;sync 命令通常会等待完成
  • msync(addr, len, flags):将 mmap 映射的内存区间同步到文件,等价于 mmap 场景下的 fsync

5. 预读(readahead)

顺序读场景下,进程通常按偏移连续读取,内核基于访问模式预测即将读取的后续页,提前向磁盘提交读请求装入页缓存,使进程下次 read 命中缓存而非等待磁盘。

  • 顺序检测:若连续若干次读的偏移按序递增,启用预读
  • 自适应预读窗口:根据命中率动态调整预读大小,命中则扩大窗口,miss 则缩小或关闭
  • 随机读:偏移无规律,预读关闭,避免无效 IO

应用层可通过 posix_fadvise 将访问模式提示给内核,帮助预读策略决策。

6. 缓存回收

系统可用内存不足时,内核从 inactive 链表回收冷页:

 - 干净页直接回收复用
 - 脏页需先提交回写,完成后再回收

回收策略受 vfs_cache_pressure 控制:

 - 默认 100,回收目录项与 inode 缓存(dentry/inode cache)与页缓存平衡
 - 增大(>100)偏向回收目录项缓存,保留页缓存
 - 减小(<100)偏向保留目录项缓存

三、实现:观测与调优

1. 观测工具

内存与缓存概览

free -h

输出字段:

  • buff/cache:页缓存 + 块缓存 + slab(目录项、inode 缓存等)之和
  • available:进程可实际分配而不触发 swap 的内存估算,包含可回收缓存

/proc/meminfo 详细指标

cat /proc/meminfo | grep -E 'Cached|Dirty|Writeback|Buffers|PageTables'
  • Cached:页缓存与 SLAB 可回收部分
  • Dirty:待回写脏页字节数
  • Writeback:正在回写的字节数
  • Buffers:块设备裸访问的 buffer cache
  • SReclaimable:SLAB 中可回收部分(目录项、inode 等)

缓存命中与回收统计

vmstat 1              # 每秒采样:bi/bo(块读写)、si/so(swap 换入换出)、free/buff/cache
sar -B 1              # pgpgin/pgpgout(页换入换出)、faults(缺页)
sar -H 1              # 大页统计

块设备 IO 观测

iostat -xz 1          # 每秒:%util(设备利用率)、await(平均等待)、r_await/w_await、avgrq-sz、r/s w/s
iostat -dmx 1         # 单位 MB

单文件缓存占用

# 需安装 pcstat,或使用 fincore:
pcstat filename       # 查看文件有多少页在缓存中、驻留比例

手动回收缓存(调试与测试用)

sync                                           # 先刷脏页
echo 1 > /proc/sys/vm/drop_caches              # 仅回收页缓存
echo 2 > /proc/sys/vm/drop_caches              # 仅回收目录项与 inode 缓存
echo 3 > /proc/sys/vm/drop_caches              # 同时回收页缓存与目录项/inode缓存

2. 调优参数

所有参数位于 /proc/sys/vm/,可临时 echo 修改或写入 /etc/sysctl.conf 持久化:

参数 默认(常见发行版) 作用
dirty_ratio 20 脏页占内存比例阈值,超限后写进程同步回写
dirty_background_ratio 10 脏页占比阈值,超限后台 flusher 线程开始回写
dirty_bytes / dirty_background_bytes 0 按字节设定的绝对值阈值(设置后 ratio 忽略)
dirty_expire_centisecs 3000 脏页过期时间(3000 = 30 秒),过期即入回写队列
dirty_writeback_centisecs 500 flusher 线程唤醒周期(500 = 5 秒)
vfs_cache_pressure 100 目录项/inode 回收倾向,越大越积极回收 dcache/icache
min_free_kbytes 因内存而异 预留最低可用内存阈值,防止极端回收导致内核栈分配失败

典型调优方向:

  • 数据库类(写敏感):减小 dirty_ratio 与 dirty_expire,降低单次回写延迟,避免突发脏页积压导致 IO 抖动
  • 大数据顺序写:适当增大 dirty_ratio 与 dirty_expire,放大合并写收益
  • 元数据密集:降低 vfs_cache_pressure,保留 dentry/inode 缓存以加速路径解析

3. 常见性能场景

顺序读吞吐

顺序读受益于预读与页缓存命中,大文件顺序拷贝速度通常接近磁盘带宽上限。若 iostat 显示大量随机小读、sar -B 显示持续缺页,可检查预读窗口或改用 posix_fadvise 明确提示。

随机读延迟

随机读预读失效,缓存命中率低。提升方式:

 - 增大内存以容纳更多工作集数据
 - 使用 SSD 替代 HDD,消除随机寻道延迟
 - 应用层自建缓存(如数据库缓冲池)

写延迟抖动

Buffered IO 下 dirty_ratio 较大时,脏页积满后批量刷盘,写进程被阻塞导致延迟尖峰。调小 dirty_ratio 与 dirty_expire,缩短 flusher 唤醒间隔,可平滑延迟分布。

文件同步可靠性

写入后确保落盘,关键路径调用 fsync/fdatasync;仅依赖 write 返回并不能保证数据持久化,电源故障或内核崩溃可能丢失未回写脏页。

四、总结

  • 页缓存的根因是磁盘与内存之间 4~5 个数量级的速度差,以内存页为单位缓存文件与块设备数据
  • Buffered IO 为默认路径,read 查缓存 miss 才读盘,write 写缓存标脏即返回;Direct IO(O_DIRECT)绕过页缓存,适用于自带缓存的程序与大文件顺序读写
  • 脏页由 flusher 线程异步回写:时间阈值(dirty_expire)、空间阈值(dirty_ratio / dirty_background_ratio)、主动同步三类触发条件
  • fsync 同步数据与元数据并等待落盘,fdatasync 仅同步数据与必要元数据,sync 提交全系统回写但不等待
  • 预读在顺序访问模式下自适应提前加载后续页,随机访问模式自动关闭
  • 缓存回收基于 active/inactive 双 LRU,冷页优先回收,策略受 vfs_cache_pressure 影响
  • 观测用 free、/proc/meminfo、vmstat、iostat、pcstat;调优通过 /proc/sys/vm/ 下的 dirty 系列与 vfs_cache_pressure 参数