内容总览
一、起源:磁盘与内存的速度鸿沟
磁盘 IO 为毫秒级,内存 IO 为纳秒级,两者相差 4~5 个数量级。若进程每次读文件都触发磁盘访问,系统吞吐将不可接受。由此需要在内存中缓存磁盘数据副本:同一块数据被重复访问时,直接从内存返回,跳过物理磁盘访问。
页缓存(page cache)即为此而生:以内存页(通常 4KB,与文件系统 Block 量级对应)为单位,缓存文件内容与块设备数据的内存副本。它位于 VFS 读取路径与块设备驱动之间,是 Linux IO 性能体系的枢纽层。
二、原理:缓存机制与读写路径
1. 缓存结构与索引
页缓存以页(page)为单位管理,每个文件系统 Block 大小通常对齐页大小或页的整数倍。每个缓存页对应文件(inode + 偏移)范围内的一段数据,内核通过索引结构按 inode 与偏移快速定位缓存页。
页缓存与块缓存(buffer cache)在现代内核中已融合:块设备的裸块访问与文件数据访问共享同一内存缓存池,不再各自独立。
缓存页按热度分两条 LRU 链表管理:
- inactive:冷页,近期未被访问,回收优先对象
- active:热页,近期被访问,只有持续命中才保留在此链表
- 页被访问时从 inactive 提升到 active,长时间未访问则降级
2. Buffered IO 与 Direct IO
Buffered IO(默认路径)
进程发起 read/write 时走页缓存:
- read:内核先查页缓存,命中则直接返回内存数据(cache hit);未命中则向块设备提交读请求,将数据填入页缓存后再返回进程(cache miss)
- write:进程数据写入页缓存即可返回,页被标记为脏页(dirty),由内核后续异步刷回磁盘
优点:读写大多在内存中完成,性能接近内存速度;内核可合并顺序写、提前预读。
缺点:数据落盘时机由内核决定,进程需用 fsync 强制同步;系统崩溃可能丢失尚未刷回的脏页。
Direct IO(绕过页缓存)
进程打开文件时使用 O_DIRECT 标志,数据直接在用户空间与块设备之间传输,不经过页缓存。
适用场景:
- 数据库等自带缓存管理的程序,自建缓存命中率优于通用页缓存
- 大文件顺序读写,无需页缓存占用内存
- 读写路径需精确控制、避免与通用缓存回收策略冲突
限制:用户缓冲区地址、IO 长度与偏移需对齐块设备扇区大小(通常 512 字节或 4096 字节),否则调用失败。
3. 脏页回写机制
Buffered IO 下 write 仅将数据写入页缓存即返回,脏页由内核异步回写线程(flusher 线程)负责刷盘。触发条件:
- 时间阈值:脏页驻留内存超过
dirty_expire_centisecs(单位 1/100 秒,默认约 30 秒)即加入回写队列 - 空间阈值:脏页占系统总内存比例超过
dirty_ratio(默认 20%),或超过dirty_bytes字节数,触发主动回写;阻塞写进程直到回写比例降至dirty_background_ratio(默认 10%)以下 - 主动同步:进程调用 fsync / fdatasync / sync,或管理员执行 sync 命令
回写流程:
1. flusher 线程从 inode 脏页链表收集连续脏页
2. 合并为较大的 IO 请求提交给块设备层
3. 写完成后,页的 dirty 标记清除,转为干净页可继续驻留缓存或被回收
4. fsync、fdatasync、sync 的语义差异
- fsync(fd):将指定文件的脏数据与元数据(inode、大小、时间戳)同步写入块设备,阻塞直到磁盘确认写入完成
- fdatasync(fd):仅同步文件数据与后续读回所需的最小元数据(如大小),不比 fsync 刷新如访问时间等非必要元数据,性能略优
- sync():将系统所有脏页提交回写,不等待写完成即返回;
sync命令通常会等待完成 - msync(addr, len, flags):将 mmap 映射的内存区间同步到文件,等价于 mmap 场景下的 fsync
5. 预读(readahead)
顺序读场景下,进程通常按偏移连续读取,内核基于访问模式预测即将读取的后续页,提前向磁盘提交读请求装入页缓存,使进程下次 read 命中缓存而非等待磁盘。
- 顺序检测:若连续若干次读的偏移按序递增,启用预读
- 自适应预读窗口:根据命中率动态调整预读大小,命中则扩大窗口,miss 则缩小或关闭
- 随机读:偏移无规律,预读关闭,避免无效 IO
应用层可通过 posix_fadvise 将访问模式提示给内核,帮助预读策略决策。
6. 缓存回收
系统可用内存不足时,内核从 inactive 链表回收冷页:
- 干净页直接回收复用
- 脏页需先提交回写,完成后再回收
回收策略受 vfs_cache_pressure 控制:
- 默认 100,回收目录项与 inode 缓存(dentry/inode cache)与页缓存平衡
- 增大(>100)偏向回收目录项缓存,保留页缓存
- 减小(<100)偏向保留目录项缓存
三、实现:观测与调优
1. 观测工具
内存与缓存概览
free -h
输出字段:
- buff/cache:页缓存 + 块缓存 + slab(目录项、inode 缓存等)之和
- available:进程可实际分配而不触发 swap 的内存估算,包含可回收缓存
/proc/meminfo 详细指标
cat /proc/meminfo | grep -E 'Cached|Dirty|Writeback|Buffers|PageTables'
- Cached:页缓存与 SLAB 可回收部分
- Dirty:待回写脏页字节数
- Writeback:正在回写的字节数
- Buffers:块设备裸访问的 buffer cache
- SReclaimable:SLAB 中可回收部分(目录项、inode 等)
缓存命中与回收统计
vmstat 1 # 每秒采样:bi/bo(块读写)、si/so(swap 换入换出)、free/buff/cache
sar -B 1 # pgpgin/pgpgout(页换入换出)、faults(缺页)
sar -H 1 # 大页统计
块设备 IO 观测
iostat -xz 1 # 每秒:%util(设备利用率)、await(平均等待)、r_await/w_await、avgrq-sz、r/s w/s
iostat -dmx 1 # 单位 MB
单文件缓存占用
# 需安装 pcstat,或使用 fincore:
pcstat filename # 查看文件有多少页在缓存中、驻留比例
手动回收缓存(调试与测试用)
sync # 先刷脏页
echo 1 > /proc/sys/vm/drop_caches # 仅回收页缓存
echo 2 > /proc/sys/vm/drop_caches # 仅回收目录项与 inode 缓存
echo 3 > /proc/sys/vm/drop_caches # 同时回收页缓存与目录项/inode缓存
2. 调优参数
所有参数位于 /proc/sys/vm/,可临时 echo 修改或写入 /etc/sysctl.conf 持久化:
| 参数 | 默认(常见发行版) | 作用 |
|---|---|---|
| dirty_ratio | 20 | 脏页占内存比例阈值,超限后写进程同步回写 |
| dirty_background_ratio | 10 | 脏页占比阈值,超限后台 flusher 线程开始回写 |
| dirty_bytes / dirty_background_bytes | 0 | 按字节设定的绝对值阈值(设置后 ratio 忽略) |
| dirty_expire_centisecs | 3000 | 脏页过期时间(3000 = 30 秒),过期即入回写队列 |
| dirty_writeback_centisecs | 500 | flusher 线程唤醒周期(500 = 5 秒) |
| vfs_cache_pressure | 100 | 目录项/inode 回收倾向,越大越积极回收 dcache/icache |
| min_free_kbytes | 因内存而异 | 预留最低可用内存阈值,防止极端回收导致内核栈分配失败 |
典型调优方向:
- 数据库类(写敏感):减小 dirty_ratio 与 dirty_expire,降低单次回写延迟,避免突发脏页积压导致 IO 抖动
- 大数据顺序写:适当增大 dirty_ratio 与 dirty_expire,放大合并写收益
- 元数据密集:降低 vfs_cache_pressure,保留 dentry/inode 缓存以加速路径解析
3. 常见性能场景
顺序读吞吐
顺序读受益于预读与页缓存命中,大文件顺序拷贝速度通常接近磁盘带宽上限。若 iostat 显示大量随机小读、sar -B 显示持续缺页,可检查预读窗口或改用 posix_fadvise 明确提示。
随机读延迟
随机读预读失效,缓存命中率低。提升方式:
- 增大内存以容纳更多工作集数据
- 使用 SSD 替代 HDD,消除随机寻道延迟
- 应用层自建缓存(如数据库缓冲池)
写延迟抖动
Buffered IO 下 dirty_ratio 较大时,脏页积满后批量刷盘,写进程被阻塞导致延迟尖峰。调小 dirty_ratio 与 dirty_expire,缩短 flusher 唤醒间隔,可平滑延迟分布。
文件同步可靠性
写入后确保落盘,关键路径调用 fsync/fdatasync;仅依赖 write 返回并不能保证数据持久化,电源故障或内核崩溃可能丢失未回写脏页。
四、总结
- 页缓存的根因是磁盘与内存之间 4~5 个数量级的速度差,以内存页为单位缓存文件与块设备数据
- Buffered IO 为默认路径,read 查缓存 miss 才读盘,write 写缓存标脏即返回;Direct IO(O_DIRECT)绕过页缓存,适用于自带缓存的程序与大文件顺序读写
- 脏页由 flusher 线程异步回写:时间阈值(dirty_expire)、空间阈值(dirty_ratio / dirty_background_ratio)、主动同步三类触发条件
- fsync 同步数据与元数据并等待落盘,fdatasync 仅同步数据与必要元数据,sync 提交全系统回写但不等待
- 预读在顺序访问模式下自适应提前加载后续页,随机访问模式自动关闭
- 缓存回收基于 active/inactive 双 LRU,冷页优先回收,策略受 vfs_cache_pressure 影响
- 观测用 free、/proc/meminfo、vmstat、iostat、pcstat;调优通过 /proc/sys/vm/ 下的 dirty 系列与 vfs_cache_pressure 参数