一、起源:内存之外还有更慢的设备

内存已有百纳秒级的访问延迟,而磁盘与网络等 IO 设备的延迟以微秒、毫秒计,比内存再慢数个数量级。程序一旦需要从磁盘读数据、向网络发数据,就进入完全不同的时间尺度。这解释了软件工程中反复出现的规律:

  • 磁盘 IO 是持久化系统的首要瓶颈:数据库、日志、文件系统都在尽力"减少随机 IO、合并顺序 IO"。
  • 随机访问与顺序访问差距悬殊:磁盘上随机读一个字节与顺序读一段,代价完全不同,这与内存的"按字节访问近似同价"形成鲜明对比。
  • IO 期间 CPU 不该空等:等待 IO 的 CPU 应去干别的,这是并发、异步、多路复用的底层动机。

二、原理

1. 磁盘与 SSD

机械硬盘(HDD) 通过旋转盘片与移动磁头读写,访问时间由三部分构成:

  • 寻道时间:磁头移动到目标磁道,毫秒级,是随机访问的主要开销。
  • 旋转延迟:等待目标扇区转到磁头下,取决于转速。
  • 传输时间:实际读写数据。

因此 HDD 上顺序访问(磁头连续扫过)远快于随机访问(每次都要寻道)。一个连续的大文件读,远快于读取散布在盘片各处的许多小文件。

固态硬盘(SSD) 基于闪存,无机械运动,随机访问延迟大幅降低,但仍有其自身特征:

  • 以页为读写单位、以块为擦除单位,写前需擦除,存在写放大(write amplification)。
  • 随机写与顺序写仍有差距,只是远小于 HDD。
  • 闪存单元有擦写寿命,反复写入会磨损。

SSD 改善了随机访问,但"减少随机写、合并批量写"的优化思路依然成立。文件系统层面的 IO 与调度见 磁盘存储与文件系统操作 与 块设备层与 IO 调度器。

2. 总线与设备通信

CPU 与内存、IO 设备之间通过总线(bus) 连接。总线是共享的通信通道,负责地址、数据与控制信号的传递。关键约束:

  • 总线是共享资源,多个设备同时传输时需仲裁,带宽会被分摊。
  • 不同总线带宽差异大:内存总线、PCIe、SATA、USB 各有其带宽上限。

CPU 通过端口或内存映射 IO(MMIO) 读写设备寄存器,向设备发送命令、读取状态。设备通过寄存器暴露控制接口,CPU 据此驱动设备。

3. 三种 IO 方式

CPU 与设备交换数据有三种方式,核心差别是"谁在搬数据、CPU 是否空等":

方式 数据搬运者 CPU 角色 适用
程序查询(轮询) CPU 反复查询设备状态,忙等 简单设备、短暂等待
中断驱动 CPU 设备就绪后中断 CPU,由 CPU 搬运 低速设备、事件驱动
DMA DMA 控制器 CPU 只发起,数据由 DMA 直接搬运 高速大批量传输

DMA(直接内存访问) 是现代高速 IO 的关键:CPU 设置好源地址、目标地址与长度后,由 DMA 控制器在设备与内存之间直接搬运数据,CPU 不参与逐字节搬移,只在完成后收到中断。这使得大量磁盘、网络 IO 不消耗 CPU 的搬运时间。

4. 中断与上下文切换

设备完成 IO 后通过中断(interrupt) 通知 CPU:CPU 暂停当前执行,转入中断处理程序,处理完后恢复。中断让 CPU 不必忙等设备,是事件驱动 IO 的基础。

每次中断都伴随上下文切换(context switch) 的开销:保存当前现场、加载中断处理程序、恢复。中断过于频繁会带来明显开销,因此高速设备常采用中断合并(interrupt coalescing) ,把多次事件合并为一次中断,用少量延迟换取更低开销。

三、实现:软件侧的落地

现象 根因 应对
磁盘随机读比顺序读慢很多 寻道与旋转延迟 顺序写、批量读、合并 IO
大量小文件读写慢 每次 IO 都有固定开销 合并、批处理、日志结构
数据库追求顺序写日志 顺序 IO 快、随机 IO 慢 写前日志(WAL)、LSM 结构
高并发网络服务不卡死 中断 + 事件驱动让 CPU 不空等 epoll、异步 IO、多路复用
大批量拷贝不占 CPU DMA 直接搬运 零拷贝、sendfile

持久化系统的设计(WAL、LSM、批量刷盘)大多围绕"把随机 IO 变为顺序 IO、把多次小 IO 合并为一次大 IO"展开。数据库索引与存储引擎的底层动机见 InnoDB 存储引擎。

总结

  • IO 设备的延迟远高于内存,随机与顺序访问的差异是持久化性能的核心约束。
  • 三种 IO 方式中,DMA 让 CPU 摆脱逐字节搬运,中断让 CPU 不必忙等,二者共同支撑高效 IO。
  • 机械硬盘的寻道与旋转延迟、SSD 的写放大与擦写寿命,决定了各自的性能特征。
  • 数据库与文件系统的许多设计,本质是把随机 IO 转化为顺序 IO、合并小 IO 以摊薄固定开销。