内容总览
一、起源:IO 请求形态与磁盘物理执行的不匹配
上层文件系统与页缓存提交的是离散 IO 请求:按 inode 与偏移描述,彼此之间无物理位置关联。下层块设备(HDD/SSD/NVMe)按各自几何执行——HDD 依赖磁头寻道与盘片旋转,相邻扇区连续访问远快于随机跳变;SSD/NVMe 依赖并行通道,请求批量投递优于单次小请求。两者形态不匹配时,离散请求直接下送会把磁盘时间浪费在寻道与调度切换上,延迟与吞吐严重退化。
块设备层为此插入在文件系统(页缓存)与块设备驱动之间,承担三项职责:
1. 将离散的字节级 IO 描述合并、重排为设备友好的请求队列
2. 按设备类型选择调度策略,在延迟、公平、吞吐之间取平衡
3. 通过 device-mapper 框架支持虚拟块设备(LVM、RAID、加密、多路径),实现物理设备的虚拟化与组合
二、原理:请求模型与调度机制
1. bio:IO 请求的通用描述
块设备层以 bio 结构描述一次 IO,核心字段:
- bi_sector:目标起始扇区号(512 字节为单位)
- bi_size:IO 长度,字节数
- bi_opf:操作类型(读/写、刷新、丢弃等)与优先级标志
- bi_io_vec:页向量数组,指向承载数据的内存页列表
- bi_bdev:目标块设备
一次大 IO 若跨越连续扇区可合并为单个 bio;若跨越不连续扇区则拆分多个 bio。多个 bio 按扇区顺序归并后进入请求队列,形成 request(请求)结构:一个 request 代表一段连续扇区范围内的一组合并 bio。
2. 请求队列与插头机制
请求队列(request queue)
每个块设备对应一个请求队列(多队列模型下每硬件队列对应),队列负责:
- 排序:按扇区号维护 IO 顺序(传统单队列以链表或红黑树维护)
- 合并:相邻或重叠的 bio 合并进已有 request,减少请求数量
- 限流:控制队列深度(nr_requests),超深时阻塞上层提交,防止后端过载
- 刷新屏障:处理 flush / FUA(Force Unit Access)等需要强制落盘的屏障请求
插头(plug/unplug)机制
进程提交 bio 时先不直接下发驱动,而是将队列标记为"已插入",短暂收集后续 bio。后续 bio 可与已收集的 bio 尝试合并。满足以下条件之一时拔出插头:
- 队列显式 unplug(如进程即将阻塞等待 IO 完成)
- 收集超时(毫秒级)
- 累积请求数达到阈值
插头机制用微秒级延迟换取合并与排序收益,对小量离散写尤其有效。
3. blk-mq:多队列架构
传统单队列模型(single-queue)在多核高并发下存在瓶颈:全局队列锁与中断亲和导致 CPU 争用。blk-mq(block multi-queue)为现代块层架构,引入两层队列:
- 软件队列(Software Queues):每 CPU 一条,进程提交 bio 到本地 CPU 的软件队列,无锁
- 硬件队列(Hardware Queues):按底层设备能力映射,SSD/NVMe 通常支持多条硬件队列;HDD 常退化为单硬件队列
- 映射层:软件队列按 CPU 亲和策略映射到硬件队列,提交到驱动
blk-mq 优点:
- 多核下避免单队列锁争用,扩展线性
- 直接支持 NVMe 等多通道设备的并行投递
- 调度器可选、可绕过(none),适合高速 SSD
现代内核(5.0+)blk-mq 已成为默认路径。
4. IO 调度器
调度器决定请求队列中请求的下发顺序与节奏。主流调度器:
none / noop
- 不做排序,仅保留合并能力
- 适用于 NVMe 与高速 SSD:设备内部自带 FTL 层调度,内核重排收益甚微
- blk-mq 下名为 none,legacy 单队列下名为 noop
mq-deadline / deadline
- 按读/写分类,各自维护按 LBA(扇区号)排序的红黑树,同时维护按提交时间排序的 FIFO
- 每次下发优先选择接近上次访问位置的请求(减少寻道);同时保证请求在到期前至少执行一次(避免饥饿)
- 到期阈值:读请求默认 500ms,写请求默认 5s(读对延迟更敏感)
- HDD 与 SSD 通用,延迟可预测,数据库类负载常用
kyber
- 针对快速块设备(中高端 SSD)设计,基于延迟反馈调整队列深度
- 分读/写/丢弃三类独立队列,动态限深以目标延迟(默认读 100us、写 250us)为锚
- 高读性能优先场景适用
BFQ(Budget Fair Queueing)
- 按进程(或 cgroup)分配预算与时间片,预算内该进程的请求连续下发,预算耗尽切到下一进程
- 提供交互式响应:高权重进程(桌面应用)分配更长时间片;低权重后台 IO 抢占受控
- 桌面、容器隔离、多租户延迟公平场景适用;吞吐略低于 deadline
cfq(Completely Fair Queuing)
- legacy 单队列调度器,现代内核已被 BFQ 替代或在 blk-mq 路径下移除
- 按进程分配时间片,与 BFQ 类似但预算机制不同
调度器选择的经验原则:
- NVMe / 高速 SSD:none 或 kyber
- SATA SSD:mq-deadline 或 kyber
- HDD:mq-deadline 或 BFQ(看是否需要公平性)
- 数据库/低延迟:mq-deadline
- 桌面/容器多租户:BFQ
5. device-mapper 框架
device-mapper(dm)是块设备虚拟化框架,可把一个或多个底层物理块设备映射为虚拟块设备,供上层文件系统格式化挂载。LVM、软 RAID、全盘加密、存储多路径、精简配置均基于 dm 实现。
映射表(mapping table)
每个 dm 设备由一张映射表定义,按扇区范围将虚拟设备地址转换为底层设备地址,格式:
logical_start_sector num_sectors target_type target_args
典型 target(映射目标):
- linear:线性映射,将虚拟扇区范围映射到某底层设备的连续扇区;LVM 普通 LV 即 linear 组合
- striped:条带化,按条带大小(chunk size)轮询分布到 N 个底层设备,等价 RAID0;并行读写吞吐随设备数线性扩展
- mirror:镜像,写操作同时写入多份底层设备,读操作可从任一份读取;等价 RAID1,提供冗余
- snapshot:快照,COW(copy-on-write)记录原始卷的变化区块,未变块直接指回原卷,变块保存到快照存储;LVM 快照基于此 target
- thin-pool:精简配置池,按需分配物理空间,多个精简卷共享大池;支持瞬时快照克隆
- crypt:加密,每个 IO 经内核加密 API(默认 AES-XTS)加解密后再下送底层;dm-crypt/LUKS 全盘加密基于此
- multipath:多路径,同一后端存储经多条 HBA/链路访问,提供故障切换与负载均衡
dm 与文件系统、VFS 的关系:虚拟块设备对上层完全透明,VFS 把它视作标准块设备,文件系统直接格式化挂载,与普通分区一致。
三、实现:观测与调优
1. 当前调度器查看与切换
# 查看各块设备当前调度器(方括号内为启用)
cat /sys/block/sda/queue/scheduler
# 临时切换(重启失效)
echo mq-deadline > /sys/block/sda/queue/scheduler
echo none > /sys/block/nvme0n1/queue/scheduler
# 永久生效:写入 udev 规则或 systemd tmpfiles.d,或在启动参数 elevator=xxx 指定
2. 队列与设备参数
# 队列深度(硬件层可排队请求数上限)
cat /sys/block/sda/queue/nr_requests # 软件队列深度
cat /sys/block/sda/device/queue_depth # 硬件队列深度(NCQ/NVMe)
# 最小/最优 IO 单元(SSD 对齐参考)
cat /sys/block/sda/queue/physical_block_size # 物理块大小
cat /sys/block/sda/queue/logical_block_size # 逻辑块大小
cat /sys/block/sda/queue/minimum_io_size # 最小随机 IO 大小
cat /sys/block/sda/queue/optimal_io_size # 最优 IO 大小(条带宽度)
# 只读、丢弃(TRIM/UNMAP)支持
cat /sys/block/sda/queue/ro
cat /sys/block/sda/queue/discard_max_bytes
SSD 对齐:SSD 的 erase block 通常为 128KB~2MB,分区起始 LBA 与 optimal_io_size 对齐可避免跨擦除块写放大,提升寿命与性能。
3. IO 观测
iostat 扩展字段
iostat -xz 1 # 单盘每秒
iostat -dmy 1 sda sdb # 单位 MB,指定盘
关键字段:
- r/s、w/s:每秒读写请求数
- rMB/s、wMB/s:吞吐
- rrqm/s、wrqm/s:合并率(进入队列前被合并的请求数/秒),高合并率表示顺序性好
- await:IO 平均等待(含排队时间 + 服务时间),单位毫秒
- r_await、w_await:读/写分别平均等待
- aqu-sz:平均队列深度,持续超过硬件队列深度说明后端饱和
- %util:设备忙时间占比;HDD 接近 100% 为饱和,SSD/NVMe 高并发下 100% 仍可能继续扩吞吐(%util 基于单队列模型估算)
blktrace / btrace:追踪块层每个 IO 生命周期
blktrace -d /dev/sda -o - | blkparse -i - # 实时追踪
# 输出每个 IO 的 Q(入队) G(获取请求) I(插入驱动) D(下发) C(完成) 时间戳与 LBA 长度
用于定位调度器行为、合并率、队列延迟 vs 设备服务延迟。
fio:基准压测
# 随机 4k 读,QD 32,8 线程,10 分钟
fio --name=randread --filename=/dev/sda --rw=randread --bs=4k \
--ioengine=libaio --iodepth=32 --numjobs=8 --runtime=600 --group_reporting
结合 iostat 观测实际队列深度、延迟分布、吞吐与调度器行为是否匹配。
4. 常见调优点
调度器匹配
| 设备 | 建议 |
|---|---|
| NVMe SSD | none(硬件并行已足够) |
| 企业级 SATA SSD | mq-deadline 或 kyber |
| HDD | mq-deadline(吞吐)或 BFQ(桌面公平) |
| 数据库 HDD/SSD | mq-deadline(读延迟可预测) |
队列深度与合并
nr_requests(默认 128):HDD 顺序写可适当调大提升合并;SSD 调大无显著收益,反增尾延迟read_ahead_kb:顺序读预读扇区大小,页缓存层参数,HDD 顺序吞吐不足时放大,SSD 按需
丢弃与 SSD
# 查看挂载选项是否含 discard(实时 TRIM),或定期 fstrim
fstrim -a -v # 对所有已挂载支持 discard 的文件系统执行 TRIM
持续 TRIM(discard 挂载选项)每次删除同步下发 UNMAP,对小删性能有影响;通常采用 systemd fstrim.timer 每周一次批量 trim 更均衡。
dm 与 LVM 条带化
# 创建跨 4 块盘、64KB 条带大小的 LV
lvcreate -i 4 -I 64 -L 500G -n striped_lv vg01 /dev/sd[b-e]
条带大小匹配 workload 的典型 IO 大小:小 IO 大块条带减少跨盘,大 IO 小块条带最大化并行。
5. 常见性能场景
HDD 随机写抖动
HDD 随机写寻道是主要瓶颈,iostat -x 显示 %util 接近 100%、await 远高于服务时间时表示队列有积压。可改 mq-deadline 并适当调大 nr_requests、在应用层批量聚合写入(合并 bio),或迁到 SSD。
NVMe 高并发下读延迟尖峰
none 调度器下队列直接下送,多进程争抢可能造成尾延迟升高;切换 kyber 用动态限深约束队列深度,按目标延迟调整。
LVM / dm-crypt 性能下降
dm 设备位于通用块层与物理设备之间,每多一层映射增加 bio 处理开销;dm-crypt 额外消耗 CPU 加密。加密卷在 NUMA 非本地节点跑满时易出现 CPU 与加密瓶颈,需保证加密进程与 NVMe 在同一 NUMA 节点,并启用内核 crypto 异步队列。
四、总结
- 块设备层的根因是离散 IO 请求与磁盘物理执行形态的不匹配,承担合并/排序/虚拟映射三项职责
- bio 描述一次扇区级 IO;多个 bio 按 LBA 合并为 request;插头机制用微延迟换取合并收益
- blk-mq 用每 CPU 软件队列 + 多硬件队列,解决多核下的单队列锁瓶颈
- 调度器在延迟、公平、吞吐间平衡:none(NVMe)、mq-deadline(通用/数据库)、kyber(高速 SSD)、BFQ(桌面/容器公平)
- device-mapper 框架通过映射表实现虚拟块设备,linear/striped/mirror/snapshot/thin-pool/crypt/multipath 等 target 对应 LVM、RAID、加密、多路径等功能
- 调度器切换通过 /sys/block/*/queue/scheduler,队列参数调优通过同目录其他字段
- 观测用 iostat(await/aqu-sz/%util)、blktrace(IO 生命周期追踪)、fio(基准压测)
- HDD 瓶颈在寻道,建议聚合写 + deadline;NVMe 高并发尾延迟用 kyber;dm 层注意加密 NUMA 亲和与条带参数