内容总览
一、起源:硬件差异与通用块层的解耦
硬件种类多样:SATA HDD/SSD、SAS 阵列、NVMe SSD、SCSI HBA、虚拟化下的 virtio 设备,各自拥有独立的命令集、寄存器布局、DMA 描述格式与中断语义。通用块层无法感知每种硬件的实现细节,若在块层直接写死硬件逻辑则每种新设备出现都需重写整层栈。
块设备驱动层即为此而存在:它提供一套标准化适配接口,将 blk-mq 硬件队列提交的 request(LBA、长度、读写方向)翻译为对应硬件协议的命令,经 PCIe / SAS / AHCI / virtio 等总线送控制器执行;完成后以中断或轮询方式通知内核,回调块层标记 request 完成并向上层返回。驱动层是通用块层与物理硬件之间的解耦层。
二、原理:驱动框架与硬件协议
1. 块设备驱动入口框架
块设备驱动向内核注册两类核心操作集:
block_device_operations:上层对块设备节点的 open / release / ioctl / getgeo / unlocked_ioctl 等元操作,不直接处理 IO 请求。
IO 提交入口(两种模型):
- Legacy 单队列:驱动实现
request_fn回调,块层按调度器排序后逐个取出 request 交给驱动。当前内核主流设备已迁移至 blk-mq。 - blk-mq 多队列:驱动实现
blk_mq_ops操作集,其核心回调为queue_rq(hctx, rq)。块层把软件队列映射到硬件队列后,直接在对应 CPU 上调用queue_rq,无需串行化。
queue_rq 执行流程:
- 接收一个 request,检查是否可立即处理(
BLK_STS_OK/RESOURCE/DEV_ERROR/IOERR返回码) - 若资源不足,返回
BLK_STS_RESOURCE,块层稍后重试 - 将 request 映射为硬件命令并提交
- 命令完成时(中断或轮询)调用
blk_mq_end_request通知块层释放 request
驱动可按需实现 complete / init_request / exit_request 等辅助回调。
2. DMA 与中断模型
数据传输两种方式:
PIO(Programmed I/O)
CPU 逐个字读写设备寄存器搬运数据。CPU 占用高、吞吐低,现代硬盘控制器基本不再使用,仅在早期引导阶段或老旧设备可见。
DMA(Direct Memory Access)
控制器直接在主存与设备之间搬数据,CPU 仅需提交描述符。DMA 为现代块设备的标准路径,使用 scatter/gather 列表(sg list)描述:request 的 bio 向量可能跨越多个不连续内存页,sg list 将每个不连续页段的总线地址与长度列出,控制器按列表一次性 DMA 全部数据,无需 CPU 逐页参与。
中断模型
- 老式 INTx:PCI 共享中断线,多个设备共享同一中断号,内核需轮询设备确认源。单根中断线,NVMe 多队列无法发挥并行
- MSI / MSI-X(Message Signaled Interrupts):通过 PCIe 事务写内存触发中断,不再使用物理引脚
- MSI:单一中断向量或最多 32 个连续向量
- MSI-X:最多 2048 个独立向量,且每向量可独立设置 CPU 亲和
- NVMe 硬件队列与 MSI-X 向量一一对应,实现多 CPU 中断并行处理,IO 完成中断直接送达提交请求的 CPU
3. ATA / SATA AHCI
ATA(AT Attachment)是并行接口标准,SATA(Serial ATA)为串行演进;AHCI(Advanced Host Controller Interface)是 SATA 控制器的标准寄存器接口。
命令特征:
- 命令使用 ATA Command Block(寄存器或 FIS 帧),典型命令:READ DMA EXT、WRITE DMA EXT、IDENTIFY DEVICE
- AHCI 采用 Port Multiplier 支持多磁盘共享单控制器端口
- Native Command Queuing(NCQ):SATA HDD/SSD 支持在控制器内部对命令重排序,最多 32 条队列深度
AHCI 驱动与块层对接:
- ahci 驱动为每个端口分配一个命令槽结构,实现 blk_mq_ops.queue_rq:构造 ATA 命令 → 填入命令槽 → 设置 PRD(Physical Region Descriptor,DMA 散列表)→ 写寄存器触发执行
- 命令完成以 MSI/MSI-X 中断通知,完成队列遍历后调用 blk_mq_end_request
4. SCSI 栈与 SAS
SCSI(Small Computer System Interface)为通用块 IO 协议,涵盖磁盘、磁带、光盘等设备。SAS(Serial Attached SCSI)为串行物理层,向下兼容 SATA。SCSI 在 Linux 中是独立的三层栈:
- 高层驱动(Upper Level Driver):按设备类型处理 SCSI 命令语义,如 sd(磁盘)、sr(光盘)、st(磁带)、sg(通用 SCSI 命令透传)。sd 驱动把通用块层 request 构造为 SCSI CDB(Command Descriptor Block)
- 中层(SCSI Core,scsi_mod):命令调度、错误处理、超时、重试、SCSI 状态码翻译
- 低层驱动(Lower Level Driver,LLD / HBA Driver):硬件驱动,负责将 CDB 通过具体总线协议(SAS、FC、iSCSI、SPI)送到控制器。典型 LLD:mpt3sas(LSI SAS)、megaraid_sas(MegaRAID)、iscsi_tcp(软件 iSCSI)、lpfc(Emulex FC)
SCSI 典型命令:
- READ(10/16)、WRITE(10/16):读写,含 LBA 与长度
- INQUIRY:查询设备信息与类型
- MODE SENSE / MODE SELECT:查询/设置模式页参数
- REPORT LUNS:列出控制器下所有逻辑单元号
- TEST UNIT READY:检查设备就绪
SAS 通道支持扩展器(Expander)拓扑,可达千盘级存储;低层 SAS HBA 驱动处理 SMP(Serial Management Protocol)拓扑发现与 phy 链路管理。
5. NVMe
NVMe(Non-Volatile Memory express)是面向 PCIe SSD 的高性能协议,针对非易失性存储并行能力重新设计,绕过 AHCI 的 SATA 约束。
核心结构:
- Admin 队列对(SQ/CQ):一条提交队列 + 一条完成队列,管理控制器与命名空间
- IO 队列对(SQ/CQ):多对(最多 64K 条队列,每条队列最多 64K 条命令),与 CPU 核亲和绑定
- Doorbell 寄存器:驱动写提交队列尾指针(提交新命令)、完成队列头指针(消费完成项)
- 命名空间(Namespace):逻辑地址空间,对应传统 LBA 空间;一控制器可暴露多个独立命名空间
- PRP / SGL:DMA 描述格式(Physical Region Page / Scatter Gather List)
NVMe 驱动实现 blk-mq 映射:每个 IO SQ/CQ 对绑定一个 blk-mq 硬件队列;MSI-X 每个 CQ 一个向量,对应 CPU 处理完成中断。与 AHCI/SCSI 相比:
- 无控制器级命令锁,多队列并行提交
- 无 SCSI CDB 与高层协议封装开销,命令精简至 64 字节
- 提交/完成均靠内存队列(MMIO 门铃触发),PCIe 延迟低
- 支持 128 条命令以上深队列,充分发挥 SSD 并行能力
典型 NVMe 命令:Read / Write / Flush / Dataset Management(TRIM 对应 Deallocate)/ Identify / Format NVM。
6. virtio-blk 与 virtio-scsi
虚拟化环境下,客户机不直接访问物理设备控制器,而是与 hypervisor 协商半虚拟化协议 virtio:
- virtio-blk:简化块设备协议,virtqueue 中放读/写请求描述符,hypervisor 处理后回填完成。协议精简、开销低,仅支持磁盘设备
- virtio-scsi:模拟 SCSI HBA,客户机使用标准 SCSI 驱动栈,直通 LUN、光盘、磁带等多类 SCSI 设备。功能完整,比 virtio-blk 略多协议开销
二者均通过共享内存 virtqueue 与 virtio 规范定义的 VRING 提交请求,退出到 hypervisor 或由 vhost 线程在宿主机直接处理。
三、实现:观测与健康信息
1. 硬件枚举与驱动信息
# PCI 总线上的存储控制器
lspci -nn | grep -E 'SATA|SAS|SCSI|RAID|Non-Volatile|NVMe'
lspci -vvv -s 00:17.0 | grep -E 'Kernel driver|Interrupt:|MSI' # 指定设备驱动/中断
# 块设备到控制器的映射
ls -l /sys/block/sda # 看 symlink 到哪个 PCI 设备
ls -l /sys/block/nvme0n1
# SCSI 设备(sd 驱动 + SCSI 中层)
lsscsi -s # 列出 SCSI 设备,含容量与型号
lsscsi -L # SCSI LUN 信息
cat /proc/scsi/scsi # 旧接口,兼容查看
NVMe 专用
nvme list # 列出所有 NVMe 控制器与命名空间
nvme id-ctrl /dev/nvme0 # 控制器 Identify 信息(FW版本、队列数、最大命令数)
nvme list-subsys /dev/nvme0 # NVMe-oF 子系统、多路径
nvme show-regs /dev/nvme0 # 控制器寄存器(需 root)
2. 中断与队列亲和
# 中断统计:MSI-X 向量按 CPU 分布
cat /proc/interrupts | grep -E 'nvme|ahci|mpt3sas|irq-poll'
# 查看 nvme 中断向量号 → CPU 亲和绑定
for i in $(grep nvme0q /proc/interrupts | cut -d: -f1); do
echo "irq $i => $(cat /proc/irq/$i/smp_affinity_list)"
done
# 查看队列深度
cat /sys/block/sda/device/queue_depth # SATA/SAS:NCQ / SCSI TCQ
cat /sys/block/nvme0n1/queue/nr_requests # 内核侧软件队列深度
nvme get-feature /dev/nvme0 -f 0x7 # 读取队列数/队列深度特性
3. 健康与错误信息
SMART(SATA/SAS)
smartctl -a /dev/sda # 全部 SMART 信息
smartctl -x /dev/sda # 扩展信息,含错误日志与自检
smartctl -l error /dev/sda # 错误日志(读写/校验/介质错误计数)
smartctl -t short /dev/sda # 启动快速自检
smartctl -t long /dev/sda # 启动完整自检(时间较长)
关键 SMART 属性:
- Reallocated_Sector_Ct:重映射扇区数,持续增长预示介质劣化
- Power_On_Hours:上电小时数
- Temperature_Celsius:温度
- Current_Pending_Sector:待重映射未决扇区,读写后若成功恢复则清零,失败则重映射
- Uncorrectable_Error_Ct:不可纠正错误计数
NVMe 健康信息
smartctl -a /dev/nvme0n1 # smartctl 直接读 NVMe Identify 健康页
nvme smart-log /dev/nvme0 # NVMe CLI 健康日志:温度、可用寿命、告警
nvme error-log /dev/nvme0 # 控制器错误日志(命令失败记录)
nvme telemetry-log /dev/nvme0n1 --output-file=telemetry.log # 厂商 telemetry 日志
NVMe 健康关键指标:
- temperature:控制器温度
- percentage_used:NAND 写入寿命百分比(100 表示达到标称寿命)
- data_units_read/written:百万 512B 单位读写总量,换算为 TBW
- media_errors:介质不可纠正错误数
- power_cycles / power_on_hours:断电次数与上电小时
4. 驱动追踪与错误排查
# 内核块层与驱动日志
dmesg | grep -iE 'blk|ahci|nvme|scsi|error|reset|frozen|timeout'
journalctl -k --grep='I/O error\|blk_update_request\|reset\|ata[0-9].*status'
# blktrace 追踪单个 request 的驱动提交与完成延迟(D=下发 C=完成差值)
blktrace -d /dev/sda -a issue,complete | blkparse -i -
# SCSI 错误日志
cat /var/log/messages | grep -i 'medium error\|sense key\|CHECK CONDITION'
# SCSI sense key:Hardware Error / Medium Error / Illegal Request / Unit Attention
常见错误类型:
- ATA status DRDY/ERR:SATA 链路异常,常见是介质损坏或线缆/接口松动
- SCSI CHECK CONDITION + sense key Medium Error:介质读取失败,对应 SMART 重映射/待重映射增长
- NVMe status 0x2802(Media Write Fault):介质写入故障
- timeout / controller reset:PCIe 链路、电源管理或固件 bug,常见与 APST(自主电源状态转换)冲突
- blk_update_request I/O error:块层收到驱动上报的 IO 错误,通用报错,具体根因需结合驱动日志定位
5. 常见性能相关
- SATA AHCI 单队列瓶颈:AHCI 默认只有一条命令队列,高并发下 msix 向量不足,导致中断集中到单 CPU。与 NVMe 的多队列对比差距显著
- SCSI 队列深度:SCSI 设备的 queue_depth 由 HBA 能力与 sd 驱动参数决定,设备支持 TCQ/NCQ 时可适当调大以匹配调度器 nr_requests
- NVMe 队列数:
nvme_core.default_ps_max_latency_us控制允许的 APST 状态最大延迟,低延迟负载可禁用电源状态切换;队列数量通常匹配 CPU 核数,由内核自动探测 - virtio 模式:vhost 线程启用、vhost-net 零拷贝、巨页、多 virtqueue 可拉满虚拟化 IO 性能
四、总结
- 块设备驱动层是通用块层与物理硬件的解耦适配层,将 request 翻译为硬件协议命令并处理完成回调
- 驱动入口:block_device_operations 负责元操作,blk_mq_ops.queue_rq 为 blk-mq 下 IO 提交核心回调
- DMA 取代 PIO 搬运数据,sg list 处理不连续内存;MSI-X 为 NVMe 多队列提供每 CPU 独立中断向量
- ATA/SATA AHCI:单命令队列 + NCQ(深度 32),ahci 驱动处理 FIS 帧与 PRD
- SCSI 栈为三层:高层 sd/sr/st/sg 构造 CDB,中层 scsi_mod 调度与错误处理,低层 LLD(HBA)下发总线协议;SAS 为串行物理层,兼容 SATA 且支持 Expander 拓扑
- NVMe:多 Admin/IO 队列对,每队列最多 64K 命令,PCIe 门铃触发,命名空间独立 LBA,并行性与低延迟均显著优于 AHCI/SCSI
- virtio-blk / virtio-scsi 为半虚拟化块设备协议,基于共享内存 virtqueue 在 hypervisor 中处理
- 观测用 lspci、lsscsi、nvme list/cli 工具;健康用 smartctl 与 nvme smart-log 查 SMART/健康页,关注重映射、温度、寿命、介质错误
- 错误排查用 dmesg/journalctl 定位驱动日志,结合 ATA status、SCSI sense key、NVMe 状态码区分类别