内容总览

linux: 块设备驱动层 思维导图

一、起源:硬件差异与通用块层的解耦

硬件种类多样:SATA HDD/SSD、SAS 阵列、NVMe SSD、SCSI HBA、虚拟化下的 virtio 设备,各自拥有独立的命令集、寄存器布局、DMA 描述格式与中断语义。通用块层无法感知每种硬件的实现细节,若在块层直接写死硬件逻辑则每种新设备出现都需重写整层栈。

块设备驱动层即为此而存在:它提供一套标准化适配接口,将 blk-mq 硬件队列提交的 request(LBA、长度、读写方向)翻译为对应硬件协议的命令,经 PCIe / SAS / AHCI / virtio 等总线送控制器执行;完成后以中断或轮询方式通知内核,回调块层标记 request 完成并向上层返回。驱动层是通用块层与物理硬件之间的解耦层。

二、原理:驱动框架与硬件协议

1. 块设备驱动入口框架

块设备驱动向内核注册两类核心操作集:

block_device_operations:上层对块设备节点的 open / release / ioctl / getgeo / unlocked_ioctl 等元操作,不直接处理 IO 请求。

IO 提交入口(两种模型):

  • Legacy 单队列:驱动实现 request_fn 回调,块层按调度器排序后逐个取出 request 交给驱动。当前内核主流设备已迁移至 blk-mq。
  • blk-mq 多队列:驱动实现 blk_mq_ops 操作集,其核心回调为 queue_rq(hctx, rq)。块层把软件队列映射到硬件队列后,直接在对应 CPU 上调用 queue_rq,无需串行化。

queue_rq 执行流程:

  1. 接收一个 request,检查是否可立即处理(BLK_STS_OK/RESOURCE/DEV_ERROR/IOERR 返回码)
  2. 若资源不足,返回 BLK_STS_RESOURCE,块层稍后重试
  3. 将 request 映射为硬件命令并提交
  4. 命令完成时(中断或轮询)调用 blk_mq_end_request 通知块层释放 request

驱动可按需实现 complete / init_request / exit_request 等辅助回调。

2. DMA 与中断模型

数据传输两种方式:

PIO(Programmed I/O)

CPU 逐个字读写设备寄存器搬运数据。CPU 占用高、吞吐低,现代硬盘控制器基本不再使用,仅在早期引导阶段或老旧设备可见。

DMA(Direct Memory Access)

控制器直接在主存与设备之间搬数据,CPU 仅需提交描述符。DMA 为现代块设备的标准路径,使用 scatter/gather 列表(sg list)描述:request 的 bio 向量可能跨越多个不连续内存页,sg list 将每个不连续页段的总线地址与长度列出,控制器按列表一次性 DMA 全部数据,无需 CPU 逐页参与。

中断模型

  • 老式 INTx:PCI 共享中断线,多个设备共享同一中断号,内核需轮询设备确认源。单根中断线,NVMe 多队列无法发挥并行
  • MSI / MSI-X(Message Signaled Interrupts):通过 PCIe 事务写内存触发中断,不再使用物理引脚
    • MSI:单一中断向量或最多 32 个连续向量
    • MSI-X:最多 2048 个独立向量,且每向量可独立设置 CPU 亲和
    • NVMe 硬件队列与 MSI-X 向量一一对应,实现多 CPU 中断并行处理,IO 完成中断直接送达提交请求的 CPU

3. ATA / SATA AHCI

ATA(AT Attachment)是并行接口标准,SATA(Serial ATA)为串行演进;AHCI(Advanced Host Controller Interface)是 SATA 控制器的标准寄存器接口。

命令特征:

  • 命令使用 ATA Command Block(寄存器或 FIS 帧),典型命令:READ DMA EXT、WRITE DMA EXT、IDENTIFY DEVICE
  • AHCI 采用 Port Multiplier 支持多磁盘共享单控制器端口
  • Native Command Queuing(NCQ):SATA HDD/SSD 支持在控制器内部对命令重排序,最多 32 条队列深度

AHCI 驱动与块层对接:

  • ahci 驱动为每个端口分配一个命令槽结构,实现 blk_mq_ops.queue_rq:构造 ATA 命令 → 填入命令槽 → 设置 PRD(Physical Region Descriptor,DMA 散列表)→ 写寄存器触发执行
  • 命令完成以 MSI/MSI-X 中断通知,完成队列遍历后调用 blk_mq_end_request

4. SCSI 栈与 SAS

SCSI(Small Computer System Interface)为通用块 IO 协议,涵盖磁盘、磁带、光盘等设备。SAS(Serial Attached SCSI)为串行物理层,向下兼容 SATA。SCSI 在 Linux 中是独立的三层栈:

  • 高层驱动(Upper Level Driver):按设备类型处理 SCSI 命令语义,如 sd(磁盘)、sr(光盘)、st(磁带)、sg(通用 SCSI 命令透传)。sd 驱动把通用块层 request 构造为 SCSI CDB(Command Descriptor Block)
  • 中层(SCSI Core,scsi_mod):命令调度、错误处理、超时、重试、SCSI 状态码翻译
  • 低层驱动(Lower Level Driver,LLD / HBA Driver):硬件驱动,负责将 CDB 通过具体总线协议(SAS、FC、iSCSI、SPI)送到控制器。典型 LLD:mpt3sas(LSI SAS)、megaraid_sas(MegaRAID)、iscsi_tcp(软件 iSCSI)、lpfc(Emulex FC)

SCSI 典型命令:

  • READ(10/16)、WRITE(10/16):读写,含 LBA 与长度
  • INQUIRY:查询设备信息与类型
  • MODE SENSE / MODE SELECT:查询/设置模式页参数
  • REPORT LUNS:列出控制器下所有逻辑单元号
  • TEST UNIT READY:检查设备就绪

SAS 通道支持扩展器(Expander)拓扑,可达千盘级存储;低层 SAS HBA 驱动处理 SMP(Serial Management Protocol)拓扑发现与 phy 链路管理。

5. NVMe

NVMe(Non-Volatile Memory express)是面向 PCIe SSD 的高性能协议,针对非易失性存储并行能力重新设计,绕过 AHCI 的 SATA 约束。

核心结构:

  • Admin 队列对(SQ/CQ):一条提交队列 + 一条完成队列,管理控制器与命名空间
  • IO 队列对(SQ/CQ):多对(最多 64K 条队列,每条队列最多 64K 条命令),与 CPU 核亲和绑定
  • Doorbell 寄存器:驱动写提交队列尾指针(提交新命令)、完成队列头指针(消费完成项)
  • 命名空间(Namespace):逻辑地址空间,对应传统 LBA 空间;一控制器可暴露多个独立命名空间
  • PRP / SGL:DMA 描述格式(Physical Region Page / Scatter Gather List)

NVMe 驱动实现 blk-mq 映射:每个 IO SQ/CQ 对绑定一个 blk-mq 硬件队列;MSI-X 每个 CQ 一个向量,对应 CPU 处理完成中断。与 AHCI/SCSI 相比:

  • 无控制器级命令锁,多队列并行提交
  • 无 SCSI CDB 与高层协议封装开销,命令精简至 64 字节
  • 提交/完成均靠内存队列(MMIO 门铃触发),PCIe 延迟低
  • 支持 128 条命令以上深队列,充分发挥 SSD 并行能力

典型 NVMe 命令:Read / Write / Flush / Dataset Management(TRIM 对应 Deallocate)/ Identify / Format NVM。

6. virtio-blk 与 virtio-scsi

虚拟化环境下,客户机不直接访问物理设备控制器,而是与 hypervisor 协商半虚拟化协议 virtio:

  • virtio-blk:简化块设备协议,virtqueue 中放读/写请求描述符,hypervisor 处理后回填完成。协议精简、开销低,仅支持磁盘设备
  • virtio-scsi:模拟 SCSI HBA,客户机使用标准 SCSI 驱动栈,直通 LUN、光盘、磁带等多类 SCSI 设备。功能完整,比 virtio-blk 略多协议开销

二者均通过共享内存 virtqueue 与 virtio 规范定义的 VRING 提交请求,退出到 hypervisor 或由 vhost 线程在宿主机直接处理。

三、实现:观测与健康信息

1. 硬件枚举与驱动信息

# PCI 总线上的存储控制器
lspci -nn | grep -E 'SATA|SAS|SCSI|RAID|Non-Volatile|NVMe'
lspci -vvv -s 00:17.0 | grep -E 'Kernel driver|Interrupt:|MSI'   # 指定设备驱动/中断

# 块设备到控制器的映射
ls -l /sys/block/sda          # 看 symlink 到哪个 PCI 设备
ls -l /sys/block/nvme0n1

# SCSI 设备(sd 驱动 + SCSI 中层)
lsscsi -s                     # 列出 SCSI 设备,含容量与型号
lsscsi -L                     # SCSI LUN 信息
cat /proc/scsi/scsi           # 旧接口,兼容查看

NVMe 专用

nvme list                    # 列出所有 NVMe 控制器与命名空间
nvme id-ctrl /dev/nvme0      # 控制器 Identify 信息(FW版本、队列数、最大命令数)
nvme list-subsys /dev/nvme0  # NVMe-oF 子系统、多路径
nvme show-regs /dev/nvme0    # 控制器寄存器(需 root)

2. 中断与队列亲和

# 中断统计:MSI-X 向量按 CPU 分布
cat /proc/interrupts | grep -E 'nvme|ahci|mpt3sas|irq-poll'

# 查看 nvme 中断向量号 → CPU 亲和绑定
for i in $(grep nvme0q /proc/interrupts | cut -d: -f1); do
    echo "irq $i => $(cat /proc/irq/$i/smp_affinity_list)"
done

# 查看队列深度
cat /sys/block/sda/device/queue_depth     # SATA/SAS:NCQ / SCSI TCQ
cat /sys/block/nvme0n1/queue/nr_requests  # 内核侧软件队列深度
nvme get-feature /dev/nvme0 -f 0x7        # 读取队列数/队列深度特性

3. 健康与错误信息

SMART(SATA/SAS)

smartctl -a /dev/sda                     # 全部 SMART 信息
smartctl -x /dev/sda                     # 扩展信息,含错误日志与自检
smartctl -l error /dev/sda               # 错误日志(读写/校验/介质错误计数)
smartctl -t short /dev/sda               # 启动快速自检
smartctl -t long /dev/sda                # 启动完整自检(时间较长)

关键 SMART 属性:

  • Reallocated_Sector_Ct:重映射扇区数,持续增长预示介质劣化
  • Power_On_Hours:上电小时数
  • Temperature_Celsius:温度
  • Current_Pending_Sector:待重映射未决扇区,读写后若成功恢复则清零,失败则重映射
  • Uncorrectable_Error_Ct:不可纠正错误计数

NVMe 健康信息

smartctl -a /dev/nvme0n1                 # smartctl 直接读 NVMe Identify 健康页
nvme smart-log /dev/nvme0                # NVMe CLI 健康日志:温度、可用寿命、告警
nvme error-log /dev/nvme0                # 控制器错误日志(命令失败记录)
nvme telemetry-log /dev/nvme0n1 --output-file=telemetry.log  # 厂商 telemetry 日志

NVMe 健康关键指标:

  • temperature:控制器温度
  • percentage_used:NAND 写入寿命百分比(100 表示达到标称寿命)
  • data_units_read/written:百万 512B 单位读写总量,换算为 TBW
  • media_errors:介质不可纠正错误数
  • power_cycles / power_on_hours:断电次数与上电小时

4. 驱动追踪与错误排查

# 内核块层与驱动日志
dmesg | grep -iE 'blk|ahci|nvme|scsi|error|reset|frozen|timeout'
journalctl -k --grep='I/O error\|blk_update_request\|reset\|ata[0-9].*status'

# blktrace 追踪单个 request 的驱动提交与完成延迟(D=下发 C=完成差值)
blktrace -d /dev/sda -a issue,complete | blkparse -i -

# SCSI 错误日志
cat /var/log/messages | grep -i 'medium error\|sense key\|CHECK CONDITION'
# SCSI sense key:Hardware Error / Medium Error / Illegal Request / Unit Attention

常见错误类型:

  • ATA status DRDY/ERR:SATA 链路异常,常见是介质损坏或线缆/接口松动
  • SCSI CHECK CONDITION + sense key Medium Error:介质读取失败,对应 SMART 重映射/待重映射增长
  • NVMe status 0x2802(Media Write Fault):介质写入故障
  • timeout / controller reset:PCIe 链路、电源管理或固件 bug,常见与 APST(自主电源状态转换)冲突
  • blk_update_request I/O error:块层收到驱动上报的 IO 错误,通用报错,具体根因需结合驱动日志定位

5. 常见性能相关

  • SATA AHCI 单队列瓶颈:AHCI 默认只有一条命令队列,高并发下 msix 向量不足,导致中断集中到单 CPU。与 NVMe 的多队列对比差距显著
  • SCSI 队列深度:SCSI 设备的 queue_depth 由 HBA 能力与 sd 驱动参数决定,设备支持 TCQ/NCQ 时可适当调大以匹配调度器 nr_requests
  • NVMe 队列数:nvme_core.default_ps_max_latency_us 控制允许的 APST 状态最大延迟,低延迟负载可禁用电源状态切换;队列数量通常匹配 CPU 核数,由内核自动探测
  • virtio 模式:vhost 线程启用、vhost-net 零拷贝、巨页、多 virtqueue 可拉满虚拟化 IO 性能

四、总结

  • 块设备驱动层是通用块层与物理硬件的解耦适配层,将 request 翻译为硬件协议命令并处理完成回调
  • 驱动入口:block_device_operations 负责元操作,blk_mq_ops.queue_rq 为 blk-mq 下 IO 提交核心回调
  • DMA 取代 PIO 搬运数据,sg list 处理不连续内存;MSI-X 为 NVMe 多队列提供每 CPU 独立中断向量
  • ATA/SATA AHCI:单命令队列 + NCQ(深度 32),ahci 驱动处理 FIS 帧与 PRD
  • SCSI 栈为三层:高层 sd/sr/st/sg 构造 CDB,中层 scsi_mod 调度与错误处理,低层 LLD(HBA)下发总线协议;SAS 为串行物理层,兼容 SATA 且支持 Expander 拓扑
  • NVMe:多 Admin/IO 队列对,每队列最多 64K 命令,PCIe 门铃触发,命名空间独立 LBA,并行性与低延迟均显著优于 AHCI/SCSI
  • virtio-blk / virtio-scsi 为半虚拟化块设备协议,基于共享内存 virtqueue 在 hypervisor 中处理
  • 观测用 lspci、lsscsi、nvme list/cli 工具;健康用 smartctl 与 nvme smart-log 查 SMART/健康页,关注重映射、温度、寿命、介质错误
  • 错误排查用 dmesg/journalctl 定位驱动日志,结合 ATA status、SCSI sense key、NVMe 状态码区分类别