前几篇文档分别覆盖了本地磁盘的分区、格式化与挂载(文件系统底层认知、磁盘存储与文件系统操作命令)以及内核层面的统一抽象(虚拟文件系统 VFS)。这些机制解决的都是「数据在本机磁盘上如何组织」,前提是磁盘直接挂在主机总线上。本文讨论前提改变后的情况:数据存放在通过网络访问的存储设备上,或者同一份数据需要被多台主机同时使用。
一、起源:本地磁盘的边界
1.1 容量与共享的物理边界
本地磁盘受单机硬件约束,边界体现在三个方面:
- 容量边界:机箱盘位、背板通道、控制器端口数量决定了单机可接入的磁盘规模,超出后只能整机更换或做数据迁移
- 带宽边界:盘位与控制器之间、控制器与内存之间是固定带宽的物理通道,多块高速盘共享同一条上行链路时会出现带宽争用
- 共享边界:一块本地磁盘的读写入口只在本机内核中,其他主机没有访问路径。同一份数据要供多台主机使用,只能靠复制,而复制存在延迟与冲突
复制方式在只读分发场景可行,在需要多写入方的场景(多台应用服务器共享上传目录、多节点需要看到同一份配置与日志、数据库冷备目录集中存放)无法保证同一时刻的数据一致。
1.2 单机故障域
故障域指一次故障能够影响的范围。本地磁盘架构中的故障域划分如下:
| 层级 | 冗余手段 | 能抵御的故障 | 无法抵御的故障 |
|---|---|---|---|
| 单盘 | RAID 1/5/6/10 | 单块或多块盘失效 | 控制器失效、主机失效 |
| 单控制器 | 双盘冗余、热备盘 | 磁盘失效 | 背板、控制器、主机电源失效 |
| 单主机 | 主机内部冗余 | 部件失效 | 主机宕机、操作系统崩溃、机柜断电、机房事故 |
| 单机房 | 本地备份、RAID | 逻辑误删(有备份时) | 机房级事故 |
关键点在于:磁盘阵列、LVM、RAID 全部位于单机故障域之内,主机一旦不可用,数据随之中断访问。RAID 与 LVM 的机制参见 磁盘存储与文件系统操作命令 中的软件阵列与逻辑卷管理部分。把副本放在同一机房内也无法解决机房级故障,这一点在 备份与容灾 的 3-2-1 原则与容灾层次中有对应讨论。
1.3 网络存储要解决的问题
网络存储把存储介质从主机机箱内部搬到网络上,用一套独立的存储设备对外提供访问,解决的正是上述边界:
- 容量与主机解耦:容量由存储设备统一规划,主机侧看到的是一块或一个目录,扩容在存储侧完成,必要时主机侧在线识别
- 数据与主机解耦:主机失效不导致数据不可达,更换主机后重新接入即可继续访问
- 多主机共享:文件级存储天然支持多主机同时挂载;块级存储在配合集群文件系统或集群管理软件后也可多节点使用
- 故障域分离:存储设备具备双控制器、双电源、多路径等冗余,主机侧通过多路径与集群软件配合,把单点从「每台主机各自的盘」收敛为「少量共享存储设备」
1.4 引入的新依赖
代价是把一个原本「不会失败、不会变慢」的本地调用,变成依赖网络与远端设备的多跳调用。新增的依赖与对应的故障模式:
| 新增依赖 | 具体形式 | 失效时的表现 |
|---|---|---|
| 网络路径 | 链路、交换机、路由、MTU、丢包与抖动 | 时延上升、吞吐下降、请求超时、挂载挂起 |
| 名字与发现 | DNS、主机名解析、iSCSI 发现门户 | 挂载失败、登录不到目标、解析到错误地址 |
| 认证与授权 | CHAP、Kerberos、导出表、ACL、SMB 凭据 | 认证失败、Permission denied、挂载成功但读写被拒 |
| 超时与重试 | 会话超时、重传次数、重连策略 | 短时抖动被放大为长时挂起,或过早返回错误 |
| 状态与租约 | 锁、租约、会话表、路径状态 | 锁恢复失败、脑裂、路径假死、数据被双写 |
| 身份映射 | UID/GID、SID、匿名映射 | 文件属主显示为 nobody、写入被拒、权限与本地不一致 |
由此产生一个与本机磁盘完全不同的判读原则:本机磁盘故障通常以错误码快速返回,网络存储故障更多表现为请求挂起,进程进入不可中断睡眠(D 状态),df、ls、umount 全部卡住。这一现象在 进程管理 与 系统原理(Java 视角) 中都有提及,其处置方式在本文 3.7 节展开。
二、原理
2.1 存储访问类型:块级、文件级与对象级
理解网络存储的第一步是区分「对外提供什么」的三种形态:
| 维度 | 块级 | 文件级 | 对象级 |
|---|---|---|---|
| 对外单位 | 逻辑块设备(LUN) | 目录与文件 | 对象(键 + 数据 + 元数据) |
| 客户端看到 | /dev/sdb、/dev/mapper/mpatha | /mnt/nfs、/mnt/smb 挂载点 | HTTP/S3 接口,无挂载点 |
| 文件系统位置 | 客户端本地,由客户端创建与管理 | 服务端,客户端只是挂载视图 | 服务端,客户端通过 API 读写 |
| 并发访问 | 默认单客户端读写,需集群文件系统才能多写 | 天然支持多客户端挂载 | 面向海量客户端并发 |
| 典型协议 | iSCSI、FC、NVMe-oF | NFS、SMB/CIFS | S3、Swift、Ceph RGW |
| 适用场景 | 数据库、虚拟机磁盘、需要自选文件系统的场景 | 共享目录、上传下载、日志集中、家目录 | 备份归档、海量静态文件、图片视频、数据湖 |
三者的差别可以归结为「谁管理文件系统」:块级存储交付的是裸设备,格式化和元数据管理都在客户端完成,因此客户端拥有完全的控制权,但无法让第二个客户端安全地同时挂载;文件级存储交付的是已经组织好的目录视图,元数据由服务端统一维护,多个客户端可以同时看到同一份目录,代价是语义受协议约束;对象级存储放弃目录树与随机写,换取扁平命名空间下的高扩展性与 HTTP 可直接访问的能力。
NAS 与 SAN 的定位
NAS(Network Attached Storage)与 SAN(Storage Area Network)是部署形态的划分,与上表的访问类型有稳定的对应关系:
- NAS:文件级,客户端通过标准文件协议(NFS、SMB)挂载目录。优点是接入简单、多主机共享天然成立、按目录做权限与配额;缺点是协议开销与元数据操作受服务端限制,高并发小文件性能通常低于本地盘
- SAN:块级,主机通过专用网络(光纤通道)或以太网(iSCSI、FCoE)接入 LUN。优点是主机侧看到的是块设备,性能与语义接近本地盘,适合数据库与虚拟化;缺点是接入需要多路径与集群软件配合,多主机共享需要额外的集群文件系统与 fencing
选择判据:
- 需要多主机同时读写同一份数据、且以文件为操作单位时,选文件级
- 需要数据库、虚拟机镜像这类块语义、且要求低延迟与可控缓存行为时,选块级
- 数据量极大、以整体读写为主、需要 HTTP 直接访问与跨地域分发时,选对象级
- 已有 SAN 但被上层应用按文件目录使用时,通常是文件级更省事,块级只是让应用看起来像本地盘
2.2 NFS 的工作机制
角色划分
- 服务端:导出(export)本地目录,运行 nfsd 内核线程处理请求,rpcs 相关辅助服务提供挂载与状态管理
- 客户端:通过 mount 系统调用把远端目录挂到本地目录树,之后所有文件操作经 VFS 分发到 NFS 客户端模块,再由 RPC 编码为网络请求
NFS 在客户端呈现为一个普通文件系统,这正是 虚拟文件系统 VFS 中统一文件模型的价值:应用无需感知目录是本地还是远端。
版本差异
| 版本 | 传输与端口 | 锁与状态 | 主要特征与注意事项 |
|---|---|---|---|
| NFSv3 | 多端口,依赖 rpcbind、mountd,锁由 NLM/lockd 与 statd 提供 | 状态外置,服务端重启后需要锁恢复流程 | 部署面最广,防火墙需要放行多个辅助服务;无状态特性使其在旧环境中兼容性最好 |
| NFSv4.0 | 单一 TCP 端口 2049,锁内置于协议 | 有状态,含租约(lease) | 引入伪文件系统与全局命名空间,不再需要 rpcbind 与 mountd;租约到期未续会触发状态恢复 |
| NFSv4.1 | 单端口,支持会话与多路复用 | 会话(session)与 trunking | 支持并行多连接与 pNFS,跨防火墙最简单 |
| NFSv4.2 | 在 4.1 基础上扩展 | 同上 | 支持服务端拷贝、稀疏文件与更细的 IO 提示 |
判读要点:
- 版本不一致会带来隐蔽差异,
vers=未显式指定时,客户端会与服务端协商,实际生效版本需用nfsstat -m或mount输出确认 - v4 的伪文件系统意味着导出的是子树而非绝对路径,客户端看到的路径与服务端物理路径可以不同
- v3 的锁依赖 lockd 与 statd,服务端或客户端重启后可能出现锁恢复异常,表现为应用报「文件已锁定」但无进程持有
挂载与缓存语义
NFS 客户端为减少网络往返,会缓存文件数据与属性:
- 数据缓存:读到的文件内容进入本地页缓存,与服务端数据可能短时不一致。缓存与回写的通用机制参见 页缓存与 IO 性能
- 属性缓存:文件的 mtime、大小、属主等信息按
acregmin/acregmax/acdirmin/acdirmax定时过期,统一控制项为actimeo - 目录项缓存:
lookupcache控制负向缓存行为,lookupcache=positive时对不存在的名称不缓存,none则每次询问服务端
典型现象与成因:
- A 主机刚写入的文件,B 主机短时间看不到,或看到旧大小
- A 主机刚创建的文件,B 主机的
ls提示不存在,稍后又出现 - 删除后短时间仍可打开,报
Stale file handle
这些都与缓存过期时间相关,actimeo=0 可让属性每次回读服务端,代价是元数据操作延迟显著上升,只适合强一致性要求且元数据量不大的场景。
锁与一致性
NFS 提供 POSIX 记录锁,但语义与本地文件系统存在差距:
- 锁由服务端仲裁,客户端故障后服务端需通过状态恢复流程回收其锁
- 多客户端同时追加写同一文件时,NFS 不保证写入的原子合并;只有在
O_APPEND与协议实现配合的情况下才具备追加原子性 - 应避免把依赖本地锁语义的应用(如某些文件型数据库、使用 file lock 做单实例判定的程序)直接放到 NFS 上
- 需要强一致或原子重命名以外的复杂语义时,应改用数据库或对象存储,而不是依赖文件协议的一致性
软挂载与硬挂载
这是网络存储最需要提前决策的参数:
| 参数 | 行为 | 优点 | 风险 |
|---|---|---|---|
hard(默认) | 服务端不可达时无限重试,请求挂起直到恢复 | 不会静默丢数据,写入最终会落到服务端 | 进程可能长时间进入 D 状态,df、umount 卡死,影响依赖该挂载点的整条链路 |
soft | 重试 retrans 次后返回错误(EIO 等) | 应用能较快感知失败并降级 | 写入被静默丢弃或部分完成,数据损坏,且应用往往把 EIO 当作「文件不存在」处理 |
soft + timeo 偏小 | 抖动即报错 | 故障暴露快 | 在拥塞链路上频繁误判 |
判断原则:
- 承载数据与业务读写的挂载点一律使用
hard - 只读、可重试、可整体重放的挂载点(如镜像分发、日志收集的只读源)可考虑
soft - 需要避免启动阻塞时,用
_netdev、nofail、x-systemd.automount、x-systemd.mount-timeout控制,而不是改用soft intr与softdep已于现代内核中弃用或语义变化,不应作为解决方案
2.3 iSCSI 的工作机制
iSCSI 把 SCSI 命令封装进 TCP/IP,使主机能够通过以太网访问块设备,是 SAN 在以太网上的实现方式。
target 与 initiator
- target(目标):存储侧的对外端口,暴露一个或多个 LUN。软件实现常见为 LIO(
targetcli管理,内核态)与 tgt(用户态) - initiator(发起方):客户端侧,由
open-iscsi提供,内核模块iscsi_tcp(软件)或 HBA 卸载(硬件 iSCSI 卡) - 发现(discovery):initiator 通过门户(portal,形如
10.0.20.10:3260)获取可用 target 列表,之后登录并建立会话
LUN 与 IQN 命名
- LUN(Logical Unit Number):target 内可被访问的逻辑单元,通常对应存储侧的一个卷或一个文件
- IQN(iSCSI Qualified Name):形如
iqn.2026-09.com.example:storage.disk01,用于唯一标识 target 与 initiator - 命名规则为
iqn.年-月.反向域名:自定义标识,ACL 中按 initiator 的 IQN 授权 - 同一 target 可有多个 LUN,客户端登录后按 LUN 出现为多个 SCSI 设备
会话、路径与多路径
- initiator 与 target 之间的连接称为会话(session);一条会话对应一条 TCP 连接,可承载多个 LUN
- 主机有多张网卡、存储有多个门户时,同一 LUN 会通过多条路径暴露为多个 SCSI 设备(如
sdb、sdc) - 多路径层(dm-multipath)把这些设备聚合为一个
/dev/mapper/mpathX,对外表现为单一设备,并在路径故障时切换 - 路径策略决定 IO 分发方式:主备(
failover)、轮询(round-robin)、队列长度加权等 no_path_retry决定全部路径不可用时的行为:queue使 IO 排队等待而不是立刻报错,表现为应用挂起;这与 NFS 的hard挂载有相同的取舍
多路径设备的命名、/etc/multipath.conf 关键项、路径状态判读与扩容后的重扫流程见 磁盘存储与文件系统操作命令 的多路径部分,本文只讨论与 iSCSI 接入相关的部分。设备映射层的实现背景参见 块设备层与 IO 调度。
认证方式
| 方式 | 说明 | 适用与风险 |
|---|---|---|
| 无认证(ACL 白名单) | target 依据 initiator IQN 授权 | 仅限封闭存储网络,IQN 可被伪造 |
| CHAP 单向 | target 校验 initiator 的用户名与口令 | 常见配置,口令以明文存于 /etc/iscsi/iscsid.conf,需收紧文件权限 |
| CHAP 双向(mutual) | 双方互相校验 | 安全性更高,配置项更多,排障时需同时核对两侧 |
| 网络隔离 | 存储流量走独立 VLAN 或物理网络 | 应作为基础前提,而不是认证的替代 |
2.4 SMB 与 CIFS
SMB(Server Message Block)是文件级协议,CIFS 是其早期版本的实现名称,Linux 客户端通过内核 cifs 模块挂载。
与 NFS 的差异
| 维度 | NFS | SMB/CIFS |
|---|---|---|
| 主要生态 | Unix/Linux 之间 | Windows 与混合环境 |
| 身份模型 | UID/GID 数字标识,或 Kerberos 主体 | 账户名、域、SID 为主 |
| 权限模型 | POSIX 权限与 ACL | Windows ACL 为主,可选 POSIX 扩展 |
| 默认字符集 | 通常为 UTF-8,由本地环境决定 | 需显式指定,否则中文文件名异常 |
| 端口 | v4 单端口 2049 | 445(新版本),139 为旧版本与 NetBIOS |
| 挂载参数 | 以协议语义参数为主 | 挂载参数涉及属主、权限、字符集、缓存策略,数量更多 |
挂载参数要点
vers:应显式指定,如3.1.1,避免协商到存在已知缺陷的旧版本credentials:凭据从独立文件读取,避免口令出现在 fstab 或脚本中uid/gid/file_mode/dir_mode:服务端不提供 POSIX 语义时,客户端把整个挂载点映射为固定属主与权限nounix:禁用 Unix 扩展,使客户端完全按 Windows 语义解释权限mapposix/cifsacl:启用 POSIX 或 Windows ACL 的映射,需要服务端配合noserverino:服务端返回的 inode 号在硬链接等场景下可能不可靠,部分版本需要该参数规避问题iocharset:字符集设置,中文文件名乱码多与此项或服务端编码相关multichannel与max_channels:SMB 3.x 支持多通道聚合多条 TCP 连接提升吞吐
权限映射
SMB 挂载中最常见的困扰来自两套权限模型的换算:
- 服务端为 Windows 文件服务器时,客户端
uid/gid/file_mode只影响本地视图,真实权限由服务端 ACL 决定,且可能有服务端 ACL 与本地视图不一致 - 服务端为 Samba 时,可通过
force user、create mask、directory mask在服务端统一收敛权限,比在客户端拼参数更可靠 - 服务端返回的属主为数字或
nobody时,说明映射没有建立,应先在服务端确认身份解析,再调整客户端参数
2.5 集群文件系统与共享存储
块级共享存储默认只允许一台主机以读写方式挂载。当多台主机需要同时读写同一块 LUN 时,必须引入集群文件系统与配套的集群基础设施。
多节点同时挂载的前提
完整的前提是一条链,缺一即可能造成数据损坏:
- 存储侧允许同一 LUN 被多个 initiator 同时访问(多数存储默认允许,但不代表安全)
- 所有节点通过多路径看到一致的设备,且设备标识(WWID)相同
- 集群软件(如 Pacemaker 与 Corosync)建立成员关系,节点间有心跳与消息通道
- 分布式锁管理器(DLM)可用,负责锁的授予与回收
- 集群文件系统(GFS2、OCFS2)在所有节点上创建并挂载,挂载时声明集群名与锁表
- fencing 可用:任一节点失联时,集群能强制隔离该节点,确保其不再持有存储
一旦缺少第 6 项,集群无法确认失联节点已停止写入,任何一侧的继续写入都可能造成元数据与数据被交叉覆盖。fencing 的实现方式与配置要点见 高可用与集群 的 fencing 部分。
一致性模型
集群文件系统的一致性依赖集中式锁服务,与本地文件系统有本质差别:
- 元数据操作需先获取锁,锁授予与回收通过集群通信完成,因此元数据性能受网络往返限制
- 节点故障后,其持有的锁由锁管理服务回收,回收期间相关资源的访问被阻塞
- 缓存一致性由锁协议维持,节点在获得锁时使本地缓存失效,代价是跨节点访问同一文件的延迟高于本地访问
- 语义上接近 POSIX,但仍存在跨节点操作的时序差异,依赖强一致的文件型应用仍建议放在单节点文件系统上
仲裁与隔离的重要性
- 仲裁(quorum)决定哪一侧可以继续运行,避免集群分裂后两侧都启动资源
- 隔离(fencing / STONITH)保证失联节点不再访问共享存储,是防止双写的最后一道闸门
- 两者缺一不可:只有仲裁而没有隔离时,未获得 quorum 的一侧若仍有残留 IO 在途,共享存储上的数据仍可能被写入
- 因此集群环境严禁在集群之外手工挂载同一块共享设备,即使只是为了「临时看一下数据」
2.6 分布式存储与对象存储的概念
分布式存储把数据切分后分布到多台存储节点,用软件层替代专用控制器,是共享存储的另一种实现路径。
数据分布与副本
- 切分:数据被拆分为固定大小的对象或块(chunk、object),按一致性哈希或 CRUSH 类算法映射到节点
- 副本:每个分片保存多份(常见 3 副本),写入需达到最小成功份数(如
min_size)才对外确认 - 纠删码:以校验片段替代完整副本,容量效率高于三副本,但重建时的读取放大与延迟更高,通常用于对延迟不敏感的大容量场景
- 元数据:部分系统采用集中元数据服务,部分将元数据分布化,前者扩容更易受限于元数据集群,后者实现更复杂
故障域
故障域决定副本的分布单位,是配置分布式存储时最需要与控制面达成一致的部分:
| 故障域粒度 | 效果 | 说明 |
|---|---|---|
| 磁盘 | 抗单盘失效 | 副本可能落在同一主机,主机失效即丢多份 |
| 主机 | 抗单主机失效 | 常见最低要求 |
| 机柜 | 抗机柜断电或交换机失效 | 需要拓扑信息配置正确 |
| 机房 | 抗机房级事故 | 跨机房副本会显著增加写延迟 |
一致性与可用性的取舍
分布式存储无法同时满足强一致与高可用,实现上按场景取舍:
- 强一致模型:写入需多数副本确认后才返回,网络分区时少数侧不可写,适合元数据与关键数据
- 最终一致模型:写入本地成功后即返回,副本异步同步,读取可能返回旧值,适合可容忍短暂不一致的场景
- 对象存储的桶列表与统计类操作通常是最终一致的,业务侧不应把列表结果当作精确账目
- 涉及「先写后读必须读到新值」的场景,需要在应用层保证通过同一入口读取或加入显式等待
运维要点(概念层面)
- 容量水位:重建需要临时空间,水位过高会显著延长重建时间并放大风险
- 副本一致性校验:定期 scrub 发现静默损坏,同时会产生后台 IO,需要与业务高峰错峰
- 节点上线下线:节点增减会触发数据重平衡,应控制迁移速率以避免打满网络
- 扩容方式:多数系统支持在线加节点,但容量不会即时变得可用,需等待重平衡完成
- 客户端接入:分布式存储通常同时提供块、文件、对象三种接口(如 RBD、CephFS、RGW),选择哪种接口取决于上层应用而非存储本身
三、实现
3.1 NFS 服务端
导出配置与权限选项
导出表为 /etc/exports,格式为「目录 + 客户端范围 + 括号内选项」:
# /etc/exports
/exports/data 10.0.10.0/24(rw,sync,no_subtree_check,root_squash)
/exports/share 10.0.10.21(rw,sync,no_subtree_check)
/exports/backup 10.0.10.0/24(ro,sync,no_subtree_check,root_squash)
常用选项:
| 选项 | 作用 | 注意点 |
|---|---|---|
rw / ro | 读写或只读导出 | 只读导出是防止误写的有效手段 |
sync / async | 回复请求前是否落盘 | async 吞吐更高,服务端崩溃可能丢确认过的数据 |
root_squash | 客户端 root 映射为匿名用户 | 默认行为,应保持开启 |
no_root_squash | 客户端 root 保持 root | 相当于把服务端该目录写权限交给任意客户端 root |
all_squash | 所有用户映射为匿名用户 | 用于免身份匹配的只读分发 |
anonuid / anongid | 指定匿名用户的 UID/GID | 与客户端 uid/gid 配合使用 |
no_subtree_check | 关闭子树检查 | 提升性能,但导出目录被重命名时行为与开启时不同 |
no_all_squash | 保留全部用户身份 | 需要两端 UID 一致 |
sec=krb5i | 启用 Kerberos 完整性校验 | 需要 KDC 与 keytab,部署成本高 |
fsid= | 指定文件系统标识 | 同一文件系统多路径导出时避免客户端误判 |
生效与核对:
# 重载导出表,不中断已有挂载
sudo exportfs -ra
# 查看当前实际生效的导出与选项
sudo exportfs -v
# 在服务端本地确认导出可用
showmount -e localhost
客户端范围与访问控制
- 客户端范围写法:单主机(
10.0.10.21)、网段(10.0.10.0/24)、通配(*.example.com)、全体(*) - 范围过宽是常见的越权来源。
*意味着任何能连到 2049 端口的主机都可挂载,配合no_root_squash等同于远程可写系统目录 - 访问控制应叠加网络层:存储流量走独立网段,并在防火墙上限定 2049(v4)或 2049/111/20048 等(v3)的来源
高危:为图方便把导出写成 * 并加 no_root_squash,等于向整个可达网络开放以 root 身份写入该目录的能力,可被用于植入文件或覆盖配置。防护建议:导出范围精确到主机或最小网段,保持 root_squash,只读场景使用 ro 导出;变更前备份 /etc/exports。回滚方式:恢复备份文件后执行 sudo exportfs -ra,并用 sudo exportfs -v 复核,必要时重启 nfs-server 使旧导出彻底失效。
权限与 UID 映射
NFS 以数字 UID/GID 作为身份,两端的用户数据库并不自动同步:
- 服务端 UID 1000 与客户端 UID 1000 可能是不同的人,只按数字匹配
- 客户端 root 在
root_squash下变为服务端的nobody,因此客户端 root 无法修改服务端属主为其他人的文件 - 需要两端一致时,应通过集中身份源(LDAP、SSSD、NIS)统一 UID,或使用
all_squash加固定的anonuid - 用户与组的管理方式参见 用户与组管理,权限模型的细节参见 权限模型
性能与并发参数
- 服务端线程数:nfsd 线程数量(
/etc/nfs.conf的[nfsd] threads=,或发行版对应的默认文件)影响并发处理能力,过小会在并发高时排队,过大则增加上下文切换 sync与存储后端:sync导出的实际落盘延迟由后端存储决定,后端慢会直接体现为客户端写入慢- 导出目录所在文件系统:XFS 在大文件与并发写入下表现稳定,ext4 在元数据密集场景表现良好,选择与本地场景一致即可(参见 磁盘存储与文件系统操作命令)
- 网络:在多核客户端上单条 TCP 连接是瓶颈时,优先考虑 NFSv4.1 的
nconnect或多会话,而不是单纯增大rsize/wsize
日志与审计
# 服务端运行状态与请求统计
sudo systemctl status nfs-server
sudo nfsstat -s
# 服务与内核日志
sudo journalctl -u nfs-server --since "1 hour ago"
sudo dmesg -T | tail -n 50
/var/lib/nfs/etab为实际生效的导出表,/var/lib/nfs/rmtab记录客户端挂载记录,两者可用于核对「谁挂了什么」- 审计需求较高时,可在服务端启用 audit 或使用客户端侧的挂载事件记录,日志体系的整体说明参见 日志查询与审计
安全加固要点
- 存储网络与业务网络隔离,避免 NFS 端口暴露在不受控网段
- 导出范围最小化,优先只读
- 保持
root_squash,仅在明确需要且受控的场景使用no_root_squash - 自定义端口时同步更新防火墙规则,避免为了放行而整段开放
- 需要传输加密与身份认证时使用
sec=krb5*,或改用 VPN 隧道承载存储流量,主机加固的整体思路参见 主机加固与登录安全
3.2 NFS 客户端
挂载参数选择
# 手动挂载:显式指定版本,硬挂载保证不丢写
sudo mount -t nfs -o vers=4.2,rw,hard,timeo=600,retrans=2,rsize=1048576,wsize=1048576,_netdev \
10.0.10.10:/exports/data /mnt/nfs
# 确认实际协商到的版本与参数
nfsstat -m
findmnt -T /mnt/nfs -o TARGET,SOURCE,FSTYPE,OPTIONS
关键参数:
| 参数 | 说明 | 建议 |
|---|---|---|
vers | 协议版本 | 显式指定并与服务端能力对齐,v4.1 及以上可跨防火墙单端口 |
hard / soft | 不可达时的行为 | 业务数据使用 hard |
timeo | 首次重传超时,单位为十分之一秒 | timeo=600 表示 60 秒,与 retrans 配合 |
retrans | 重传次数 | hard 下用于计算上层重试节奏,取值过小会放大抖动 |
rsize / wsize | 单次读写大小 | 大文件吞吐场景可增大;小文件场景收益有限 |
nconnect | 单挂载点并发 TCP 连接数 | 需 v4.1 及以上,多核高吞吐场景有效,注意服务端与网络设备连接数限制 |
actimeo | 属性缓存时长(秒) | 默认较大,跨主机即时可见要求高时调小 |
_netdev | 声明依赖网络 | 网络就绪后再挂载,systemd 环境下必要 |
noatime | 不更新访问时间 | 减少元数据写,读多写少场景有效 |
fstab 与 systemd 自动挂载
# /etc/fstab
10.0.10.10:/exports/data /mnt/nfs nfs4 vers=4.2,hard,timeo=600,retrans=2,rsize=1048576,wsize=1048576,_netdev,nofail,x-systemd.automount,x-systemd.idle-timeout=600 0 0
判读要点:
nofail:挂载失败不阻塞启动,避免网络存储不可达时主机停在紧急模式。nofail与defaults的取舍参见 磁盘存储与文件系统操作命令x-systemd.automount:由 systemd 生成 automount 单元,在首次访问挂载点时才真正挂载,适合低频访问的共享目录x-systemd.idle-timeout:空闲指定时间后自动卸载,与 automount 配合可减少长期空闲连接_netdev与 automount 同时使用时,挂载时机依赖网络就绪状态,需在findmnt --verify后实际重启验证一次- 不使用 automount 时,可另建
.mount与.automount单元做更精细的顺序控制 - fstab 的字段含义与校验方式见 文件系统底层认知
缓存与属性超时
- 跨主机协同的共享目录(如发布目录、任务队列目录)应缩短
actimeo,例如actimeo=10 - 同一主机独占读写的目录保持默认值
- 需要绕过客户端缓存的程序应使用
O_DIRECT或自身实现一致性检查,但直接 IO 会显著降低小文件性能 - 检查挂载点当前缓存参数:
cat /proc/mounts | grep nfs、findmnt -T /mnt/nfs
故障时的表现与强制卸载风险
服务端不可达时,hard 挂载的表现序列通常是:
- 应用读取变慢,随后完全卡住
- 相关进程进入 D 状态,
df、ls、stat对该路径挂起 umount返回device is busy或直接挂起- 依赖该目录的服务在重启时也卡在启动阶段
高危:强制卸载(umount -f、umount -l)会让仍在写入的应用继续向已解除挂载的路径写数据,数据落到本地目录或被丢弃,恢复后表现为文件缺失或内容截断;umount -l 只是从命名空间解除引用,实际连接可能仍未释放。防护建议:先确认持有者(lsof +D /mnt/nfs、fuser -m /mnt/nfs),优先停止或重启持有挂载的进程;如必须强制卸载,先记录 mount、lsof 输出与 dmesg 现场,再执行并立即检查应用数据是否完整。兜底方式:无法卸载且业务已不可用时,重启持有挂载的节点是最可控的选择;重启前应确认服务端已恢复,避免重启后再次挂载失败。D 状态进程的具体判读方式见 3.7 节。
3.3 iSCSI 接入
服务端(target)配置要点
以 LIO(targetcli)为例:
# 1. 创建后端存储,方式可为块设备、文件或现有 LUN
sudo targetcli /backstores/block create name=data01 dev=/dev/sdb
# 2. 创建 target,IQN 需符合命名规范
sudo targetcli /iscsi create iqn.2026-09.com.example:storage.disk01
# 3. 在 target 下创建 LUN 并绑定后端存储
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/luns create /backstores/block/data01
# 4. 配置网络门户
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/portals create 10.0.20.10 3260
# 5. 建立 ACL,仅允许指定 initiator 登录
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/acls create iqn.2026-09.com.example:client01
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/acls/iqn.2026-09.com.example:client01 set auth userid=clientuser password=***pass***
# 6. 关闭演示模式与全局 ACL,避免任意 initiator 接入
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1 set attribute authentication=1
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1 set attribute demo_mode_write_protect=0
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1 set attribute generate_node_acls=0
# 7. 保存配置,确认重启后仍生效
sudo targetcli saveconfig
配置要点:
generate_node_acls=1会自动为任意 initiator 放行,与demo_mode_write_protect=0组合时相当于无认证可写,生产环境必须关闭- 后端存储为文件时存在额外的双层文件系统开销,性能低于块设备直通
- ACL 与 CHAP 是两道独立的门,应同时启用
- 修改 target 配置属于存储侧变更,需与使用该 LUN 的主机协调维护窗口
initiator 连接与登录
# 1. 设置本机 IQN(需与 target ACL 中一致)
sudo cat /etc/iscsi/initiatorname.iscsi
# 2. 配置 CHAP 凭据与超时(口令文件权限收紧)
sudo vi /etc/iscsi/iscsid.conf
# node.session.auth.authmethod = CHAP
# node.session.auth.username = clientuser
# node.session.auth.password = ***pass***
# 3. 发现目标
sudo iscsiadm -m discovery -t sendtargets -p 10.0.20.10:3260
# 4. 登录
sudo iscsiadm -m node -T iqn.2026-09.com.example:storage.disk01 -p 10.0.20.10:3260 -l
# 5. 核对会话、LUN 与新出现的块设备
sudo iscsiadm -m session -P 3
lsblk
要点:
iscsid与iscsi服务需设置为开机启动,否则重启后会话不会自动恢复- 登录后新设备出现需要一点时间,若长时间未出现应在
dmesg中查看 SCSI 扫描日志 - 会话与设备名可能因登录顺序变化,因此上层必须基于 WWID 或
/dev/mapper/mpathX使用,不能写死/dev/sdX - CHAP 口令以明文保存在
/etc/iscsi/iscsid.conf,应限制文件权限为 600,并使用集中配置管理分发
多路径配置与验证
# 1. 安装并启用多路径服务
sudo apt install multipath-tools
sudo systemctl enable --now multipathd
# 2. 配置黑白名单,避免把本地盘误纳入管理
sudo vi /etc/multipath.conf
# blacklist {
# devnode "^(ram|raw|loop|fd|sr|nvme|sda)[0-9]*"
# }
# 3. 查看聚合结果与路径状态
sudo multipath -ll
sudo multipathd show paths
sudo multipathd show maps
- 同一 LUN 的多条路径应聚合为一个
mpathX,multipath -ll中显示路径数量与状态(active、faulty、failed) - 路径策略与故障回切由
failback、path_checker、no_path_retry控制,常见调整项与坑点见 磁盘存储与文件系统操作命令 的多路径部分 - 单路径故障时业务通常不受影响,应在维护窗口处理;全部路径故障会中断 IO
高危:在多路径设备上手工执行路径剔除、multipathd failback 或直接对 mpathX 做破坏性写测试,可能使唯一可用路径进入 failed 状态而中断正在运行的业务 IO。防护建议:变更前记录 multipath -ll 与 multipathd show paths 输出,确认至少一条路径为 active,并在业务低峰执行;不要在同一 LUN 上做压测与路径变更的叠加操作。回滚方式:先恢复链路(线缆、交换机端口、iSCSI 会话),执行 sudo iscsiadm -m session -R 重扫并用 sudo multipathd resize map mpathX 刷新;failback 为 manual 时需手工执行 sudo multipathd failback map mpathX 回切。
LUN 扩容后上层识别
存储侧扩容 LUN 后,主机侧需要按顺序让各层看到新容量:
# 1. 重扫 iSCSI 会话,使内核看到新的块设备容量
sudo iscsiadm -m session -R
# 2. 刷新多路径映射,使其反映新容量
sudo multipathd resize map mpatha
sudo multipath -ll
# 3. 若设备已作为物理卷使用,扩展物理卷并同步逻辑卷
sudo pvresize /dev/mapper/mpatha
sudo vgs
sudo lvextend -r -l +100%FREE /dev/vgdata/lvdata
# 4. 核对结果
lsblk
df -h /data
要点:
- 顺序不可颠倒。跳过重扫时
pvresize会认为设备容量未变 lvextend -r会在扩容后同步扩展文件系统;XFS 只能在挂载状态下扩容,ext4 可在线扩容- 不经过 LVM 直接使用分区时,需先调整分区表再扩展文件系统,流程与坑点见 磁盘存储与文件系统操作命令 的扩容部分
- LVM 层的概念与操作参见 逻辑卷管理
断开与清理顺序
正确的清理顺序是「先摘上层、再停会话、最后删配置」,逆序操作会留下无法清理的残缺状态:
# 1. 卸载上层文件系统
sudo umount /data
# 2. 清理多路径映射与 LVM 中的残留(确认无业务使用)
sudo vgchange -an vgdata
sudo dmsetup remove /dev/mapper/mpatha # 仅在确认无使用者时执行
# 3. 登出会话
sudo iscsiadm -m node -T iqn.2026-09.com.example:storage.disk01 -p 10.0.20.10:3260 -u
# 4. 删除节点记录,避免下次开机自动登录
sudo iscsiadm -m node -T iqn.2026-09.com.example:storage.disk01 -p 10.0.20.10:3260 -o delete
# 5. 核对会话已清空
sudo iscsiadm -m session
坑点:
- 直接删除存储侧 LUN 而未先登出,主机会持续报 IO 错误,且设备节点与多路径映射残留,需要手工清理
iscsiadm -m node ... -o delete只删除本地记录,不会删除存储侧的 ACL 或 LUN- 存储侧删除 LUN 属于不可逆操作,应与备份与业务确认一起执行
3.4 SMB 客户端挂载
凭据文件与权限
# 凭据文件应限制为 600,属主为 root
sudo vi /root/.smbcredentials
# username=svc_backup
# password=***pass***
# domain=EXAMPLE
sudo chmod 600 /root/.smbcredentials
sudo chown root:root /root/.smbcredentials
高危:凭据文件权限过宽(如 644 或放入共享目录、代码仓库),会使口令对同机任意用户或任何读到仓库的人可见。防护建议:权限固定 600,属主 root,路径不放在共享或同步目录,口令使用专用服务账户并限制其在服务端的权限范围。回滚方式:口令一旦外泄应先在服务端轮换,再更新凭据文件并重新挂载;已泄露的凭据无法通过修改文件权限挽回,必须视为已失效。
常见挂载参数
sudo mount -t cifs //10.0.30.10/share /mnt/smb \
-o credentials=/root/.smbcredentials,vers=3.1.1,uid=1000,gid=1000,file_mode=0644,dir_mode=0755,iocharset=utf8,noexec,nosuid
# /etc/fstab
//10.0.30.10/share /mnt/smb cifs credentials=/root/.smbcredentials,vers=3.1.1,uid=1000,gid=1000,file_mode=0644,dir_mode=0755,iocharset=utf8,_netdev,nofail 0 0
常用参数与取舍:
| 参数 | 作用 | 取舍 |
|---|---|---|
credentials | 从文件读取用户名与口令 | 必须配合收紧的文件权限 |
vers | 协议版本 | 显式指定,避免协商到旧版本 |
uid/gid | 挂载内容的属主 | 服务端无 POSIX 语义时决定本机可见属主 |
file_mode/dir_mode | 文件与目录权限位 | 影响本机所有用户的访问,配合 noexec、nosuid 使用更稳妥 |
iocharset | 字符集 | 中文文件名异常时优先检查 |
nobrl | 禁用字节范围锁 | 部分服务端对锁支持不完整时报错,禁用后应用层锁语义失效 |
noserverino | 不使用服务端 inode 号 | 规避硬链接与 inode 冲突类问题 |
multichannel | 启用 SMB 多通道 | 3.x 版本可用,提升单挂载点吞吐 |
字符集与文件权限问题
- 中文文件名显示为乱码:先在服务端确认名称编码,再在客户端设置
iocharset=utf8;已按错误编码创建的文件需要重命名,修改参数不会自动纠正 - 目录可进入但无法创建文件:本机
dir_mode/file_mode与服务端 ACL 冲突,应优先在服务端调整 - 属主显示为
nobody或数字:身份映射未建立,检查服务端是否回传 SID、客户端是否启用mapposix - 部分应用(如依赖
chmod、chown的程序)在 CIFS 上会失败或被静默忽略,属于协议语义差异,不应期望与本地盘一致
3.5 集群文件系统与共享场景
多节点挂载的准入条件
在挂载集群文件系统前,按顺序确认下列条件,任一项不满足即不应开始:
- 共享 LUN 在所有节点的
multipath -ll中 WWID 一致 - 集群软件运行正常,
pcs status显示全部节点在线且无资源失败 - 锁管理服务(
dlm_controld、dlm服务)在各节点正常运行 - fencing 设备已配置并完成一次实际隔离验证(见 高可用与集群)
- 心跳网络与存储网络分离,避免存储压力影响集群成员判定
- 时间同步正常,节点间时间偏移会造成集群认证与成员关系异常
创建与挂载
# 1. 确认锁服务可用
sudo systemctl status dlm
sudo pcs status
# 2. 创建集群文件系统,-t 需与集群名一致,-j 为日志数
sudo mkfs.gfs2 -p lock_dlm -t cluster1:fs_data -j 4 /dev/mapper/mpatha
# 3. 各节点挂载
sudo mount -t gfs2 /dev/mapper/mpatha /data
# 4. 核对锁与文件系统状态
sudo gfs2_tool journals /data
findmnt /data
要点:
-t cluster1:fs_data中的集群名必须与 Corosync 集群名一致,不一致时挂载失败并报锁表不可用- 日志数(
-j)通常等于或大于节点数,日志占用空间从文件系统容量中扣除 - 生产环境应把挂载交给集群资源管理(如 Pacemaker 的
Filesystem资源),并在约束中声明挂载完成后再启动服务,而不是在各节点手工挂载 - 存储侧扩容后同样需要重扫、
multipathd resize、再扩展文件系统,集群文件系统的扩容顺序与本地相同
与高可用软件的配合
- 挂载动作应作为集群资源,具备「在一处失败即停止并在另一处启动」的能力
- 顺序约束保证文件系统先挂载、服务后启动;逆序停止
- 需要防止同一文件系统被两个节点同时以资源形式激活,这依赖 fencing 与资源粘性配置
- 集群资源、约束与 fencing 的完整配置见 高可用与集群
误挂载导致的数据损坏风险
高危:在集群之外手工把共享块设备挂载到某节点,或在两个节点上以本地文件系统(ext4、XFS)挂载同一 LUN,会造成元数据与文件内容交叉覆盖,文件系统通常无法修复,只能依赖备份重建。防护建议:共享设备一律通过集群资源挂载;在存储侧限制该 LUN 仅对集群节点的 IQN 可见;节点上为共享设备建立明确的 udev 命名与文档标记,避免误操作。兜底方式:发现双挂载迹象(内核报 corrupt、Structure needs cleaning、大量 I/O error)时立即停止两侧写入,先卸载其中一侧,用只读方式导出可读数据,再从备份恢复;块设备层没有可回放的事务日志,不要尝试在双写过的文件系统上直接挂载修复。
3.6 性能与容量
吞吐与延迟特征
- 网络是首要约束:1GbE 理论 125MB/s,实际约 110MB/s;10GbE 约 1.1GB/s;25GbE 约 2.8GB/s。存储再快也无法超过链路带宽
- 延迟由往返时间决定:一次元数据操作通常需要至少一个往返,跨机房或高延迟链路上小文件操作会成倍变慢
- NFS 的
rsize/wsize增大只对顺序大 IO 有明显收益;随机小 IO 受请求数与往返时间支配 - 单条 TCP 连接无法跑满多核客户端时,使用
nconnect或多会话;iSCSI 侧则使用多路径与轮询策略分摊 - iSCSI 与 NFS 都受 MTU 与丢包影响,链路上的丢包会因重传显著降低有效吞吐;端到端一致性是启用巨帧的前提
并发与小文件场景的差异
| 场景 | 主要瓶颈 | 优化方向 |
|---|---|---|
| 大文件顺序读写 | 链路带宽 | 增大读写块、多连接、检查存储后端带宽 |
| 大量小文件创建与读取 | 元数据往返次数与锁竞争 | 减少目录内文件数、启用属性缓存、避免频繁 stat、必要时改对象存储 |
| 多客户端写同一目录 | 服务端锁与目录元数据争用 | 按客户端分目录写入,避免共享单文件追加 |
| 数据库类随机 IO | 服务端 IOPS 与延迟 | 使用块级存储而非文件级,避免在 NFS 上直接跑数据库数据文件 |
缓存与直写取舍
- 服务端
async导出与客户端页缓存能显著提升吞吐,但断电或服务端崩溃时可能丢失已被确认的写入 - 对持久性要求高的写入,应用需显式
fsync,同时服务端应使用sync导出,使确认与落盘对齐 - 客户端直接 IO 绕过缓存可以保证读取到最新数据,代价是失去预读与写合并,吞吐下降明显
- 数据缓存与脏页回写的机制细节参见 页缓存与 IO 性能
容量与配额
- 客户端
df看到的是服务端文件系统的容量,多个客户端共享同一容量视图,任一客户端的写入都会消耗同一空间 - NFS 配额通常在服务端实现(服务端文件系统的配额或存储设备的配额),参见 磁盘存储与文件系统操作命令 的配额部分
- 精简置备(thin provisioning)会造成存储池超配,客户端看似有空闲空间,实际写入可能因池满失败,需要独立监控存储池真实水位
- 快照与副本会额外占用容量,规划容量时应把快照保留策略一并计入
- 共享目录应设置写入方的最小集合,避免个别主机写满共享空间影响全体
3.7 故障排查
分层定位
网络存储的问题必须按层定位,逐层验证可以避免在错误的层反复排查:
| 层次 | 验证方式 | 判读要点 |
|---|---|---|
| 物理与链路 | ip -s link、ethtool、交换机端口状态与错误计数 | 丢包、CRC 错误、链路抖动是上层超时的常见根因 |
| 网络可达 | ping、mtr、nc -vz 10.0.10.10 2049(iSCSI 为 3260,SMB 为 445) | 端口不通时先查路由与防火墙,而不是查 NFS 配置 |
| 服务发现 | rpcinfo -p <server>、showmount -e <server>、iscsiadm -m discovery | v3 依赖 rpcbind 与 mountd,这些服务异常会导致挂载失败而 2049 正常 |
| 认证与授权 | sudo exportfs -v、服务端认证日志、SMB 服务端日志 | 挂载成功但读写被拒多为导出选项或身份映射问题 |
| 协议与挂载参数 | mount -v、dmesg、findmnt -T、nfsstat -m | 版本协商失败、参数不被支持会在挂载时直接报错 |
| 客户端缓存与锁 | cat /proc/mounts、nfsstat -c、应用日志中的锁错误 | 未见最新数据、锁冲突多与缓存过期时间和锁恢复相关 |
| 存储后端 | 存储管理界面、控制器日志、池水位与告警 | 客户端看到的是结果,根因常在存储侧 |
常用命令集合:
# 本机挂载与参数
findmnt -t nfs,nfs4,cifs -o TARGET,SOURCE,FSTYPE,OPTIONS
cat /proc/mounts | grep -E "nfs|cifs"
# NFS 侧统计
nfsstat -c
nfsstat -m
# iSCSI 侧会话与路径
sudo iscsiadm -m session -P 3
sudo multipath -ll
sudo multipathd show paths
# 内核与文件系统日志
sudo dmesg -T | grep -Ei "nfs|cifs|iscsi|multipath|scsi|I/O error|corrupt|stale"
挂载失败与超时的分层定位
# 1. 先用详细模式观察失败发生在哪一步
sudo mount -v -t nfs -o vers=4.2 10.0.10.10:/exports/data /mnt/nfs
# 2. 核对基础连通性与端口
ping -c 3 10.0.10.10
nc -vz 10.0.10.10 2049
# NFSv3 场景还需确认辅助服务
rpcinfo -p 10.0.10.10
showmount -e 10.0.10.10
# 3. 抓包确认请求是否到达服务端并得到响应
sudo tcpdump -i any -nn port 2049 -c 50
典型现象与对应原因:
| 现象 | 常见原因 |
|---|---|
Connection timed out | 防火墙未放行、路由不通、服务端未监听、存储网络与业务网络隔离未打通 |
No route to host | 链路或路由问题,也可能是中间设备阻断 |
access denied by server | 客户端 IP 不在导出范围内、导出选项限制 |
No such file or directory(挂载时报) | 导出路径不存在或导出未被重载 |
| 挂载成功但目录为空 | 服务端导出的是空目录,或客户端缓存与权限导致看不到内容(ls -la 复核) |
Stale file handle | 服务端导出的目录被重建或移动,客户端持有的 inode 失效,需重新挂载 |
NFSv3 场景还需放行 111(rpcbind)与 mountd 使用的动态端口;NFSv4 只需 2049,因此新环境优先使用 v4 可显著简化防火墙规则。网络侧命令与防火墙规则的管理参见 网络诊断与远程连接。
权限与认证问题
排查顺序应为「先确认身份,再确认权限」:
# 1. 核对两侧身份
id
sudo exportfs -v
# 2. 直接尝试写入并观察错误码
touch /mnt/nfs/probe.txt
# 3. 查看服务端侧日志中的拒绝记录
sudo journalctl -u nfs-server --since "10 min ago"
- 写入被拒且服务端日志中显示匿名用户:确认是
root_squash或all_squash导致 - 属主显示为
nobody:两端 UID 不一致,或服务端未做身份映射 - 只有部分主机无法写入:核对导出表中的客户端范围是否覆盖该主机地址
- SMB 侧认证失败:确认域、用户名格式与服务端是否要求 NTLMv2 或 Kerberos,
mount -v与dmesg会给出具体阶段
网络与防火墙
- 存储流量应走独立网段,排查时先确认到达的是存储网络而非业务网络
- 防火墙变更使用
iptables/nft前先保存现有规则,变更后可回退;ufw的规则管理与持久化方式参见 网络诊断与远程连接 - iSCSI 与 NFS 都需要考虑 keepalive 与中间设备会话老化,空闲连接被中间设备清理会表现为「平时正常、闲置后首次访问超时」
存储端问题与客户端表现的对应关系
| 存储端事件 | 客户端表现 | 处置方向 |
|---|---|---|
| 单条路径故障 | 多路径中部分路径 faulty,IO 正常 | 维护窗口内修复链路 |
| 全部路径故障 | IO 挂起或报 I/O error,进程进入 D 状态 | 优先恢复链路,见下节 |
| 控制器切换 | 短时 IO 暂停,随后恢复 | 确认切换已完成,核对 IO 无错误 |
| LUN 被删除或映射变更 | 持续 I/O error,设备不消失 | 恢复存储侧映射或清理本地设备与映射残留 |
| 存储池写满 | 写入失败,ENOSPC,只读或无法创建文件 | 清理空间或扩容,不能只在客户端排查 |
| 后端静默损坏 | 读取报错,文件系统出现损坏标记 | 从备份恢复,并检查存储侧校验与告警 |
卡死与 D 状态进程的处置
# 1. 找出处于不可中断睡眠的进程
ps -eo pid,stat,wchan:24,cmd | awk '$2 ~ /D/'
# 2. 查看该进程阻塞在哪个内核路径
sudo cat /proc/<pid>/stack
cat /proc/<pid>/wchan
# 3. 找出占用挂载点的进程
sudo lsof +D /mnt/nfs
sudo fuser -m /mnt/nfs
# 4. 确认内核层面的存储错误
sudo dmesg -T | tail -n 50
处置原则:
- 先恢复存储可达性(链路、会话、服务端),多数 D 状态进程会自行恢复
- 服务恢复无望且业务可中断时,停止或重启持有挂载的进程;
kill -9对 D 状态进程无效 - 需要重启节点时,先确认服务端已恢复,避免重启后再次卡在挂载阶段
- 使用
nofail与automount的挂载点能显著降低重启时的阻塞风险,但这属于事前配置而非事后处置
强制卸载与重启的取舍
| 手段 | 效果 | 风险 | 适用条件 |
|---|---|---|---|
停止占用进程后正常 umount | 干净卸载 | 业务中断 | 首选方式 |
umount -f | 强制卸载,可能仍有 IO 在途 | 数据不一致、应用继续写向已卸载路径 | 无写入或已确认写入可丢弃 |
umount -l | 从命名空间解除引用 | 连接未释放,进程仍可能持有引用,后续报错难以解释 | 需要先恢复本机可用性时临时使用 |
| 重启节点 | 彻底清理挂载与 D 状态 | 业务中断,重启后可能再次卡住 | 业务已不可用且服务端已恢复 |
选择顺序为:停止占用者 → 强制卸载(明确写入可弃)→ 重启节点。每一步都应先记录现场(mount、lsof、dmesg、multipath -ll),以便事后定位根因;故障案例的归档方式参见 故障案例库。
3.8 与容器和集群的衔接
容器挂载网络存储的注意点
- 宿主机必须先能正常访问网络存储,容器只是在宿主机挂载视图之上再做一次绑定,宿主机侧的慢挂载会直接表现为容器启动卡住
- 容器内 UID 与 NFS 侧 UID 需要对齐,否则出现无权限写入;常用做法是在容器启动参数中指定
uid/gid,或让 NFS 侧使用all_squash加固定anonuid hard挂载的挂载点在宿主机上卡住时,容器无法通过重启自身恢复,需要先解决宿主机侧问题- NFS 与 CIFS 作为卷驱动的方式、卷的生命周期与备份方式见 Docker 容器数据持久化
- 网络存储上的卷不随容器删除而清理,编排层的清理动作只作用于卷对象,不作用于服务端数据
Kubernetes 存储类与 CSI 的定位
- 传统方式把网络存储直接以 hostPath 或 NFS 目录方式挂载进容器,缺少生命周期管理与访问模式约束
- 编排层的做法是引入 PV、PVC 与 StorageClass:PVC 声明容量与访问模式,StorageClass 绑定供给插件与回收策略
- 访问模式与后端能力直接相关:RWO 常见于云盘与 Ceph RBD,RWX 对应 NFS 与 CephFS,选错模式会造成跨节点挂载失败
- CSI(Container Storage Interface)是统一插件接口,把 NFS、Ceph、云盘等后端以同一套接口接入,替代了早期的树内插件;存储类故障与 CSI 组件的排查方式见 Kubernetes 运维
- 集群侧共享存储在编排层同样受一致性约束:多个 Pod 同时写同一 RWX 卷时的一致性问题与本文 2.5 节的多节点挂载问题本质相同
四、总结
- 本地磁盘的边界在于容量受机箱与控制器限制、数据无法被多主机共享、故障域与主机绑定;网络存储把容量与数据从主机解耦,代价是引入网络、认证、超时与身份映射等新依赖
- 访问类型分为块级、文件级与对象级,对应「谁管理文件系统」「能否多客户端同时读写」「以什么接口访问」三个差异;NAS 与 SAN 是文件级与块级的主要部署形态
- NFS 由服务端导出目录、客户端挂载使用,v3 与 v4 在端口、锁与状态管理上差异明显;客户端缓存决定跨主机可见性,
hard保证不丢写但会挂起,soft快速报错但可能丢数据 - iSCSI 把 SCSI 封装在 TCP 上,以 target、initiator、LUN、IQN 组织接入,多路径把多条链路聚合为单一设备,认证以 ACL 与 CHAP 为基础,路径策略与
no_path_retry决定故障时的表现 - SMB/CIFS 面向 Windows 与混合环境,权限模型与身份映射与 NFS 不同,挂载参数的属主、权限位与字符集设置是主要排查方向
- 集群文件系统让多节点同时挂载成为可能,前提是共享设备一致、集群成员与锁服务正常、fencing 可用;缺少隔离机制的双挂载会直接损坏文件系统
- 分布式与对象存储以数据切分与多副本分布替代专用控制器,故障域划分与一致性取舍是设计核心,运维关注容量水位、校验与重平衡
- 实现要点包括:NFS 服务端的导出范围与身份映射、客户端的版本与超时参数、iSCSI 的接入与清理顺序、扩容后的重扫与上层识别、容器与编排层对访问模式的选择
- 故障排查遵循从链路到存储后端的分层顺序;网络存储故障以挂起为主要表现,D 状态进程与强制卸载的取舍是现场处置的核心判断
- 安全与风险控制集中在导出范围、
root_squash、凭据文件权限、共享设备双挂载与强制卸载这五处高危点,均需事前配置与可回退方案配合
关联阅读:文件系统底层认知、磁盘存储与文件系统操作命令、虚拟文件系统 VFS、逻辑卷管理、页缓存与 IO 性能、高可用与集群、备份与容灾、网络诊断与远程连接、Docker 容器数据持久化、Kubernetes 运维。