前几篇文档分别覆盖了本地磁盘的分区、格式化与挂载(文件系统底层认知、磁盘存储与文件系统操作命令)以及内核层面的统一抽象(虚拟文件系统 VFS)。这些机制解决的都是「数据在本机磁盘上如何组织」,前提是磁盘直接挂在主机总线上。本文讨论前提改变后的情况:数据存放在通过网络访问的存储设备上,或者同一份数据需要被多台主机同时使用。

一、起源:本地磁盘的边界

1.1 容量与共享的物理边界

本地磁盘受单机硬件约束,边界体现在三个方面:

  • 容量边界:机箱盘位、背板通道、控制器端口数量决定了单机可接入的磁盘规模,超出后只能整机更换或做数据迁移
  • 带宽边界:盘位与控制器之间、控制器与内存之间是固定带宽的物理通道,多块高速盘共享同一条上行链路时会出现带宽争用
  • 共享边界:一块本地磁盘的读写入口只在本机内核中,其他主机没有访问路径。同一份数据要供多台主机使用,只能靠复制,而复制存在延迟与冲突

复制方式在只读分发场景可行,在需要多写入方的场景(多台应用服务器共享上传目录、多节点需要看到同一份配置与日志、数据库冷备目录集中存放)无法保证同一时刻的数据一致。

1.2 单机故障域

故障域指一次故障能够影响的范围。本地磁盘架构中的故障域划分如下:

层级 冗余手段 能抵御的故障 无法抵御的故障
单盘 RAID 1/5/6/10 单块或多块盘失效 控制器失效、主机失效
单控制器 双盘冗余、热备盘 磁盘失效 背板、控制器、主机电源失效
单主机 主机内部冗余 部件失效 主机宕机、操作系统崩溃、机柜断电、机房事故
单机房 本地备份、RAID 逻辑误删(有备份时) 机房级事故

关键点在于:磁盘阵列、LVM、RAID 全部位于单机故障域之内,主机一旦不可用,数据随之中断访问。RAID 与 LVM 的机制参见 磁盘存储与文件系统操作命令 中的软件阵列与逻辑卷管理部分。把副本放在同一机房内也无法解决机房级故障,这一点在 备份与容灾 的 3-2-1 原则与容灾层次中有对应讨论。

1.3 网络存储要解决的问题

网络存储把存储介质从主机机箱内部搬到网络上,用一套独立的存储设备对外提供访问,解决的正是上述边界:

  1. 容量与主机解耦:容量由存储设备统一规划,主机侧看到的是一块或一个目录,扩容在存储侧完成,必要时主机侧在线识别
  2. 数据与主机解耦:主机失效不导致数据不可达,更换主机后重新接入即可继续访问
  3. 多主机共享:文件级存储天然支持多主机同时挂载;块级存储在配合集群文件系统或集群管理软件后也可多节点使用
  4. 故障域分离:存储设备具备双控制器、双电源、多路径等冗余,主机侧通过多路径与集群软件配合,把单点从「每台主机各自的盘」收敛为「少量共享存储设备」

1.4 引入的新依赖

代价是把一个原本「不会失败、不会变慢」的本地调用,变成依赖网络与远端设备的多跳调用。新增的依赖与对应的故障模式:

新增依赖 具体形式 失效时的表现
网络路径 链路、交换机、路由、MTU、丢包与抖动 时延上升、吞吐下降、请求超时、挂载挂起
名字与发现 DNS、主机名解析、iSCSI 发现门户 挂载失败、登录不到目标、解析到错误地址
认证与授权 CHAP、Kerberos、导出表、ACL、SMB 凭据 认证失败、Permission denied、挂载成功但读写被拒
超时与重试 会话超时、重传次数、重连策略 短时抖动被放大为长时挂起,或过早返回错误
状态与租约 锁、租约、会话表、路径状态 锁恢复失败、脑裂、路径假死、数据被双写
身份映射 UID/GID、SID、匿名映射 文件属主显示为 nobody、写入被拒、权限与本地不一致

由此产生一个与本机磁盘完全不同的判读原则:本机磁盘故障通常以错误码快速返回,网络存储故障更多表现为请求挂起,进程进入不可中断睡眠(D 状态),df、ls、umount 全部卡住。这一现象在 进程管理 与 系统原理(Java 视角) 中都有提及,其处置方式在本文 3.7 节展开。

二、原理

2.1 存储访问类型:块级、文件级与对象级

理解网络存储的第一步是区分「对外提供什么」的三种形态:

维度 块级 文件级 对象级
对外单位 逻辑块设备(LUN) 目录与文件 对象(键 + 数据 + 元数据)
客户端看到 /dev/sdb、/dev/mapper/mpatha /mnt/nfs、/mnt/smb 挂载点 HTTP/S3 接口,无挂载点
文件系统位置 客户端本地,由客户端创建与管理 服务端,客户端只是挂载视图 服务端,客户端通过 API 读写
并发访问 默认单客户端读写,需集群文件系统才能多写 天然支持多客户端挂载 面向海量客户端并发
典型协议 iSCSI、FC、NVMe-oF NFS、SMB/CIFS S3、Swift、Ceph RGW
适用场景 数据库、虚拟机磁盘、需要自选文件系统的场景 共享目录、上传下载、日志集中、家目录 备份归档、海量静态文件、图片视频、数据湖

三者的差别可以归结为「谁管理文件系统」:块级存储交付的是裸设备,格式化和元数据管理都在客户端完成,因此客户端拥有完全的控制权,但无法让第二个客户端安全地同时挂载;文件级存储交付的是已经组织好的目录视图,元数据由服务端统一维护,多个客户端可以同时看到同一份目录,代价是语义受协议约束;对象级存储放弃目录树与随机写,换取扁平命名空间下的高扩展性与 HTTP 可直接访问的能力。

NAS 与 SAN 的定位

NAS(Network Attached Storage)与 SAN(Storage Area Network)是部署形态的划分,与上表的访问类型有稳定的对应关系:

  • NAS:文件级,客户端通过标准文件协议(NFS、SMB)挂载目录。优点是接入简单、多主机共享天然成立、按目录做权限与配额;缺点是协议开销与元数据操作受服务端限制,高并发小文件性能通常低于本地盘
  • SAN:块级,主机通过专用网络(光纤通道)或以太网(iSCSI、FCoE)接入 LUN。优点是主机侧看到的是块设备,性能与语义接近本地盘,适合数据库与虚拟化;缺点是接入需要多路径与集群软件配合,多主机共享需要额外的集群文件系统与 fencing

选择判据:

  1. 需要多主机同时读写同一份数据、且以文件为操作单位时,选文件级
  2. 需要数据库、虚拟机镜像这类块语义、且要求低延迟与可控缓存行为时,选块级
  3. 数据量极大、以整体读写为主、需要 HTTP 直接访问与跨地域分发时,选对象级
  4. 已有 SAN 但被上层应用按文件目录使用时,通常是文件级更省事,块级只是让应用看起来像本地盘

2.2 NFS 的工作机制

角色划分

  • 服务端:导出(export)本地目录,运行 nfsd 内核线程处理请求,rpcs 相关辅助服务提供挂载与状态管理
  • 客户端:通过 mount 系统调用把远端目录挂到本地目录树,之后所有文件操作经 VFS 分发到 NFS 客户端模块,再由 RPC 编码为网络请求

NFS 在客户端呈现为一个普通文件系统,这正是 虚拟文件系统 VFS 中统一文件模型的价值:应用无需感知目录是本地还是远端。

版本差异

版本 传输与端口 锁与状态 主要特征与注意事项
NFSv3 多端口,依赖 rpcbind、mountd,锁由 NLM/lockd 与 statd 提供 状态外置,服务端重启后需要锁恢复流程 部署面最广,防火墙需要放行多个辅助服务;无状态特性使其在旧环境中兼容性最好
NFSv4.0 单一 TCP 端口 2049,锁内置于协议 有状态,含租约(lease) 引入伪文件系统与全局命名空间,不再需要 rpcbind 与 mountd;租约到期未续会触发状态恢复
NFSv4.1 单端口,支持会话与多路复用 会话(session)与 trunking 支持并行多连接与 pNFS,跨防火墙最简单
NFSv4.2 在 4.1 基础上扩展 同上 支持服务端拷贝、稀疏文件与更细的 IO 提示

判读要点:

  • 版本不一致会带来隐蔽差异,vers= 未显式指定时,客户端会与服务端协商,实际生效版本需用 nfsstat -m 或 mount 输出确认
  • v4 的伪文件系统意味着导出的是子树而非绝对路径,客户端看到的路径与服务端物理路径可以不同
  • v3 的锁依赖 lockd 与 statd,服务端或客户端重启后可能出现锁恢复异常,表现为应用报「文件已锁定」但无进程持有

挂载与缓存语义

NFS 客户端为减少网络往返,会缓存文件数据与属性:

  • 数据缓存:读到的文件内容进入本地页缓存,与服务端数据可能短时不一致。缓存与回写的通用机制参见 页缓存与 IO 性能
  • 属性缓存:文件的 mtime、大小、属主等信息按 acregmin/acregmax/acdirmin/acdirmax 定时过期,统一控制项为 actimeo
  • 目录项缓存:lookupcache 控制负向缓存行为,lookupcache=positive 时对不存在的名称不缓存,none 则每次询问服务端

典型现象与成因:

  • A 主机刚写入的文件,B 主机短时间看不到,或看到旧大小
  • A 主机刚创建的文件,B 主机的 ls 提示不存在,稍后又出现
  • 删除后短时间仍可打开,报 Stale file handle

这些都与缓存过期时间相关,actimeo=0 可让属性每次回读服务端,代价是元数据操作延迟显著上升,只适合强一致性要求且元数据量不大的场景。

锁与一致性

NFS 提供 POSIX 记录锁,但语义与本地文件系统存在差距:

  • 锁由服务端仲裁,客户端故障后服务端需通过状态恢复流程回收其锁
  • 多客户端同时追加写同一文件时,NFS 不保证写入的原子合并;只有在 O_APPEND 与协议实现配合的情况下才具备追加原子性
  • 应避免把依赖本地锁语义的应用(如某些文件型数据库、使用 file lock 做单实例判定的程序)直接放到 NFS 上
  • 需要强一致或原子重命名以外的复杂语义时,应改用数据库或对象存储,而不是依赖文件协议的一致性

软挂载与硬挂载

这是网络存储最需要提前决策的参数:

参数 行为 优点 风险
hard(默认) 服务端不可达时无限重试,请求挂起直到恢复 不会静默丢数据,写入最终会落到服务端 进程可能长时间进入 D 状态,df、umount 卡死,影响依赖该挂载点的整条链路
soft 重试 retrans 次后返回错误(EIO 等) 应用能较快感知失败并降级 写入被静默丢弃或部分完成,数据损坏,且应用往往把 EIO 当作「文件不存在」处理
soft + timeo 偏小 抖动即报错 故障暴露快 在拥塞链路上频繁误判

判断原则:

  1. 承载数据与业务读写的挂载点一律使用 hard
  2. 只读、可重试、可整体重放的挂载点(如镜像分发、日志收集的只读源)可考虑 soft
  3. 需要避免启动阻塞时,用 _netdev、nofail、x-systemd.automount、x-systemd.mount-timeout 控制,而不是改用 soft
  4. intr 与 softdep 已于现代内核中弃用或语义变化,不应作为解决方案

2.3 iSCSI 的工作机制

iSCSI 把 SCSI 命令封装进 TCP/IP,使主机能够通过以太网访问块设备,是 SAN 在以太网上的实现方式。

target 与 initiator

  • target(目标):存储侧的对外端口,暴露一个或多个 LUN。软件实现常见为 LIO(targetcli 管理,内核态)与 tgt(用户态)
  • initiator(发起方):客户端侧,由 open-iscsi 提供,内核模块 iscsi_tcp(软件)或 HBA 卸载(硬件 iSCSI 卡)
  • 发现(discovery):initiator 通过门户(portal,形如 10.0.20.10:3260)获取可用 target 列表,之后登录并建立会话

LUN 与 IQN 命名

  • LUN(Logical Unit Number):target 内可被访问的逻辑单元,通常对应存储侧的一个卷或一个文件
  • IQN(iSCSI Qualified Name):形如 iqn.2026-09.com.example:storage.disk01,用于唯一标识 target 与 initiator
  • 命名规则为 iqn.年-月.反向域名:自定义标识,ACL 中按 initiator 的 IQN 授权
  • 同一 target 可有多个 LUN,客户端登录后按 LUN 出现为多个 SCSI 设备

会话、路径与多路径

  • initiator 与 target 之间的连接称为会话(session);一条会话对应一条 TCP 连接,可承载多个 LUN
  • 主机有多张网卡、存储有多个门户时,同一 LUN 会通过多条路径暴露为多个 SCSI 设备(如 sdb、sdc)
  • 多路径层(dm-multipath)把这些设备聚合为一个 /dev/mapper/mpathX,对外表现为单一设备,并在路径故障时切换
  • 路径策略决定 IO 分发方式:主备(failover)、轮询(round-robin)、队列长度加权等
  • no_path_retry 决定全部路径不可用时的行为:queue 使 IO 排队等待而不是立刻报错,表现为应用挂起;这与 NFS 的 hard 挂载有相同的取舍

多路径设备的命名、/etc/multipath.conf 关键项、路径状态判读与扩容后的重扫流程见 磁盘存储与文件系统操作命令 的多路径部分,本文只讨论与 iSCSI 接入相关的部分。设备映射层的实现背景参见 块设备层与 IO 调度。

认证方式

方式 说明 适用与风险
无认证(ACL 白名单) target 依据 initiator IQN 授权 仅限封闭存储网络,IQN 可被伪造
CHAP 单向 target 校验 initiator 的用户名与口令 常见配置,口令以明文存于 /etc/iscsi/iscsid.conf,需收紧文件权限
CHAP 双向(mutual) 双方互相校验 安全性更高,配置项更多,排障时需同时核对两侧
网络隔离 存储流量走独立 VLAN 或物理网络 应作为基础前提,而不是认证的替代

2.4 SMB 与 CIFS

SMB(Server Message Block)是文件级协议,CIFS 是其早期版本的实现名称,Linux 客户端通过内核 cifs 模块挂载。

与 NFS 的差异

维度 NFS SMB/CIFS
主要生态 Unix/Linux 之间 Windows 与混合环境
身份模型 UID/GID 数字标识,或 Kerberos 主体 账户名、域、SID 为主
权限模型 POSIX 权限与 ACL Windows ACL 为主,可选 POSIX 扩展
默认字符集 通常为 UTF-8,由本地环境决定 需显式指定,否则中文文件名异常
端口 v4 单端口 2049 445(新版本),139 为旧版本与 NetBIOS
挂载参数 以协议语义参数为主 挂载参数涉及属主、权限、字符集、缓存策略,数量更多

挂载参数要点

  • vers:应显式指定,如 3.1.1,避免协商到存在已知缺陷的旧版本
  • credentials:凭据从独立文件读取,避免口令出现在 fstab 或脚本中
  • uid/gid/file_mode/dir_mode:服务端不提供 POSIX 语义时,客户端把整个挂载点映射为固定属主与权限
  • nounix:禁用 Unix 扩展,使客户端完全按 Windows 语义解释权限
  • mapposix/cifsacl:启用 POSIX 或 Windows ACL 的映射,需要服务端配合
  • noserverino:服务端返回的 inode 号在硬链接等场景下可能不可靠,部分版本需要该参数规避问题
  • iocharset:字符集设置,中文文件名乱码多与此项或服务端编码相关
  • multichannel 与 max_channels:SMB 3.x 支持多通道聚合多条 TCP 连接提升吞吐

权限映射

SMB 挂载中最常见的困扰来自两套权限模型的换算:

  • 服务端为 Windows 文件服务器时,客户端 uid/gid/file_mode 只影响本地视图,真实权限由服务端 ACL 决定,且可能有服务端 ACL 与本地视图不一致
  • 服务端为 Samba 时,可通过 force user、create mask、directory mask 在服务端统一收敛权限,比在客户端拼参数更可靠
  • 服务端返回的属主为数字或 nobody 时,说明映射没有建立,应先在服务端确认身份解析,再调整客户端参数

2.5 集群文件系统与共享存储

块级共享存储默认只允许一台主机以读写方式挂载。当多台主机需要同时读写同一块 LUN 时,必须引入集群文件系统与配套的集群基础设施。

多节点同时挂载的前提

完整的前提是一条链,缺一即可能造成数据损坏:

  1. 存储侧允许同一 LUN 被多个 initiator 同时访问(多数存储默认允许,但不代表安全)
  2. 所有节点通过多路径看到一致的设备,且设备标识(WWID)相同
  3. 集群软件(如 Pacemaker 与 Corosync)建立成员关系,节点间有心跳与消息通道
  4. 分布式锁管理器(DLM)可用,负责锁的授予与回收
  5. 集群文件系统(GFS2、OCFS2)在所有节点上创建并挂载,挂载时声明集群名与锁表
  6. fencing 可用:任一节点失联时,集群能强制隔离该节点,确保其不再持有存储

一旦缺少第 6 项,集群无法确认失联节点已停止写入,任何一侧的继续写入都可能造成元数据与数据被交叉覆盖。fencing 的实现方式与配置要点见 高可用与集群 的 fencing 部分。

一致性模型

集群文件系统的一致性依赖集中式锁服务,与本地文件系统有本质差别:

  • 元数据操作需先获取锁,锁授予与回收通过集群通信完成,因此元数据性能受网络往返限制
  • 节点故障后,其持有的锁由锁管理服务回收,回收期间相关资源的访问被阻塞
  • 缓存一致性由锁协议维持,节点在获得锁时使本地缓存失效,代价是跨节点访问同一文件的延迟高于本地访问
  • 语义上接近 POSIX,但仍存在跨节点操作的时序差异,依赖强一致的文件型应用仍建议放在单节点文件系统上

仲裁与隔离的重要性

  • 仲裁(quorum)决定哪一侧可以继续运行,避免集群分裂后两侧都启动资源
  • 隔离(fencing / STONITH)保证失联节点不再访问共享存储,是防止双写的最后一道闸门
  • 两者缺一不可:只有仲裁而没有隔离时,未获得 quorum 的一侧若仍有残留 IO 在途,共享存储上的数据仍可能被写入
  • 因此集群环境严禁在集群之外手工挂载同一块共享设备,即使只是为了「临时看一下数据」

2.6 分布式存储与对象存储的概念

分布式存储把数据切分后分布到多台存储节点,用软件层替代专用控制器,是共享存储的另一种实现路径。

数据分布与副本

  • 切分:数据被拆分为固定大小的对象或块(chunk、object),按一致性哈希或 CRUSH 类算法映射到节点
  • 副本:每个分片保存多份(常见 3 副本),写入需达到最小成功份数(如 min_size)才对外确认
  • 纠删码:以校验片段替代完整副本,容量效率高于三副本,但重建时的读取放大与延迟更高,通常用于对延迟不敏感的大容量场景
  • 元数据:部分系统采用集中元数据服务,部分将元数据分布化,前者扩容更易受限于元数据集群,后者实现更复杂

故障域

故障域决定副本的分布单位,是配置分布式存储时最需要与控制面达成一致的部分:

故障域粒度 效果 说明
磁盘 抗单盘失效 副本可能落在同一主机,主机失效即丢多份
主机 抗单主机失效 常见最低要求
机柜 抗机柜断电或交换机失效 需要拓扑信息配置正确
机房 抗机房级事故 跨机房副本会显著增加写延迟

一致性与可用性的取舍

分布式存储无法同时满足强一致与高可用,实现上按场景取舍:

  • 强一致模型:写入需多数副本确认后才返回,网络分区时少数侧不可写,适合元数据与关键数据
  • 最终一致模型:写入本地成功后即返回,副本异步同步,读取可能返回旧值,适合可容忍短暂不一致的场景
  • 对象存储的桶列表与统计类操作通常是最终一致的,业务侧不应把列表结果当作精确账目
  • 涉及「先写后读必须读到新值」的场景,需要在应用层保证通过同一入口读取或加入显式等待

运维要点(概念层面)

  • 容量水位:重建需要临时空间,水位过高会显著延长重建时间并放大风险
  • 副本一致性校验:定期 scrub 发现静默损坏,同时会产生后台 IO,需要与业务高峰错峰
  • 节点上线下线:节点增减会触发数据重平衡,应控制迁移速率以避免打满网络
  • 扩容方式:多数系统支持在线加节点,但容量不会即时变得可用,需等待重平衡完成
  • 客户端接入:分布式存储通常同时提供块、文件、对象三种接口(如 RBD、CephFS、RGW),选择哪种接口取决于上层应用而非存储本身

三、实现

3.1 NFS 服务端

导出配置与权限选项

导出表为 /etc/exports,格式为「目录 + 客户端范围 + 括号内选项」:

# /etc/exports
/exports/data   10.0.10.0/24(rw,sync,no_subtree_check,root_squash)
/exports/share  10.0.10.21(rw,sync,no_subtree_check)
/exports/backup 10.0.10.0/24(ro,sync,no_subtree_check,root_squash)

常用选项:

选项 作用 注意点
rw / ro 读写或只读导出 只读导出是防止误写的有效手段
sync / async 回复请求前是否落盘 async 吞吐更高,服务端崩溃可能丢确认过的数据
root_squash 客户端 root 映射为匿名用户 默认行为,应保持开启
no_root_squash 客户端 root 保持 root 相当于把服务端该目录写权限交给任意客户端 root
all_squash 所有用户映射为匿名用户 用于免身份匹配的只读分发
anonuid / anongid 指定匿名用户的 UID/GID 与客户端 uid/gid 配合使用
no_subtree_check 关闭子树检查 提升性能,但导出目录被重命名时行为与开启时不同
no_all_squash 保留全部用户身份 需要两端 UID 一致
sec=krb5i 启用 Kerberos 完整性校验 需要 KDC 与 keytab,部署成本高
fsid= 指定文件系统标识 同一文件系统多路径导出时避免客户端误判

生效与核对:

# 重载导出表,不中断已有挂载
sudo exportfs -ra
# 查看当前实际生效的导出与选项
sudo exportfs -v
# 在服务端本地确认导出可用
showmount -e localhost

客户端范围与访问控制

  • 客户端范围写法:单主机(10.0.10.21)、网段(10.0.10.0/24)、通配(*.example.com)、全体(*)
  • 范围过宽是常见的越权来源。* 意味着任何能连到 2049 端口的主机都可挂载,配合 no_root_squash 等同于远程可写系统目录
  • 访问控制应叠加网络层:存储流量走独立网段,并在防火墙上限定 2049(v4)或 2049/111/20048 等(v3)的来源

高危:为图方便把导出写成 * 并加 no_root_squash,等于向整个可达网络开放以 root 身份写入该目录的能力,可被用于植入文件或覆盖配置。防护建议:导出范围精确到主机或最小网段,保持 root_squash,只读场景使用 ro 导出;变更前备份 /etc/exports。回滚方式:恢复备份文件后执行 sudo exportfs -ra,并用 sudo exportfs -v 复核,必要时重启 nfs-server 使旧导出彻底失效。

权限与 UID 映射

NFS 以数字 UID/GID 作为身份,两端的用户数据库并不自动同步:

  • 服务端 UID 1000 与客户端 UID 1000 可能是不同的人,只按数字匹配
  • 客户端 root 在 root_squash 下变为服务端的 nobody,因此客户端 root 无法修改服务端属主为其他人的文件
  • 需要两端一致时,应通过集中身份源(LDAP、SSSD、NIS)统一 UID,或使用 all_squash 加固定的 anonuid
  • 用户与组的管理方式参见 用户与组管理,权限模型的细节参见 权限模型

性能与并发参数

  • 服务端线程数:nfsd 线程数量(/etc/nfs.conf 的 [nfsd] threads=,或发行版对应的默认文件)影响并发处理能力,过小会在并发高时排队,过大则增加上下文切换
  • sync 与存储后端:sync 导出的实际落盘延迟由后端存储决定,后端慢会直接体现为客户端写入慢
  • 导出目录所在文件系统:XFS 在大文件与并发写入下表现稳定,ext4 在元数据密集场景表现良好,选择与本地场景一致即可(参见 磁盘存储与文件系统操作命令)
  • 网络:在多核客户端上单条 TCP 连接是瓶颈时,优先考虑 NFSv4.1 的 nconnect 或多会话,而不是单纯增大 rsize/wsize

日志与审计

# 服务端运行状态与请求统计
sudo systemctl status nfs-server
sudo nfsstat -s
# 服务与内核日志
sudo journalctl -u nfs-server --since "1 hour ago"
sudo dmesg -T | tail -n 50
  • /var/lib/nfs/etab 为实际生效的导出表,/var/lib/nfs/rmtab 记录客户端挂载记录,两者可用于核对「谁挂了什么」
  • 审计需求较高时,可在服务端启用 audit 或使用客户端侧的挂载事件记录,日志体系的整体说明参见 日志查询与审计

安全加固要点

  1. 存储网络与业务网络隔离,避免 NFS 端口暴露在不受控网段
  2. 导出范围最小化,优先只读
  3. 保持 root_squash,仅在明确需要且受控的场景使用 no_root_squash
  4. 自定义端口时同步更新防火墙规则,避免为了放行而整段开放
  5. 需要传输加密与身份认证时使用 sec=krb5*,或改用 VPN 隧道承载存储流量,主机加固的整体思路参见 主机加固与登录安全

3.2 NFS 客户端

挂载参数选择

# 手动挂载:显式指定版本,硬挂载保证不丢写
sudo mount -t nfs -o vers=4.2,rw,hard,timeo=600,retrans=2,rsize=1048576,wsize=1048576,_netdev \
  10.0.10.10:/exports/data /mnt/nfs

# 确认实际协商到的版本与参数
nfsstat -m
findmnt -T /mnt/nfs -o TARGET,SOURCE,FSTYPE,OPTIONS

关键参数:

参数 说明 建议
vers 协议版本 显式指定并与服务端能力对齐,v4.1 及以上可跨防火墙单端口
hard / soft 不可达时的行为 业务数据使用 hard
timeo 首次重传超时,单位为十分之一秒 timeo=600 表示 60 秒,与 retrans 配合
retrans 重传次数 hard 下用于计算上层重试节奏,取值过小会放大抖动
rsize / wsize 单次读写大小 大文件吞吐场景可增大;小文件场景收益有限
nconnect 单挂载点并发 TCP 连接数 需 v4.1 及以上,多核高吞吐场景有效,注意服务端与网络设备连接数限制
actimeo 属性缓存时长(秒) 默认较大,跨主机即时可见要求高时调小
_netdev 声明依赖网络 网络就绪后再挂载,systemd 环境下必要
noatime 不更新访问时间 减少元数据写,读多写少场景有效

fstab 与 systemd 自动挂载

# /etc/fstab
10.0.10.10:/exports/data  /mnt/nfs  nfs4  vers=4.2,hard,timeo=600,retrans=2,rsize=1048576,wsize=1048576,_netdev,nofail,x-systemd.automount,x-systemd.idle-timeout=600  0  0

判读要点:

  • nofail:挂载失败不阻塞启动,避免网络存储不可达时主机停在紧急模式。nofail 与 defaults 的取舍参见 磁盘存储与文件系统操作命令
  • x-systemd.automount:由 systemd 生成 automount 单元,在首次访问挂载点时才真正挂载,适合低频访问的共享目录
  • x-systemd.idle-timeout:空闲指定时间后自动卸载,与 automount 配合可减少长期空闲连接
  • _netdev 与 automount 同时使用时,挂载时机依赖网络就绪状态,需在 findmnt --verify 后实际重启验证一次
  • 不使用 automount 时,可另建 .mount 与 .automount 单元做更精细的顺序控制
  • fstab 的字段含义与校验方式见 文件系统底层认知

缓存与属性超时

  • 跨主机协同的共享目录(如发布目录、任务队列目录)应缩短 actimeo,例如 actimeo=10
  • 同一主机独占读写的目录保持默认值
  • 需要绕过客户端缓存的程序应使用 O_DIRECT 或自身实现一致性检查,但直接 IO 会显著降低小文件性能
  • 检查挂载点当前缓存参数:cat /proc/mounts | grep nfs、findmnt -T /mnt/nfs

故障时的表现与强制卸载风险

服务端不可达时,hard 挂载的表现序列通常是:

  1. 应用读取变慢,随后完全卡住
  2. 相关进程进入 D 状态,df、ls、stat 对该路径挂起
  3. umount 返回 device is busy 或直接挂起
  4. 依赖该目录的服务在重启时也卡在启动阶段

高危:强制卸载(umount -f、umount -l)会让仍在写入的应用继续向已解除挂载的路径写数据,数据落到本地目录或被丢弃,恢复后表现为文件缺失或内容截断;umount -l 只是从命名空间解除引用,实际连接可能仍未释放。防护建议:先确认持有者(lsof +D /mnt/nfs、fuser -m /mnt/nfs),优先停止或重启持有挂载的进程;如必须强制卸载,先记录 mount、lsof 输出与 dmesg 现场,再执行并立即检查应用数据是否完整。兜底方式:无法卸载且业务已不可用时,重启持有挂载的节点是最可控的选择;重启前应确认服务端已恢复,避免重启后再次挂载失败。D 状态进程的具体判读方式见 3.7 节。

3.3 iSCSI 接入

服务端(target)配置要点

以 LIO(targetcli)为例:

# 1. 创建后端存储,方式可为块设备、文件或现有 LUN
sudo targetcli /backstores/block create name=data01 dev=/dev/sdb

# 2. 创建 target,IQN 需符合命名规范
sudo targetcli /iscsi create iqn.2026-09.com.example:storage.disk01

# 3. 在 target 下创建 LUN 并绑定后端存储
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/luns create /backstores/block/data01

# 4. 配置网络门户
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/portals create 10.0.20.10 3260

# 5. 建立 ACL,仅允许指定 initiator 登录
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/acls create iqn.2026-09.com.example:client01
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1/acls/iqn.2026-09.com.example:client01 set auth userid=clientuser password=***pass***

# 6. 关闭演示模式与全局 ACL,避免任意 initiator 接入
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1 set attribute authentication=1
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1 set attribute demo_mode_write_protect=0
sudo targetcli /iscsi/iqn.2026-09.com.example:storage.disk01/tpg1 set attribute generate_node_acls=0

# 7. 保存配置,确认重启后仍生效
sudo targetcli saveconfig

配置要点:

  • generate_node_acls=1 会自动为任意 initiator 放行,与 demo_mode_write_protect=0 组合时相当于无认证可写,生产环境必须关闭
  • 后端存储为文件时存在额外的双层文件系统开销,性能低于块设备直通
  • ACL 与 CHAP 是两道独立的门,应同时启用
  • 修改 target 配置属于存储侧变更,需与使用该 LUN 的主机协调维护窗口

initiator 连接与登录

# 1. 设置本机 IQN(需与 target ACL 中一致)
sudo cat /etc/iscsi/initiatorname.iscsi

# 2. 配置 CHAP 凭据与超时(口令文件权限收紧)
sudo vi /etc/iscsi/iscsid.conf
# node.session.auth.authmethod = CHAP
# node.session.auth.username = clientuser
# node.session.auth.password = ***pass***

# 3. 发现目标
sudo iscsiadm -m discovery -t sendtargets -p 10.0.20.10:3260

# 4. 登录
sudo iscsiadm -m node -T iqn.2026-09.com.example:storage.disk01 -p 10.0.20.10:3260 -l

# 5. 核对会话、LUN 与新出现的块设备
sudo iscsiadm -m session -P 3
lsblk

要点:

  • iscsid 与 iscsi 服务需设置为开机启动,否则重启后会话不会自动恢复
  • 登录后新设备出现需要一点时间,若长时间未出现应在 dmesg 中查看 SCSI 扫描日志
  • 会话与设备名可能因登录顺序变化,因此上层必须基于 WWID 或 /dev/mapper/mpathX 使用,不能写死 /dev/sdX
  • CHAP 口令以明文保存在 /etc/iscsi/iscsid.conf,应限制文件权限为 600,并使用集中配置管理分发

多路径配置与验证

# 1. 安装并启用多路径服务
sudo apt install multipath-tools
sudo systemctl enable --now multipathd

# 2. 配置黑白名单,避免把本地盘误纳入管理
sudo vi /etc/multipath.conf
# blacklist {
#     devnode "^(ram|raw|loop|fd|sr|nvme|sda)[0-9]*"
# }

# 3. 查看聚合结果与路径状态
sudo multipath -ll
sudo multipathd show paths
sudo multipathd show maps
  • 同一 LUN 的多条路径应聚合为一个 mpathX,multipath -ll 中显示路径数量与状态(active、faulty、failed)
  • 路径策略与故障回切由 failback、path_checker、no_path_retry 控制,常见调整项与坑点见 磁盘存储与文件系统操作命令 的多路径部分
  • 单路径故障时业务通常不受影响,应在维护窗口处理;全部路径故障会中断 IO

高危:在多路径设备上手工执行路径剔除、multipathd failback 或直接对 mpathX 做破坏性写测试,可能使唯一可用路径进入 failed 状态而中断正在运行的业务 IO。防护建议:变更前记录 multipath -ll 与 multipathd show paths 输出,确认至少一条路径为 active,并在业务低峰执行;不要在同一 LUN 上做压测与路径变更的叠加操作。回滚方式:先恢复链路(线缆、交换机端口、iSCSI 会话),执行 sudo iscsiadm -m session -R 重扫并用 sudo multipathd resize map mpathX 刷新;failback 为 manual 时需手工执行 sudo multipathd failback map mpathX 回切。

LUN 扩容后上层识别

存储侧扩容 LUN 后,主机侧需要按顺序让各层看到新容量:

# 1. 重扫 iSCSI 会话,使内核看到新的块设备容量
sudo iscsiadm -m session -R

# 2. 刷新多路径映射,使其反映新容量
sudo multipathd resize map mpatha
sudo multipath -ll

# 3. 若设备已作为物理卷使用,扩展物理卷并同步逻辑卷
sudo pvresize /dev/mapper/mpatha
sudo vgs
sudo lvextend -r -l +100%FREE /dev/vgdata/lvdata

# 4. 核对结果
lsblk
df -h /data

要点:

  • 顺序不可颠倒。跳过重扫时 pvresize 会认为设备容量未变
  • lvextend -r 会在扩容后同步扩展文件系统;XFS 只能在挂载状态下扩容,ext4 可在线扩容
  • 不经过 LVM 直接使用分区时,需先调整分区表再扩展文件系统,流程与坑点见 磁盘存储与文件系统操作命令 的扩容部分
  • LVM 层的概念与操作参见 逻辑卷管理

断开与清理顺序

正确的清理顺序是「先摘上层、再停会话、最后删配置」,逆序操作会留下无法清理的残缺状态:

# 1. 卸载上层文件系统
sudo umount /data

# 2. 清理多路径映射与 LVM 中的残留(确认无业务使用)
sudo vgchange -an vgdata
sudo dmsetup remove /dev/mapper/mpatha   # 仅在确认无使用者时执行

# 3. 登出会话
sudo iscsiadm -m node -T iqn.2026-09.com.example:storage.disk01 -p 10.0.20.10:3260 -u

# 4. 删除节点记录,避免下次开机自动登录
sudo iscsiadm -m node -T iqn.2026-09.com.example:storage.disk01 -p 10.0.20.10:3260 -o delete

# 5. 核对会话已清空
sudo iscsiadm -m session

坑点:

  • 直接删除存储侧 LUN 而未先登出,主机会持续报 IO 错误,且设备节点与多路径映射残留,需要手工清理
  • iscsiadm -m node ... -o delete 只删除本地记录,不会删除存储侧的 ACL 或 LUN
  • 存储侧删除 LUN 属于不可逆操作,应与备份与业务确认一起执行

3.4 SMB 客户端挂载

凭据文件与权限

# 凭据文件应限制为 600,属主为 root
sudo vi /root/.smbcredentials
# username=svc_backup
# password=***pass***
# domain=EXAMPLE

sudo chmod 600 /root/.smbcredentials
sudo chown root:root /root/.smbcredentials

高危:凭据文件权限过宽(如 644 或放入共享目录、代码仓库),会使口令对同机任意用户或任何读到仓库的人可见。防护建议:权限固定 600,属主 root,路径不放在共享或同步目录,口令使用专用服务账户并限制其在服务端的权限范围。回滚方式:口令一旦外泄应先在服务端轮换,再更新凭据文件并重新挂载;已泄露的凭据无法通过修改文件权限挽回,必须视为已失效。

常见挂载参数

sudo mount -t cifs //10.0.30.10/share /mnt/smb \
  -o credentials=/root/.smbcredentials,vers=3.1.1,uid=1000,gid=1000,file_mode=0644,dir_mode=0755,iocharset=utf8,noexec,nosuid
# /etc/fstab
//10.0.30.10/share  /mnt/smb  cifs  credentials=/root/.smbcredentials,vers=3.1.1,uid=1000,gid=1000,file_mode=0644,dir_mode=0755,iocharset=utf8,_netdev,nofail  0  0

常用参数与取舍:

参数 作用 取舍
credentials 从文件读取用户名与口令 必须配合收紧的文件权限
vers 协议版本 显式指定,避免协商到旧版本
uid/gid 挂载内容的属主 服务端无 POSIX 语义时决定本机可见属主
file_mode/dir_mode 文件与目录权限位 影响本机所有用户的访问,配合 noexec、nosuid 使用更稳妥
iocharset 字符集 中文文件名异常时优先检查
nobrl 禁用字节范围锁 部分服务端对锁支持不完整时报错,禁用后应用层锁语义失效
noserverino 不使用服务端 inode 号 规避硬链接与 inode 冲突类问题
multichannel 启用 SMB 多通道 3.x 版本可用,提升单挂载点吞吐

字符集与文件权限问题

  • 中文文件名显示为乱码:先在服务端确认名称编码,再在客户端设置 iocharset=utf8;已按错误编码创建的文件需要重命名,修改参数不会自动纠正
  • 目录可进入但无法创建文件:本机 dir_mode/file_mode 与服务端 ACL 冲突,应优先在服务端调整
  • 属主显示为 nobody 或数字:身份映射未建立,检查服务端是否回传 SID、客户端是否启用 mapposix
  • 部分应用(如依赖 chmod、chown 的程序)在 CIFS 上会失败或被静默忽略,属于协议语义差异,不应期望与本地盘一致

3.5 集群文件系统与共享场景

多节点挂载的准入条件

在挂载集群文件系统前,按顺序确认下列条件,任一项不满足即不应开始:

  1. 共享 LUN 在所有节点的 multipath -ll 中 WWID 一致
  2. 集群软件运行正常,pcs status 显示全部节点在线且无资源失败
  3. 锁管理服务(dlm_controld、dlm 服务)在各节点正常运行
  4. fencing 设备已配置并完成一次实际隔离验证(见 高可用与集群)
  5. 心跳网络与存储网络分离,避免存储压力影响集群成员判定
  6. 时间同步正常,节点间时间偏移会造成集群认证与成员关系异常

创建与挂载

# 1. 确认锁服务可用
sudo systemctl status dlm
sudo pcs status

# 2. 创建集群文件系统,-t 需与集群名一致,-j 为日志数
sudo mkfs.gfs2 -p lock_dlm -t cluster1:fs_data -j 4 /dev/mapper/mpatha

# 3. 各节点挂载
sudo mount -t gfs2 /dev/mapper/mpatha /data

# 4. 核对锁与文件系统状态
sudo gfs2_tool journals /data
findmnt /data

要点:

  • -t cluster1:fs_data 中的集群名必须与 Corosync 集群名一致,不一致时挂载失败并报锁表不可用
  • 日志数(-j)通常等于或大于节点数,日志占用空间从文件系统容量中扣除
  • 生产环境应把挂载交给集群资源管理(如 Pacemaker 的 Filesystem 资源),并在约束中声明挂载完成后再启动服务,而不是在各节点手工挂载
  • 存储侧扩容后同样需要重扫、multipathd resize、再扩展文件系统,集群文件系统的扩容顺序与本地相同

与高可用软件的配合

  • 挂载动作应作为集群资源,具备「在一处失败即停止并在另一处启动」的能力
  • 顺序约束保证文件系统先挂载、服务后启动;逆序停止
  • 需要防止同一文件系统被两个节点同时以资源形式激活,这依赖 fencing 与资源粘性配置
  • 集群资源、约束与 fencing 的完整配置见 高可用与集群

误挂载导致的数据损坏风险

高危:在集群之外手工把共享块设备挂载到某节点,或在两个节点上以本地文件系统(ext4、XFS)挂载同一 LUN,会造成元数据与文件内容交叉覆盖,文件系统通常无法修复,只能依赖备份重建。防护建议:共享设备一律通过集群资源挂载;在存储侧限制该 LUN 仅对集群节点的 IQN 可见;节点上为共享设备建立明确的 udev 命名与文档标记,避免误操作。兜底方式:发现双挂载迹象(内核报 corrupt、Structure needs cleaning、大量 I/O error)时立即停止两侧写入,先卸载其中一侧,用只读方式导出可读数据,再从备份恢复;块设备层没有可回放的事务日志,不要尝试在双写过的文件系统上直接挂载修复。

3.6 性能与容量

吞吐与延迟特征

  • 网络是首要约束:1GbE 理论 125MB/s,实际约 110MB/s;10GbE 约 1.1GB/s;25GbE 约 2.8GB/s。存储再快也无法超过链路带宽
  • 延迟由往返时间决定:一次元数据操作通常需要至少一个往返,跨机房或高延迟链路上小文件操作会成倍变慢
  • NFS 的 rsize/wsize 增大只对顺序大 IO 有明显收益;随机小 IO 受请求数与往返时间支配
  • 单条 TCP 连接无法跑满多核客户端时,使用 nconnect 或多会话;iSCSI 侧则使用多路径与轮询策略分摊
  • iSCSI 与 NFS 都受 MTU 与丢包影响,链路上的丢包会因重传显著降低有效吞吐;端到端一致性是启用巨帧的前提

并发与小文件场景的差异

场景 主要瓶颈 优化方向
大文件顺序读写 链路带宽 增大读写块、多连接、检查存储后端带宽
大量小文件创建与读取 元数据往返次数与锁竞争 减少目录内文件数、启用属性缓存、避免频繁 stat、必要时改对象存储
多客户端写同一目录 服务端锁与目录元数据争用 按客户端分目录写入,避免共享单文件追加
数据库类随机 IO 服务端 IOPS 与延迟 使用块级存储而非文件级,避免在 NFS 上直接跑数据库数据文件

缓存与直写取舍

  • 服务端 async 导出与客户端页缓存能显著提升吞吐,但断电或服务端崩溃时可能丢失已被确认的写入
  • 对持久性要求高的写入,应用需显式 fsync,同时服务端应使用 sync 导出,使确认与落盘对齐
  • 客户端直接 IO 绕过缓存可以保证读取到最新数据,代价是失去预读与写合并,吞吐下降明显
  • 数据缓存与脏页回写的机制细节参见 页缓存与 IO 性能

容量与配额

  • 客户端 df 看到的是服务端文件系统的容量,多个客户端共享同一容量视图,任一客户端的写入都会消耗同一空间
  • NFS 配额通常在服务端实现(服务端文件系统的配额或存储设备的配额),参见 磁盘存储与文件系统操作命令 的配额部分
  • 精简置备(thin provisioning)会造成存储池超配,客户端看似有空闲空间,实际写入可能因池满失败,需要独立监控存储池真实水位
  • 快照与副本会额外占用容量,规划容量时应把快照保留策略一并计入
  • 共享目录应设置写入方的最小集合,避免个别主机写满共享空间影响全体

3.7 故障排查

分层定位

网络存储的问题必须按层定位,逐层验证可以避免在错误的层反复排查:

层次 验证方式 判读要点
物理与链路 ip -s link、ethtool、交换机端口状态与错误计数 丢包、CRC 错误、链路抖动是上层超时的常见根因
网络可达 ping、mtr、nc -vz 10.0.10.10 2049(iSCSI 为 3260,SMB 为 445) 端口不通时先查路由与防火墙,而不是查 NFS 配置
服务发现 rpcinfo -p <server>、showmount -e <server>、iscsiadm -m discovery v3 依赖 rpcbind 与 mountd,这些服务异常会导致挂载失败而 2049 正常
认证与授权 sudo exportfs -v、服务端认证日志、SMB 服务端日志 挂载成功但读写被拒多为导出选项或身份映射问题
协议与挂载参数 mount -v、dmesg、findmnt -T、nfsstat -m 版本协商失败、参数不被支持会在挂载时直接报错
客户端缓存与锁 cat /proc/mounts、nfsstat -c、应用日志中的锁错误 未见最新数据、锁冲突多与缓存过期时间和锁恢复相关
存储后端 存储管理界面、控制器日志、池水位与告警 客户端看到的是结果,根因常在存储侧

常用命令集合:

# 本机挂载与参数
findmnt -t nfs,nfs4,cifs -o TARGET,SOURCE,FSTYPE,OPTIONS
cat /proc/mounts | grep -E "nfs|cifs"

# NFS 侧统计
nfsstat -c
nfsstat -m

# iSCSI 侧会话与路径
sudo iscsiadm -m session -P 3
sudo multipath -ll
sudo multipathd show paths

# 内核与文件系统日志
sudo dmesg -T | grep -Ei "nfs|cifs|iscsi|multipath|scsi|I/O error|corrupt|stale"

挂载失败与超时的分层定位

# 1. 先用详细模式观察失败发生在哪一步
sudo mount -v -t nfs -o vers=4.2 10.0.10.10:/exports/data /mnt/nfs

# 2. 核对基础连通性与端口
ping -c 3 10.0.10.10
nc -vz 10.0.10.10 2049
# NFSv3 场景还需确认辅助服务
rpcinfo -p 10.0.10.10
showmount -e 10.0.10.10

# 3. 抓包确认请求是否到达服务端并得到响应
sudo tcpdump -i any -nn port 2049 -c 50

典型现象与对应原因:

现象 常见原因
Connection timed out 防火墙未放行、路由不通、服务端未监听、存储网络与业务网络隔离未打通
No route to host 链路或路由问题,也可能是中间设备阻断
access denied by server 客户端 IP 不在导出范围内、导出选项限制
No such file or directory(挂载时报) 导出路径不存在或导出未被重载
挂载成功但目录为空 服务端导出的是空目录,或客户端缓存与权限导致看不到内容(ls -la 复核)
Stale file handle 服务端导出的目录被重建或移动,客户端持有的 inode 失效,需重新挂载

NFSv3 场景还需放行 111(rpcbind)与 mountd 使用的动态端口;NFSv4 只需 2049,因此新环境优先使用 v4 可显著简化防火墙规则。网络侧命令与防火墙规则的管理参见 网络诊断与远程连接。

权限与认证问题

排查顺序应为「先确认身份,再确认权限」:

# 1. 核对两侧身份
id
sudo exportfs -v
# 2. 直接尝试写入并观察错误码
touch /mnt/nfs/probe.txt
# 3. 查看服务端侧日志中的拒绝记录
sudo journalctl -u nfs-server --since "10 min ago"
  • 写入被拒且服务端日志中显示匿名用户:确认是 root_squash 或 all_squash 导致
  • 属主显示为 nobody:两端 UID 不一致,或服务端未做身份映射
  • 只有部分主机无法写入:核对导出表中的客户端范围是否覆盖该主机地址
  • SMB 侧认证失败:确认域、用户名格式与服务端是否要求 NTLMv2 或 Kerberos,mount -v 与 dmesg 会给出具体阶段

网络与防火墙

  • 存储流量应走独立网段,排查时先确认到达的是存储网络而非业务网络
  • 防火墙变更使用 iptables/nft 前先保存现有规则,变更后可回退;ufw 的规则管理与持久化方式参见 网络诊断与远程连接
  • iSCSI 与 NFS 都需要考虑 keepalive 与中间设备会话老化,空闲连接被中间设备清理会表现为「平时正常、闲置后首次访问超时」

存储端问题与客户端表现的对应关系

存储端事件 客户端表现 处置方向
单条路径故障 多路径中部分路径 faulty,IO 正常 维护窗口内修复链路
全部路径故障 IO 挂起或报 I/O error,进程进入 D 状态 优先恢复链路,见下节
控制器切换 短时 IO 暂停,随后恢复 确认切换已完成,核对 IO 无错误
LUN 被删除或映射变更 持续 I/O error,设备不消失 恢复存储侧映射或清理本地设备与映射残留
存储池写满 写入失败,ENOSPC,只读或无法创建文件 清理空间或扩容,不能只在客户端排查
后端静默损坏 读取报错,文件系统出现损坏标记 从备份恢复,并检查存储侧校验与告警

卡死与 D 状态进程的处置

# 1. 找出处于不可中断睡眠的进程
ps -eo pid,stat,wchan:24,cmd | awk '$2 ~ /D/'
# 2. 查看该进程阻塞在哪个内核路径
sudo cat /proc/<pid>/stack
cat /proc/<pid>/wchan

# 3. 找出占用挂载点的进程
sudo lsof +D /mnt/nfs
sudo fuser -m /mnt/nfs

# 4. 确认内核层面的存储错误
sudo dmesg -T | tail -n 50

处置原则:

  1. 先恢复存储可达性(链路、会话、服务端),多数 D 状态进程会自行恢复
  2. 服务恢复无望且业务可中断时,停止或重启持有挂载的进程;kill -9 对 D 状态进程无效
  3. 需要重启节点时,先确认服务端已恢复,避免重启后再次卡在挂载阶段
  4. 使用 nofail 与 automount 的挂载点能显著降低重启时的阻塞风险,但这属于事前配置而非事后处置

强制卸载与重启的取舍

手段 效果 风险 适用条件
停止占用进程后正常 umount 干净卸载 业务中断 首选方式
umount -f 强制卸载,可能仍有 IO 在途 数据不一致、应用继续写向已卸载路径 无写入或已确认写入可丢弃
umount -l 从命名空间解除引用 连接未释放,进程仍可能持有引用,后续报错难以解释 需要先恢复本机可用性时临时使用
重启节点 彻底清理挂载与 D 状态 业务中断,重启后可能再次卡住 业务已不可用且服务端已恢复

选择顺序为:停止占用者 → 强制卸载(明确写入可弃)→ 重启节点。每一步都应先记录现场(mount、lsof、dmesg、multipath -ll),以便事后定位根因;故障案例的归档方式参见 故障案例库。

3.8 与容器和集群的衔接

容器挂载网络存储的注意点

  • 宿主机必须先能正常访问网络存储,容器只是在宿主机挂载视图之上再做一次绑定,宿主机侧的慢挂载会直接表现为容器启动卡住
  • 容器内 UID 与 NFS 侧 UID 需要对齐,否则出现无权限写入;常用做法是在容器启动参数中指定 uid/gid,或让 NFS 侧使用 all_squash 加固定 anonuid
  • hard 挂载的挂载点在宿主机上卡住时,容器无法通过重启自身恢复,需要先解决宿主机侧问题
  • NFS 与 CIFS 作为卷驱动的方式、卷的生命周期与备份方式见 Docker 容器数据持久化
  • 网络存储上的卷不随容器删除而清理,编排层的清理动作只作用于卷对象,不作用于服务端数据

Kubernetes 存储类与 CSI 的定位

  • 传统方式把网络存储直接以 hostPath 或 NFS 目录方式挂载进容器,缺少生命周期管理与访问模式约束
  • 编排层的做法是引入 PV、PVC 与 StorageClass:PVC 声明容量与访问模式,StorageClass 绑定供给插件与回收策略
  • 访问模式与后端能力直接相关:RWO 常见于云盘与 Ceph RBD,RWX 对应 NFS 与 CephFS,选错模式会造成跨节点挂载失败
  • CSI(Container Storage Interface)是统一插件接口,把 NFS、Ceph、云盘等后端以同一套接口接入,替代了早期的树内插件;存储类故障与 CSI 组件的排查方式见 Kubernetes 运维
  • 集群侧共享存储在编排层同样受一致性约束:多个 Pod 同时写同一 RWX 卷时的一致性问题与本文 2.5 节的多节点挂载问题本质相同

四、总结

  • 本地磁盘的边界在于容量受机箱与控制器限制、数据无法被多主机共享、故障域与主机绑定;网络存储把容量与数据从主机解耦,代价是引入网络、认证、超时与身份映射等新依赖
  • 访问类型分为块级、文件级与对象级,对应「谁管理文件系统」「能否多客户端同时读写」「以什么接口访问」三个差异;NAS 与 SAN 是文件级与块级的主要部署形态
  • NFS 由服务端导出目录、客户端挂载使用,v3 与 v4 在端口、锁与状态管理上差异明显;客户端缓存决定跨主机可见性,hard 保证不丢写但会挂起,soft 快速报错但可能丢数据
  • iSCSI 把 SCSI 封装在 TCP 上,以 target、initiator、LUN、IQN 组织接入,多路径把多条链路聚合为单一设备,认证以 ACL 与 CHAP 为基础,路径策略与 no_path_retry 决定故障时的表现
  • SMB/CIFS 面向 Windows 与混合环境,权限模型与身份映射与 NFS 不同,挂载参数的属主、权限位与字符集设置是主要排查方向
  • 集群文件系统让多节点同时挂载成为可能,前提是共享设备一致、集群成员与锁服务正常、fencing 可用;缺少隔离机制的双挂载会直接损坏文件系统
  • 分布式与对象存储以数据切分与多副本分布替代专用控制器,故障域划分与一致性取舍是设计核心,运维关注容量水位、校验与重平衡
  • 实现要点包括:NFS 服务端的导出范围与身份映射、客户端的版本与超时参数、iSCSI 的接入与清理顺序、扩容后的重扫与上层识别、容器与编排层对访问模式的选择
  • 故障排查遵循从链路到存储后端的分层顺序;网络存储故障以挂起为主要表现,D 状态进程与强制卸载的取舍是现场处置的核心判断
  • 安全与风险控制集中在导出范围、root_squash、凭据文件权限、共享设备双挂载与强制卸载这五处高危点,均需事前配置与可回退方案配合

关联阅读:文件系统底层认知、磁盘存储与文件系统操作命令、虚拟文件系统 VFS、逻辑卷管理、页缓存与 IO 性能、高可用与集群、备份与容灾、网络诊断与远程连接、Docker 容器数据持久化、Kubernetes 运维。