一、起源:为什么用案例组织排障知识

1.1 命令清单解决"怎么做",案例解决"先看什么"

命令类文档解决的是工具用法问题,例如如何查询日志、如何查看磁盘占用、如何统计进程状态。排障现场的瓶颈通常不在这里,而在于:

  • 现象只有一句"服务不可用",先执行哪条命令
  • 多条命令都返回异常数据,哪一条才是根因
  • 指标已经确认异常,下一步是修复还是先保留现场

案例的价值在于固定"从现象到根因"的路径,把命令组织成有顺序的判断链。

1.2 案例的组织方式

案例按现象组织而非按命令组织,原因如下:

  1. 排障从现象出发,现象是唯一的确定性输入
  2. 同一现象对应多个可能根因,案例给出的是排查顺序与区分依据
  3. 相似现象的处理动作差异大,误判代价高(例如磁盘空间不足与 inode 不足的处置动作不同)

1.3 案例库的用途

  • 排障时按现象索引,快速确定排查顺序
  • 复盘时作为记录模板,避免遗漏影响面与改进项
  • 巡检项与告警规则的来源:案例中可自动化的判断项应下沉为监控规则

巡检项与告警规则的配置参见 巡检与健康检查 与 监控与告警。

二、原理:案例结构与通用排障顺序

2.1 案例的记录结构

每个案例由六部分组成:

  1. 现象:可观测到的外部表现,例如接口报错、服务自动重启、主机无法登录
  2. 影响面:受影响的业务、主机范围、时间范围、是否有数据损失
  3. 定位过程:按顺序执行的命令与每步的判读依据,包含被排除的可能性
  4. 根因:导致现象的直接原因与其形成条件
  5. 处置:止损动作与恢复验证方法
  6. 复盘与改进:可预防该问题的监控项、配置变更与流程调整

2.2 通用排障顺序

排障按以下顺序推进,每一步完成后再进入下一步:

  1. 现象确认:明确报错原文、影响范围、开始时间;区分"全部不可用"与"部分请求失败"
  2. 资源层:磁盘空间与 inode、内存与 swap、CPU 与负载、文件描述符、连接数
df -hT; df -i
free -h
uptime
cat /proc/sys/fs/file-nr
  1. 进程层:目标进程是否存在、状态与重启次数、线程数与句柄数、是否处于 D 状态
systemctl status <服务名> --no-pager
ps -eo pid,ppid,stat,%cpu,%mem,etime,cmd --sort=-%mem | head -n 20
sudo ls /proc/<PID>/fd | wc -l
  1. 日志层:按时间点定位错误原文,区分应用日志与内核日志
journalctl -u <服务名> --since "1 hour ago" --no-pager
journalctl -k --since "1 hour ago" --no-pager | grep -iE 'error|oom|i/o'
  1. 配置层:核对当前生效配置与预期配置的差异,确认配置是否被修改
systemctl show <服务名> -p Environment -p ExecStart
cat /etc/<服务名>/config
  1. 变更层:核对最近的应用发布、配置调整、内核参数修改、软件包升级
grep -E 'install|upgrade|remove' /var/log/dpkg.log | tail -n 20
last -n 10
journalctl --since "1 day ago" | grep -i 'Started\|Stopped'

顺序的作用是排除。资源层与进程层的检查成本最低且覆盖面最广,多数"服务不可用"类问题在前两步即可定位。

2.3 先止损后定位

排障顺序中存在一组取舍:定位需要保留现场,业务需要尽快恢复。

原则:

  1. 优先恢复业务可用性:有冗余时先切流或重启,再在旁路环境或事后分析根因
  2. 止损动作不得销毁证据:重启前先保存关键输出,进程被终止后其 /proc 数据与内存状态无法恢复
  3. 止损动作必须可回退:涉及配置修改与数据删除的动作需先备份原状态
  4. 不可回退的动作需确认根因:删除文件、缩容文件系统、重建阵列等操作应在根因明确后执行

2.4 证据保留要求

在止损前尽可能采集以下信息:

# 系统与资源快照
date; uptime; vmstat 1 5; free -h; df -hT; df -i
# 进程详情
ps -eo pid,ppid,user,stat,%cpu,%mem,etime,cmd --sort=-%mem | head -n 30
# 句柄与连接
sudo lsof -p <PID> | head -n 50
ss -tanp | head -n 50
# 日志切片(按故障时间窗口导出)
journalctl --since "<开始时间>" --until "<结束时间>" --no-pager > /tmp/fault-journal.txt

保留要求:

  1. 日志切片按故障时间窗口导出,避免事后日志轮转导致记录丢失
  2. 内核日志(journalctl -k)与 OOM 记录单独保存
  3. 变更记录与操作时间点对齐,用于确认触发条件
  4. 证据文件与案例记录一并归档,保留期限与日志保留策略一致

三、实现:故障案例

3.1 案例一:磁盘空间被写满导致服务不可用

现象

  • 应用接口返回 500,日志中出现 No space left on device
  • 写入类操作全部失败,读操作部分正常
  • 部分进程无法创建临时文件与日志文件

影响面

  • 受影响范围:单台应用主机上的全部写入型服务
  • 数据影响:故障窗口内的写入请求丢失,数据库事务回滚

定位过程

  1. 确认错误原文并检查所有挂载点:
df -hT
  1. 判读:某挂载点使用率 100%。确认占用最大的目录:
sudo du -xh --max-depth=1 / | sort -h | tail -n 15
sudo du -xh --max-depth=2 /var | sort -h | tail -n 15
  1. 若 df 显示已满但 du 统计的总量远小于分区容量,检查已删除但仍被占用的文件:
sudo lsof +L1
sudo lsof +L1 | awk '{s += $7} END {print s/1024/1024" MB"}'
  1. 判读:lsof +L1 中存在持有已删除句柄的进程,其 SIZE 合计与 df 与 du 的差值一致。

根因

应用的日志轮转配置未生效,旧日志被删除但进程仍持有文件句柄,空间未释放;同时日志写入速度超过清理速度,最终写满分区。

处置

  1. 止损:清理可安全删除的临时文件,或将非关键日志截断以释放空间:
sudo truncate -s 0 /var/log/<应用日志>
  1. 释放已删除文件占用:重启持有句柄的进程,而不是继续删除文件
sudo lsof +L1 | awk '$5=="REG"{print $2}' | sort -u
sudo systemctl restart <服务名>
sudo lsof +L1
  1. 验证:
df -hT
sudo -u <服务用户> touch /var/log/<应用目录>/write-test && echo ok

复盘与改进

  • 修正日志轮转配置并验证生效,轮转与容量治理参见 logrotate 日志轮转
  • 增加磁盘空间告警(剩余低于 20% 告警)与日志目录增速告警,参见 监控与告警
  • 为日志与数据目录做分区隔离,避免日志写满根分区
  • 巡检中增加 lsof +L1 检查项,参见 巡检与健康检查

关联文档:磁盘存储与文件系统操作命令、logrotate 日志轮转

3.2 案例二:inode 耗尽报 No space left on device

现象

  • 报错与磁盘写满相同:No space left on device
  • df -h 显示空间充足,df -i 显示 inode 使用率 100%
  • 无法创建新文件,但可继续写入已存在的文件

影响面

  • 受影响范围:产生大量小文件的目录所在分区
  • 数据影响:新建会话、缓存、队列文件等写入失败

定位过程

  1. 对比空间与 inode 使用情况:
df -hT; df -i
  1. 判读:空间使用率正常,inode 使用率接近 100%,确认属于 inode 耗尽而非空间耗尽。

  2. 定位小文件集中目录:

sudo find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 20
sudo find /var/spool -xdev -type f 2>/dev/null | wc -l
  1. 判读:某目录下文件数量级异常,检查文件时间分布确认生成来源:
sudo find /var/spool/<目录> -type f -newermt '-1 hour' 2>/dev/null | wc -l

根因

应用异常时产生大量的小文件(临时文件或失败任务残留),未设置清理策略,累积占用完全部 inode。

处置

  1. 止损:删除确认无用的残留文件,使用 -delete 或 xargs 分批处理,避免单次删除过多造成长时间阻塞:
sudo find /var/spool/<目录> -type f -mtime +1 -print -delete
  1. 确认应用侧产生小文件的原因并修复,避免清理后再次堆积
  2. 验证:
df -i
sudo -u <服务用户> touch /var/spool/<目录>/write-test && echo ok

复盘与改进

  • 增加 inode 使用率告警,阈值与磁盘空间告警分开配置
  • 为应用临时目录设置定期清理任务
  • 评估该分区文件系统与 inode 数量配置是否匹配业务文件规模

关联文档:linux: 文件系统底层认知(从磁盘物理01到树形结构)、监控与告警

3.3 案例三:文件系统转为只读导致写入失败

现象

  • 应用报 Read-only file system
  • df -h 显示分区空间充足,touch 测试文件失败
  • 系统日志中出现 EXT4-fs error 或 remounting filesystem read-only

影响面

  • 受影响范围:该分区上的全部写入操作
  • 数据影响:故障窗口内的写请求全部失败,可能伴随元数据损坏

定位过程

  1. 确认挂载选项:
mount | grep -E ' / | /data '
cat /proc/mounts | awk '{print $1,$2,$3,$4}'
  1. 判读:挂载选项中出现 ro,说明文件系统已被转为只读。

  2. 查内核日志确认触发原因:

journalctl -k --since "2 hours ago" --no-pager | grep -iE 'ext4|xfs|i/o error|remount'
  1. 判读:日志中出现文件系统错误或底层设备 I/O error,问题在存储层而非文件系统配置。

  2. 检查底层设备健康状态:

sudo smartctl -H /dev/sda
sudo smartctl -A /dev/sda | grep -E 'Reallocated|Pending|Uncorrectable'
cat /proc/mdstat

根因

底层磁盘出现不可恢复的读写错误,内核为避免数据进一步损坏将文件系统重新挂载为只读。

处置

  1. 止损:确认存储健康后,先卸载再以读写方式重新挂载,禁止直接 mount -o remount,rw 掩盖设备错误:
sudo fuser -vm /data
sudo umount /data
sudo mount /data
mount | grep ' /data '
  1. 若设备存在不可恢复错误,先迁移数据再更换磁盘;RAID 阵列需按阵列流程重建
  2. 验证:写入测试文件并核对应用日志,确认写入恢复

复盘与改进

  • 增加 SMART 与阵列状态巡检项,以及内核 I/O error 告警
  • 文件系统错误不可通过重启规避,需在设备层处理
  • 对关键数据分区配置冗余与定期备份校验

关联文档:磁盘存储与文件系统操作命令、块设备驱动层

3.4 案例四:OOM Killer 杀进程导致服务重启

现象

  • 服务无规律自动重启,退出信息无明确应用层报错
  • 内核日志中出现 Out of memory: Killed process
  • 容器场景下容器被终止并重启,退出码为 137

影响面

  • 受影响范围:内存占用最高的进程或容器
  • 数据影响:未持久化的内存数据丢失,长事务中断

定位过程

  1. 确认是否存在 OOM 记录:
journalctl -k --since "1 day ago" --no-pager | grep -iE 'out of memory|killed process'
sudo grep -i 'oom' /var/log/kern.log
  1. 判读:记录中被终止进程名与 total-vm、anon-rss 数值,确认是哪个进程占用最高。

  2. 检查当时的可用内存与缓存情况:

free -h
grep -E 'MemTotal|MemAvailable|SwapTotal|SwapFree' /proc/meminfo
cat /proc/pressure/memory
  1. 容器场景下核对 cgroup 限制与实际用量:
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.events
dmesg -T | grep -i 'memory cgroup out of memory'
  1. 判读:memory.events 中 oom_kill 计数大于 0,说明容器内发生了 OOM;容器内存上限小于应用峰值需求。

根因

应用内存占用持续增长(缓存未设置上限或存在对象未释放),超过宿主机可用内存或容器内存上限,内核触发 OOM Killer 终止占用最高的进程。

处置

  1. 止损:提高容器内存上限或调整宿主机的内存分配比例,避免继续被杀
docker update --memory 2g --memory-swap 2g <容器名>
  1. 保留证据:进程被终止后原内存内容无法恢复,需在再次复现前启用内存监控与堆转储配置
  2. 定位增长来源:
pmap -x <PID> | tail -n 5
sudo cat /proc/<PID>/status | grep -E 'VmRSS|VmSwap'
  1. 验证:调整后观察 24 小时内存曲线与 memory.events 计数

复盘与改进

  • 增加可用内存告警与 memory.events 中的 OOM 计数监控
  • 应用侧设置缓存上限与对象复用,避免无界增长
  • 容器内存上限按峰值加余量设置,同时配置内存请求值
  • 内存机制与 cgroup 说明参见 内存管理

关联文档:内存管理、系统信息与进程服务命令

3.5 案例五:文件描述符耗尽引发连接失败

现象

  • 应用报 Too many open files
  • 新连接建立失败,已有连接仍可处理请求
  • 单进程日志中出现 accept 或 open 失败

影响面

  • 受影响范围:达到限制的单个进程
  • 数据影响:连接建立失败导致请求被拒绝

定位过程

  1. 检查系统级与进程级使用情况:
cat /proc/sys/fs/file-nr
cat /proc/sys/fs/file-max
sudo ls /proc/<PID>/fd | wc -l
grep -E 'Max open files' /proc/<PID>/limits
  1. 判读:进程 fd 数量接近 Max open files 的软限制,而系统级占用未达上限,说明限制在进程级。

  2. 分析 fd 类型分布,确认是连接泄漏还是并发量上升:

sudo ls -l /proc/<PID>/fd | awk -F' -> ' '{print $2}' | awk -F'[' '{print $2}' | sort | uniq -c | sort -rn | head
sudo ls -l /proc/<PID>/fd | grep -c socket
ss -tanp | awk '{print $1}' | sort | uniq -c
  1. 判读:socket 类句柄数量远超正常并发量,且 CLOSE_WAIT 状态连接持续累积,说明应用未关闭已断开的连接。

根因

应用在异常分支未关闭连接,连接进入 CLOSE_WAIT 后不被回收,随运行时间累积至进程 fd 上限。

处置

  1. 止损:重启进程释放句柄,恢复服务可用性
sudo systemctl restart <服务名>
sudo ls /proc/<PID>/fd | wc -l
  1. 修正应用连接关闭逻辑,并在连接池中设置空闲连接回收与超时
  2. 验证:观察 24 小时内 fd 数量是否稳定在基线范围

复盘与改进

  • 修正 systemd 单元或容器运行时的句柄上限,配置位置参见 systemd 介绍与使用
  • 增加进程 fd 使用量与 CLOSE_WAIT 数量监控
  • 应用侧增加连接泄漏检测,在连接数超过阈值时输出堆栈

关联文档:系统信息与进程服务命令、Ubuntu 网络诊断与远程连接命令

3.6 案例六:硬件 I/O error 导致数据库响应变慢

现象

  • 数据库查询响应时间明显上升,不伴随 CPU 使用率上升
  • 内核日志出现 I/O error、medium error、ata 链路重置记录
  • 部分查询超时或事务回滚

影响面

  • 受影响范围:使用同一存储的数据库实例
  • 数据影响:超时事务回滚,存在主从延迟放大的风险

定位过程

  1. 确认瓶颈在 I/O 而非计算:
vmstat 1 5
iostat -xz 1 5
  1. 判读:vmstat 中 wa 偏高、b 列大于 0;iostat 中目标设备的 %util 接近 100,await 显著高于历史基线。

  2. 检查内核日志中的设备错误:

journalctl -k --since "2 hours ago" --no-pager | grep -iE 'i/o error|medium error|sense key|ata[0-9]'
dmesg -T | grep -iE 'error|reset'
  1. 判读:错误记录集中在单一设备(如 sda、nvme0n1),说明问题不在文件系统或应用层。

  2. 核对设备健康状态:

sudo smartctl -H /dev/sda
sudo smartctl -A /dev/sda
sudo smartctl -l error /dev/sda
cat /proc/mdstat
  1. 判读:SMART 属性中 Reallocated_Sector_Ct、Current_Pending_Sector、Uncorrectable_Error_Cnt 出现增长;错误日志中错误扇区集中。

根因

磁盘存在坏道且重映射已达上限,读写请求在该区域反复重试,单次 I/O 延迟被放大,数据库整体响应变慢。

处置

  1. 止损:将数据库流量切换至冗余节点;单机场景下先降低写入压力并执行数据备份
  2. 更换故障磁盘;RAID 阵列按顺序更换并等待重建完成,重建期间避免其他维护操作
cat /proc/mdstat
sudo mdadm --detail /dev/md0
  1. 验证:更换后核对 iostat 的 await 与 %util 是否回到基线,核对数据库响应时间与主从延迟

复盘与改进

  • 增加 SMART 属性与阵列状态的巡检项,以及内核 I/O error 告警
  • 对数据库主机使用独立物理磁盘或独立存储卷,避免与日志、备份共享设备
  • 定期执行恢复演练,确认冗余切换可用
  • 底层设备与调度器机制参见 块设备层与 IO 调度器

关联文档:磁盘存储与文件系统操作命令、块设备驱动层

3.7 案例七:fstab 配置错误导致主机无法启动

现象

  • 主机重启后停留在紧急模式(emergency mode)或启动过程长时间无响应
  • 控制台提示 Cannot open access to console 或 Failed to mount,并提示输入 root 密码
  • 远程无法登录,需要控制台或带外管理介入

影响面

  • 受影响范围:单台主机完全不可用
  • 数据影响:无数据损失,但服务中断时长取决于现场介入时间

定位过程

  1. 进入紧急模式后确认失败单元与失败挂载:
systemctl --failed
journalctl -xb -p err --no-pager | tail -n 50
  1. 判读:错误指向某挂载点,提示设备不存在、UUID 不匹配或文件系统类型错误。

  2. 核对 /etc/fstab 与当前块设备:

cat /etc/fstab
lsblk -f
blkid
findmnt --verify
  1. 判读:blkid 输出的 UUID 与 fstab 中记录不一致(设备被重新分区或更换),或 nofail 未配置导致单点挂载失败阻塞启动。

根因

fstab 中使用了设备名(如 /dev/sdb1)而非 UUID,设备顺序在硬件或内核更新后变化,导致挂载目标错位;同时该挂载点未设置 nofail,挂载失败即进入紧急模式。

处置

  1. 临时恢复:在紧急模式下以读写方式重新挂载根文件系统并修正 fstab
mount -o remount,rw /
cp /etc/fstab /etc/fstab.bak
vi /etc/fstab
  1. 使用 UUID 替换设备名:
blkid /dev/sdb1
# 将 UUID="..." 写入 fstab 对应行
  1. 非关键数据盘增加 nofail 与 x-systemd.device-timeout 选项,避免单盘故障阻塞启动:
UUID=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx  /data  ext4  defaults,nofail,x-systemd.device-timeout=10  0  2
  1. 验证:不重启的情况下校验配置并完成挂载
findmnt --verify
sudo systemctl daemon-reload
sudo mount -a
systemctl --failed

复盘与改进

  • 所有挂载点统一使用 UUID 或 LABEL,禁止使用设备名
  • fstab 修改前先备份,并在修改后执行 findmnt --verify 与 mount -a 验证
  • 非关键挂载点配置 nofail,缩短启动阻塞时间
  • 涉及启动链路的变更需保留带外管理通道

关联文档:磁盘存储与文件系统操作命令、systemd 介绍与使用

3.8 案例八:日志暴涨打满磁盘(journald 未限制容量)

现象

  • 磁盘使用率在数小时内快速上升至 100%
  • /var/log/journal 目录体积异常,达到数十 GB
  • 伴随应用写入失败与新的 No space left on device 报错

影响面

  • 受影响范围:承载日志的根分区或 /var 分区,进而影响其上全部服务
  • 数据影响:写入失败导致请求丢失,日志本身也可能因空间不足而截断

定位过程

  1. 确认增长来源:
df -hT
du -xh --max-depth=2 /var/log | sort -h | tail -n 15
journalctl --disk-usage
  1. 判读:journalctl --disk-usage 输出远超预期,确认占用来自 journald 持久化日志。

  2. 确认日志暴涨的原因,而非仅清理日志:

journalctl --since "6 hours ago" --no-pager | awk '{print $5}' | sort | uniq -c | sort -rn | head
journalctl -p err --since "6 hours ago" --no-pager | tail -n 30
  1. 判读:某单元在短时间内产生大量重复日志,说明存在循环报错或调试日志未关闭。

  2. 检查 journald 容量配置:

grep -E '^(Storage|SystemMaxUse|SystemKeepFree|RuntimeMaxUse)' /etc/systemd/journald.conf
  1. 判读:SystemMaxUse 未配置或取值过大,持久化日志无上限增长。

根因

应用出现循环报错并持续输出日志,journald 未设置容量上限,日志持续写入并占满分区。

处置

  1. 止损:限制 journald 当前占用,清理最旧日志
sudo journalctl --vacuum-size=500M
sudo journalctl --vacuum-time=7d
df -hT
  1. 修改配置并重启服务使上限生效:
Storage=persistent
SystemMaxUse=2G
SystemKeepFree=10G
SystemMaxFileSize=100M
MaxRetentionSec=2week
sudo systemctl restart systemd-journald
journalctl --disk-usage
  1. 修复应用侧循环报错,关闭生产环境的调试级别日志
  2. 验证:观察 24 小时内日志目录体积是否稳定在上限内

复盘与改进

  • 所有主机统一配置 journald 容量上限,日志查询与容量治理参见 日志查询与审计命令
  • 增加磁盘空间告警与日志增长速度告警
  • 将 /var/log 与数据目录分区隔离,限制单类日志的最大可用空间
  • 系统日志组件分工参见 系统日志管理

关联文档:系统日志管理、logrotate日志轮转

3.9 案例九:系统时间偏移导致证书校验或集群认证失败

现象

  • HTTPS 请求报 certificate is not yet valid 或 certificate has expired
  • 集群节点间认证失败,提示凭据无效或签名不匹配
  • 日志时间戳与真实时间不符,多处日志时间线错乱

影响面

  • 受影响范围:全部依赖 TLS 或时间戳校验的服务与组件
  • 数据影响:认证失败导致请求被拒绝,跨节点数据同步中断

定位过程

  1. 确认当前时间与同步状态:
date
timedatectl
timedatectl show-timesync --all
chronyc tracking
  1. 判读:System clock synchronized 为 no,或时间偏移量显著非零。确认同步源可达性:
chronyc sources -v
timedatectl timesync-status
sudo grep -i ntp /var/log/syslog | tail -n 20
  1. 判读:同步源不可达(NTP 端口被拦截或服务器地址失效),系统时间自由运行并持续漂移。

  2. 核对证书实际有效期,排除证书本身过期:

sudo openssl x509 -in /etc/nginx/ssl/server.crt -noout -dates
date -u

根因

NTP 服务未运行或时间源不可达,主机时间持续漂移,超出证书有效期与集群认证的时间容忍窗口,导致校验失败。

处置

  1. 止损:手动校时并立即启用同步服务
sudo timedatectl set-ntp true
sudo systemctl restart chrony
sudo chronyc makestep
chronyc tracking
  1. 校时前后确认时间跳变对应用的影响:时间大幅回退会影响依赖单调时间的任务与日志顺序,需记录跳变区间
  2. 验证:
timedatectl
sudo openssl s_client -connect 127.0.0.1:443 -servername example.com </dev/null 2>/dev/null | grep -i 'Verify return code'

复盘与改进

  • 增加时间偏移告警,阈值 0.5 秒,参见 监控与告警
  • 每台主机配置内网 NTP 源,并允许时间源出网,避免依赖单一外部源
  • 巡检中固定包含时间同步检查项
  • 证书有效期纳入月度巡检,剩余 30 天进入更换流程

关联文档:Ubuntu 网络诊断与远程连接命令、主机加固与登录安全

3.10 案例十:计划任务未执行

现象

  • 到点后定时任务无输出、无日志
  • 手动执行脚本正常,计划任务执行无效果
  • 备份、清理、统计类任务长期未产生预期结果

影响面

  • 受影响范围:依赖该任务的批处理、备份、清理流程
  • 数据影响:备份缺失可能在需要恢复时才被发现

定位过程

按三类原因依次排查。

原因一:PATH 与运行环境差异

  1. 计划任务的执行环境不加载用户 shell 配置,PATH 通常仅包含 /usr/bin:/bin
  2. 核对方式:
# 对比交互式环境与计划任务的 PATH
echo "$PATH"
crontab -l
# 在任务中显式输出环境
*/5 * * * * env > /tmp/cron-env.txt 2>&1
  1. 判读:脚本中使用了非绝对路径或在交互式环境中才定义的命令。处置方式为使用绝对路径并在脚本内显式设置 PATH。
#!/usr/bin/env bash
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

原因二:权限问题

  1. 核对执行用户与文件权限:
crontab -l -u <用户>
sudo ls -l /usr/local/sbin/<脚本>
grep -E '<用户>' /etc/passwd
  1. 判读:脚本无可执行权限、目录无进入权限、脚本所需文件不可读,或所属用户无权限写入目标目录。处置方式为修正权限并确认目标路径可写:
sudo chmod 750 /usr/local/sbin/<脚本>
sudo chown <用户>:<用户> /usr/local/sbin/<脚本>
sudo -u <用户> /usr/local/sbin/<脚本>

原因三:服务未启动或任务未生效

  1. 核对调度服务与任务是否被加载:
systemctl status cron --no-pager
systemctl is-enabled cron
sudo journalctl -u cron --since "1 day ago" --no-pager | grep -i 'CMD'
systemctl list-timers --all | grep <任务名>
ls -l /etc/cron.d/ /etc/cron.daily/
  1. 判读:
  • cron 服务未运行或未设置开机自启,任务不会执行
  • systemd timer 对应单元为 inactive 或未 enable
  • 文件放在 /etc/cron.d/ 但缺少用户名字段,或被 . 与字母结尾的文件名规则忽略(run-parts 仅执行符合命名规则的文件)
  1. 处置:启用服务与单元,修正文件命名与字段格式
sudo systemctl enable --now cron
sudo systemctl enable --now <任务名>.timer
systemctl list-timers --all | grep <任务名>

根因

计划任务未执行通常不是调度器故障,而是执行环境(PATH、环境变量)、权限(执行位、目标目录可写性)、服务状态(cron 或 timer 未启用)三类条件之一不满足;脚本在交互式环境下拥有更宽松的条件,因此手动执行正常。

处置

  1. 所有脚本使用绝对路径,并在开头显式声明 PATH
  2. 任务输出重定向到日志文件,便于事后确认是否执行:
0 3 * * * /usr/local/sbin/backup.sh >> /var/log/backup.log 2>&1
  1. 在任务中记录开始时间与退出码,并对失败结果接入告警
  2. 验证:临时设置为每分钟执行一次,确认输出与退出码正常后改回原周期

复盘与改进

  • 任务脚本统一使用绝对路径并显式设置环境变量
  • 每个定时任务都产生日志与退出码,退出码非 0 时触发告警
  • 巡检中增加计划任务清单对比,发现任务被删除或修改
  • 定时任务机制与 systemd timer 的差异参见 计划任务与定时器

关联文档:计划任务与定时器、巡检与健康检查

四、总结

  • 案例库解决"先看什么"的问题,命令清单解决"怎么做"的问题,两者互补
  • 案例固定由现象、影响面、定位过程、根因、处置、复盘与改进六部分构成
  • 通用排障顺序为现象确认、资源、进程、日志、配置、变更,资源层与进程层检查成本最低、覆盖面最广
  • 先止损后定位,止损动作需可回退且不得销毁证据,证据按故障时间窗口导出日志
  • 本库十个案例的根因归类:
  • 资源耗尽类:磁盘空间不足、inode 耗尽、文件描述符耗尽、日志打满磁盘、OOM Killer
  • 存储与文件系统类:文件系统只读、硬件 I/O error、fstab 配置错误
  • 时间与环境类:时间偏移、计划任务未执行
  • 高频误判点:
  • 空间不足与 inode 不足表现相同,需同时执行 df -h 与 df -i
  • df 与 du 不一致时优先检查已删除但仍被占用的文件
  • 空间充足与可写入不等价,需检查挂载选项是否为只读
  • 进程重启无应用层日志时优先检查内核 OOM 记录
  • 每个案例的改进项应落为具体动作:新增告警规则、修正配置、增加巡检项,配置参见 监控与告警 与 巡检与健康检查
  • 专题命令与原理参见 磁盘存储与文件系统操作命令、内存管理、系统信息与进程服务命令、日志查询与审计命令