内容总览

linux: 巡检与健康检查 思维导图

一、起源:巡检与告警的分工

1.1 巡检发现趋势问题与配置漂移

监控告警以阈值条件为核心,只能覆盖"已越界"的状态。以下问题在越过阈值之前不会触发告警:

  • 磁盘使用率从 40% 缓慢升至 65%,尚未越界,但增长斜率已超业务增速
  • 内存使用基线逐月抬升,属于缓慢泄漏
  • 配置文件被手工修改,与基线不一致
  • 计划任务被新增或删除,权限与执行用户发生变化
  • 备份任务连续失败但无人查看退出码
  • 证书有效期剩余 30 天

上述问题的共同特征是无即时现象、变化缓慢。巡检按固定周期采集这些项目的快照并归档,通过周期之间的对比发现趋势与漂移。

1.2 告警处理突发故障

告警覆盖的是另一类问题:

  • 进程退出、单元进入 failed 状态
  • 磁盘在数十分钟内被日志写满
  • 可用内存跌破阈值
  • 主机失联

这类问题的特征是变化快、影响直接,处置方式是即时响应而非归档分析。

1.3 两者的配合关系

维度 告警 巡检
触发方式 条件越界自动推送 按周期人工或定时执行
时间尺度 秒级至分钟级 天级至周级
判定依据 阈值 基线与上一周期结果对比
主要发现 突发故障 趋势问题与配置漂移
输出 通知 结构化记录与归档

配合原则:

  1. 巡检项的阈值一旦稳定,应下沉为监控告警项,实现自动触发
  2. 巡检保留的检查项是无法用单一阈值表达的项目,例如配置对比、备份结果、证书有效期
  3. 巡检发现的问题若属于突发类,应补充对应的告警规则,避免依赖人工周期发现

告警侧的指标采集与规则配置参见 linux: 监控与告警。

二、原理:巡检项、频率与判据

2.1 巡检项分类

  1. 资源类:CPU、负载、内存、swap、磁盘空间、inode、文件描述符、连接数
  2. 服务类:关键单元状态、端口监听、进程存活、依赖服务可达性
  3. 日志类:错误级别日志、OOM 记录、登录失败记录、日志文件增长速度
  4. 网络类:链路连通、丢包与错误计数、DNS 解析、端口监听地址范围
  5. 时间类:NTP 同步状态、时间偏移、时区配置
  6. 备份类:备份任务退出码、备份文件大小与时间戳、恢复演练结果
  7. 容量趋势类:增长斜率、距离阈值的天数、不可扩容资源的余量
  8. 配置与完整性类:关键配置文件校验、计划任务清单、软件包版本

2.2 巡检频率与记录方式

频率分层

频率 覆盖项目 目的
每日 资源水位、服务状态、错误日志、备份结果 及时发现当日异常
每周 容量趋势、日志增长速率、计划任务、连接数分布 发现缓慢变化
每月 证书与密钥有效期、配置与基线差异、恢复演练、软件包更新 覆盖长周期项目

记录方式

  • 结构化文本:每行一条记录,字段固定为"状态 项 指标值 判据",便于 diff 与统计
  • 统一时间戳与主机名,避免多主机记录混叠
  • 记录归档到固定目录并按日期命名,保留周期与磁盘容量匹配
  • 巡检结果必须与上一周期结果做差异对比,仅归档不对比无法发现趋势

2.3 基线与阈值的关系

  • 阈值:绝对边界,用于判断"是否越界",例如磁盘剩余低于 20%
  • 基线:本机在正常业务状态下的典型取值,用于判断"是否偏离自身常态",例如某主机日常负载 0.5,当前为 2.0

两者不可互相替代:

  1. 统一的绝对阈值对不同角色的主机含义不同,数据库主机与静态文件主机的正常负载差异显著
  2. 基线无法判断绝对越界,一台长期处于高负载的主机基线本身已不合理
  3. 巡检应同时输出阈值判定与基线对比两项结果

基线建立方法:

  • 取连续 14 至 30 天同类时段数据的中位数作为基线值
  • 记录波动范围,超过基线再加上若干倍波动幅度视为偏离
  • 业务规模变化后需要重新建立基线

2.4 误判来源

误判类型 表现 成因
瞬时峰值 单次采样偏高即判定异常 采样点落在业务波峰或后台任务执行窗口
内存误判 MemFree 偏低判定内存不足 页缓存主动占用空闲内存,属正常行为
空间误判 df 与 du 结果差异大 root 预留块、已删除但仍被占用的文件、挂载点被目录遮挡
只读挂载 空间统计与实际写入能力不符 文件系统因错误转为只读,写入失败但空间充足
缓存与实际不一致 读缓存导致磁盘 I/O 指标偏低 数据命中页缓存,未产生物理 I/O
采样窗口错位 巡检结果与监控曲线不一致 巡检为单次采样,监控为窗口聚合

规避思路:巡检对易抖动项目采用多次采样取典型值,对空间类项目同时记录预留块与已删除文件占用,对判定异常的项目保留原始命令输出用于复核。

三、实现:巡检项与巡检脚本

3.1 日常巡检项清单

CPU 与负载

  • 检查对象:整体使用率、单核负载、运行与阻塞进程数
  • 命令:
uptime
top -bn1 | head -n 5
vmstat 1 5
cat /proc/loadavg
nproc
  • 判读标准:
    • 单核负载(node_load1 除以 CPU 核数)持续大于 1,存在排队
    • vmstat 的 r 列持续大于核数,说明可运行进程排队
    • vmstat 的 b 列大于 0 且伴随 wa 偏高,说明阻塞来自 I/O
    • 用户态占用高属于计算压力,系统态与 wa 高需分别检查系统调用与磁盘

内存与 swap

  • 检查对象:可用内存、缓存占用、swap 使用与换页活动
  • 命令:
free -h
grep -E 'MemTotal|MemAvailable|SwapTotal|SwapFree' /proc/meminfo
vmstat 1 5
cat /proc/pressure/memory
  • 判读标准:
    • 以 MemAvailable 判断可用内存,低于总内存 10% 为风险
    • free 中 buff/cache 高不属于异常,属可回收内存
    • si、so 持续非零说明正在换页,物理内存不足
    • /proc/pressure/memory 的 some avg10 偏高说明存在内存分配停顿

磁盘空间与 inode

  • 检查对象:各挂载点空间、inode、预留块、已删除未释放文件
  • 命令:
df -hT
df -i
df -h --output=source,fstype,size,used,avail,pcent,target
sudo lsof +L1 | head -n 20
sudo du -xh --max-depth=1 / | sort -h | tail -n 15
  • 判读标准:
    • 任一挂载点使用率超过 80% 或 inode 使用率超过 90% 需处置
    • / 与 /var 分开评估,日志目录单独统计
    • df 与 du 差异超过 5% 时检查 lsof +L1 中已删除文件占用
    • tmpfs 使用量占用内存,需单独统计

磁盘健康与 RAID 状态

  • 检查对象:SMART 属性、阵列降级、I/O 错误计数
  • 命令:
sudo smartctl -H /dev/sda
sudo smartctl -A /dev/sda | grep -E 'Reallocated|Pending|Uncorrectable|Power_On_Hours'
cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo dmesg -T | grep -iE 'I/O error|medium error|ata[0-9]+\.'
  • 判读标准:
    • SMART 健康状态为 PASSED,且 Reallocated_Sector_Ct、Current_Pending_Sector 无增长
    • /proc/mdstat 中阵列中所有成员均为 U,出现 _ 表示降级
    • resync 或 recovery 进度条长期不变说明重建受阻
    • 内核日志中 I/O error 记录需与设备、时间对应,偶发单次与持续增长处置优先级不同

关键服务状态

  • 检查对象:单元运行状态、失败单元、开机自启配置
  • 命令:
systemctl is-active nginx sshd mysql
systemctl --failed
systemctl is-enabled nginx sshd mysql
systemctl status nginx --no-pager
  • 判读标准:
    • 关键单元为 active,非关键单元允许 inactive 但不应为 failed
    • systemctl --failed 输出应为空
    • 需要开机自启的单元为 enabled
    • 单元自动重启次数频繁说明存在反复崩溃

日志中的 error 与 OOM 记录

  • 检查对象:错误级别日志、内核 OOM、登录失败、日志增长速度
  • 命令:
journalctl -p err -S "24 hours ago" --no-pager | tail -n 50
journalctl -k -S "24 hours ago" --no-pager | grep -iE 'oom|killed process'
sudo grep -c "Failed password" /var/log/auth.log
sudo du -sh /var/log
journalctl --disk-usage

网络连通与端口监听

  • 检查对象:默认路由、DNS、目标可达性、监听端口与地址
  • 命令:
ip route show
ip -brief addr
ss -tulnp
ss -s
ping -c 3 223.5.5.5
getent hosts example.com
  • 判读标准:
    • 默认路由存在且网关可达
    • 监听端口与预期清单一致,重点关注 0.0.0.0 与 127.0.0.1 的差异,对外暴露的端口需符合最小暴露原则
    • ss -s 中 timewait 数量异常增长说明短连接频繁或连接未被复用
    • 解析异常需区分本地解析文件与上游 DNS 问题,排查方法参见 linux: Ubuntu 网络诊断与远程连接命令

时间同步

  • 检查对象:同步状态、偏移量、时区、NTP 服务
  • 命令:
timedatectl
timedatectl show-timesync --all
chronyc tracking
chronyc sources -v
ntpq -p
  • 判读标准:
    • System clock synchronized: yes,时间偏移在毫秒级
    • 偏移超过 0.5 秒需处置,时间偏移会影响证书校验与集群认证
    • 时区为业务约定值,跨时区系统需明确时间戳统一为 UTC
    • NTP 服务未运行时需确认由 systemd-timesyncd 或 chrony 单独承担,避免两者并存

文件描述符与连接数

  • 检查对象:系统级 fd 占用、单进程 fd 占用、连接状态分布
  • 命令:
cat /proc/sys/fs/file-nr
cat /proc/sys/fs/file-max
sudo ls /proc/<PID>/fd | wc -l
grep -E 'Max open files' /proc/<PID>/limits
ss -s
ss -tan | awk '{print $1}' | sort | uniq -c
  • 判读标准:
    • 系统级 fd 占用与 file-max 的比例超过 70% 为风险
    • 单进程 fd 数量接近 Max open files 的软限制时,需检查连接释放逻辑与泄漏
    • CLOSE_WAIT 数量持续偏高说明应用未正确关闭连接
    • 进程管理相关命令参见 linux: 系统信息与进程服务命令

备份任务结果

  • 检查对象:任务退出码、备份文件时间戳与大小、存储剩余空间
  • 命令:
systemctl list-timers --all
sudo grep -E 'backup' /var/log/syslog | tail -n 20
ls -lh --time-style=long-iso /backup | tail -n 10
  • 判读标准:
    • 备份任务退出码为 0,最近一次备份时间戳在预期周期内
    • 备份文件大小与上一周期偏差过大需核对,明显偏小说明备份不完整
    • 备份存储空间使用率纳入容量管理
    • 仅验证任务成功不足以确认可恢复,需按周期执行恢复演练

证书与密钥到期时间

  • 检查对象:服务证书、CA 证书、SSH 密钥
  • 命令:
sudo openssl x509 -in /etc/nginx/ssl/server.crt -noout -dates -subject
sudo find /etc -name '*.crt' -o -name '*.pem' 2>/dev/null | while read -r f; do echo "== $f"; sudo openssl x509 -in "$f" -noout -enddate 2>/dev/null; done
ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub
  • 判读标准:
    • 剩余有效期低于 30 天进入更换流程
    • 关注证书链完整性,仅检查叶证书会遗漏中间证书过期
    • 密钥类型与长度需符合安全基线要求

计划任务是否被篡改

  • 检查对象:系统与应用计划任务清单、执行用户、脚本内容
  • 命令:
crontab -l
sudo ls -l /etc/cron.d /etc/cron.daily /etc/cron.hourly
sudo crontab -l -u root
systemctl list-timers --all
sudo find /etc/cron* -newermt '-7 days' -type f
  • 判读标准:
    • 任务清单与上一周期结果对比,新增任务需确认来源与用途
    • 关注以 root 执行且脚本路径可被普通用户写入的任务
    • 计划任务机制细节参见 linux: 计划任务与定时器

3.2 巡检脚本示例

脚本输出结构化结果,每行格式为 状态 检查项 指标值 判据说明,状态取 OK、WARN、CRIT。

#!/usr/bin/env bash
# 主机日常巡检脚本,需以 root 运行
set -uo pipefail

HOST="$(hostname -s)"
NOW="$(date '+%Y-%m-%d %H:%M:%S')"
OUT_DIR="/var/log/inspection"
OUT_FILE="${OUT_DIR}/inspection-$(date '+%Y%m%d-%H%M').log"
WARN=0
CRIT=0

mkdir -p "${OUT_DIR}"
exec > >(tee -a "${OUT_FILE}") 2>&1

record() {
  local status="$1" item="$2" value="$3" rule="$4"
  printf '%-4s %-22s %-28s %s\n' "${status}" "${item}" "${value}" "${rule}"
  case "${status}" in
    WARN) WARN=$((WARN + 1)) ;;
    CRIT) CRIT=$((CRIT + 1)) ;;
  esac
}

echo "# host=${HOST} time=${NOW}"

# 1. CPU 与负载:单核负载超过 1 记 WARN,超过 2 记 CRIT
CORES="$(nproc)"
LOAD1="$(awk '{print $1}' /proc/loadavg)"
LOAD_PER_CORE="$(awk -v l="${LOAD1}" -v c="${CORES}" 'BEGIN{printf "%.2f", l / c}')"
if awk -v v="${LOAD_PER_CORE}" 'BEGIN{exit !(v >= 2)}'; then
  record CRIT load1_per_core "${LOAD_PER_CORE} cores=${CORES}" "单核负载>=2"
elif awk -v v="${LOAD_PER_CORE}" 'BEGIN{exit !(v >= 1)}'; then
  record WARN load1_per_core "${LOAD_PER_CORE} cores=${CORES}" "单核负载>=1"
else
  record OK load1_per_core "${LOAD_PER_CORE} cores=${CORES}" "单核负载<1"
fi

# 2. 阻塞进程:存在 D 状态进程说明 I/O 或锁等待
BLOCKED="$(awk '/^procs_blocked/{print $2}' /proc/stat)"
if [ "${BLOCKED:-0}" -gt 0 ]; then
  record WARN procs_blocked "${BLOCKED}" "存在阻塞进程,需结合 iostat 判断 I/O 等待"
else
  record OK procs_blocked "${BLOCKED:-0}" "无阻塞进程"
fi

# 3. 可用内存:低于总内存 15% 记 WARN,低于 10% 记 CRIT
MEM_TOTAL="$(awk '/^MemTotal:/{print $2}' /proc/meminfo)"
MEM_AVAIL="$(awk '/^MemAvailable:/{print $2}' /proc/meminfo)"
MEM_PCT="$(awk -v a="${MEM_AVAIL}" -v t="${MEM_TOTAL}" 'BEGIN{printf "%.1f", a / t * 100}')"
if awk -v v="${MEM_PCT}" 'BEGIN{exit !(v < 10)}'; then
  record CRIT mem_available_pct "${MEM_PCT}%" "MemAvailable<10%"
elif awk -v v="${MEM_PCT}" 'BEGIN{exit !(v < 15)}'; then
  record WARN mem_available_pct "${MEM_PCT}%" "MemAvailable<15%"
else
  record OK mem_available_pct "${MEM_PCT}%" "MemAvailable>=15%"
fi

# 4. swap 换页活动:第二次采样 si/so 非零说明正在换页
SWAP_IO="$(vmstat 1 2 | awk 'NR==4 {print $7"/"$8}')"
if [ "${SWAP_IO}" != "0/0" ]; then
  record WARN swap_paging "${SWAP_IO}" "存在换入换出"
else
  record OK swap_paging "${SWAP_IO}" "无换页活动"
fi

# 5. 磁盘空间:使用率 >=90% 记 CRIT,>=80% 记 WARN,跳过虚拟文件系统
while read -r fs fstype blocks used avail pct mount; do
  pct_num="${pct%\%}"
  if [ "${pct_num}" -ge 90 ]; then
    record CRIT "disk:${mount}" "${pct} used on ${fs} (${fstype})" "使用率>=90%"
  elif [ "${pct_num}" -ge 80 ]; then
    record WARN "disk:${mount}" "${pct} used on ${fs} (${fstype})" "使用率>=80%"
  else
    record OK "disk:${mount}" "${pct} used on ${fs} (${fstype})" "使用率<80%"
  fi
done < <(df -PT -x tmpfs -x devtmpfs -x squashfs -x overlay | awk 'NR>1')

# 6. inode:使用率 >=90% 记 CRIT,>=80% 记 WARN
while read -r fs inodes iused ifree ipct mount; do
  pct_num="${ipct%\%}"
  if [ "${pct_num}" -ge 90 ]; then
    record CRIT "inode:${mount}" "${ipct}" "inode 使用率>=90%"
  elif [ "${pct_num}" -ge 80 ]; then
    record WARN "inode:${mount}" "${ipct}" "inode 使用率>=80%"
  fi
done < <(df -Pi -x tmpfs -x devtmpfs -x squashfs -x overlay | awk 'NR>1')

# 7. 已删除但仍被占用的文件:占用超过 1GB 时提示
DEL_OPEN="$(lsof +L1 2>/dev/null | awk '$7 ~ /^[0-9]+$/ {s += $7} END {printf "%d", s / 1024 / 1024}')"
if [ "${DEL_OPEN:-0}" -gt 1024 ]; then
  record WARN deleted_open_files "${DEL_OPEN}MB" "已删除未释放文件>1GB,需重启相关进程"
else
  record OK deleted_open_files "${DEL_OPEN:-0}MB" "已删除未释放文件<1GB"
fi

# 8. 只读挂载:根文件系统与数据盘不应为 ro
while read -r dev mount fstype opts; do
  case "${opts}" in
    *ro*)
      record CRIT "readonly:${mount}" "${dev} ${fstype}" "挂载为只读,写入将失败"
      ;;
  esac
done < <(awk '$3 !~ /^(proc|sysfs|cgroup|tmpfs|devpts|overlay|squashfs|securityfs|debugfs|tracefs|bpf|pstore|autofs|mqueue|hugetlbfs|configfs|fusectl|binfmt_misc)/ {print $1, $2, $3, $4}' /proc/mounts)

# 9. 关键单元状态:failed 记 CRIT,非 active 记 WARN
for unit in sshd nginx mysql; do
  if ! systemctl list-unit-files "${unit}.service" >/dev/null 2>&1; then
    continue
  fi
  state="$(systemctl is-active "${unit}.service" 2>/dev/null || true)"
  case "${state}" in
    active) record OK "unit:${unit}" "${state}" "单元运行中" ;;
    failed) record CRIT "unit:${unit}" "${state}" "单元失败,需查看日志" ;;
    *)      record WARN "unit:${unit}" "${state}" "单元未运行" ;;
  esac
done

# 10. 失败单元总数
FAILED_UNITS="$(systemctl --failed --no-legend 2>/dev/null | wc -l)"
if [ "${FAILED_UNITS}" -gt 0 ]; then
  record WARN failed_units "${FAILED_UNITS}" "存在失败单元"
else
  record OK failed_units 0 "无失败单元"
fi

# 11. 内核 OOM 记录:24 小时内出现记 CRIT
OOM_CNT="$(journalctl -k -S "24 hours ago" --no-pager 2>/dev/null | grep -ci 'killed process' || true)"
if [ "${OOM_CNT}" -gt 0 ]; then
  record CRIT oom_kill_24h "${OOM_CNT}" "24 小时内发生 OOM Killer 终止"
else
  record OK oom_kill_24h 0 "无 OOM 记录"
fi

# 12. 错误级别日志条数:超过 50 条记 WARN
ERR_CNT="$(journalctl -p err -S "24 hours ago" --no-pager 2>/dev/null | wc -l)"
if [ "${ERR_CNT}" -gt 50 ]; then
  record WARN journal_err_24h "${ERR_CNT}" "错误日志>50 条,需归类"
else
  record OK journal_err_24h "${ERR_CNT}" "错误日志<=50 条"
fi

# 13. 日志容量:记录 journal 当前占用,供与保留策略核对
JOURNAL_SIZE="$(journalctl --disk-usage 2>/dev/null | grep -oE '[0-9.]+[KMGT]' | head -n 1)"
if [ -n "${JOURNAL_SIZE}" ]; then
  record OK journal_size "${JOURNAL_SIZE}" "参考值,需与保留策略核对"
fi

# 14. 文件描述符占用:系统级占用超过 70% 记 WARN
FD_ALLOC="$(awk '{print $1}' /proc/sys/fs/file-nr)"
FD_MAX="$(cat /proc/sys/fs/file-max)"
FD_PCT="$(awk -v a="${FD_ALLOC}" -v m="${FD_MAX}" 'BEGIN{printf "%.1f", a / m * 100}')"
if awk -v v="${FD_PCT}" 'BEGIN{exit !(v >= 70)}'; then
  record WARN filefd_pct "${FD_PCT}%" "系统级 fd 占用>=70%"
else
  record OK filefd_pct "${FD_PCT}%" "系统级 fd 占用<70%"
fi

# 15. TIME_WAIT 连接数:超过 10000 记 WARN
TW_CNT="$(ss -tan 2>/dev/null | awk '$1=="TIME-WAIT"' | wc -l)"
if [ "${TW_CNT}" -gt 10000 ]; then
  record WARN timewait_cnt "${TW_CNT}" "TIME_WAIT>10000"
else
  record OK timewait_cnt "${TW_CNT}" "TIME_WAIT<=10000"
fi

# 16. 时间同步:偏移超过 0.5 秒记 WARN
if command -v chronyc >/dev/null 2>&1; then
  OFFSET="$(chronyc tracking 2>/dev/null | awk -F': ' '/System time/ {print $2}' | awk '{print $1}')"
  SYNC="$(timedatectl show -p NTPSynchronized --value 2>/dev/null)"
  if awk -v v="${OFFSET:-0}" 'BEGIN{exit !(v < 0 || v > 0.5)}'; then
    record WARN clock_offset "${OFFSET}s" "时间偏移>0.5s"
  elif [ "${SYNC}" != "yes" ]; then
    record WARN clock_offset "${OFFSET}s" "未同步到时间源"
  else
    record OK clock_offset "${OFFSET}s" "偏移在阈值内"
  fi
fi

# 17. 磁盘 I/O 错误:24 小时内内核日志出现记 WARN
IOERR_CNT="$(journalctl -k -S "24 hours ago" --no-pager 2>/dev/null | grep -ciE 'i/o error|medium error' || true)"
if [ "${IOERR_CNT}" -gt 0 ]; then
  record WARN io_error_24h "${IOERR_CNT}" "内核记录磁盘 I/O 错误"
else
  record OK io_error_24h 0 "无磁盘 I/O 错误"
fi

# 18. SMART 健康:非 PASSED 记 CRIT
if command -v smartctl >/dev/null 2>&1; then
  for disk in $(lsblk -dno NAME,TYPE | awk '$2=="disk"{print $1}'); do
    health="$(smartctl -H "/dev/${disk}" 2>/dev/null | awk -F': ' '/SMART overall-health/{print $2}')"
    if [ -z "${health}" ]; then
      record OK "smart:${disk}" "unavailable" "无法读取,需确认控制器支持"
    elif [ "${health}" = "PASSED" ]; then
      record OK "smart:${disk}" "${health}" "SMART 健康状态正常"
    else
      record CRIT "smart:${disk}" "${health}" "SMART 健康状态异常"
    fi
  done
fi

# 19. 阵列状态:存在降级成员记 CRIT
if [ -r /proc/mdstat ]; then
  DEGRADED="$(grep -c '_' /proc/mdstat || true)"
  if [ "${DEGRADED}" -gt 0 ]; then
    record CRIT raid_degraded "${DEGRADED}" "阵列存在降级成员"
  else
    record OK raid_degraded 0 "阵列正常"
  fi
fi

# 20. 证书有效期:剩余少于 30 天记 WARN
CERT_WARN=0
while read -r cert; do
  end="$(openssl x509 -in "${cert}" -noout -enddate 2>/dev/null | cut -d= -f2)"
  [ -z "${end}" ] && continue
  end_ts="$(date -d "${end}" +%s 2>/dev/null)" || continue
  left=$(( (end_ts - $(date +%s)) / 86400 ))
  if [ "${left}" -lt 30 ]; then
    record WARN "cert:${cert}" "${left}d" "证书剩余有效期<30 天"
    CERT_WARN=$((CERT_WARN + 1))
  fi
done < <(find /etc -maxdepth 4 \( -name '*.crt' -o -name '*.pem' \) 2>/dev/null)
[ "${CERT_WARN}" -eq 0 ] && record OK cert_expiry 0 "未发现 30 天内到期的证书"

# 21. 计划任务基线对比:与上次快照比对
CRON_SNAP="${OUT_DIR}/cron-snapshot.txt"
CRON_NOW="${OUT_DIR}/cron-snapshot.new"
{ crontab -l 2>/dev/null; crontab -l -u root 2>/dev/null; ls -l /etc/cron.d 2>/dev/null; } > "${CRON_NOW}"
if [ -f "${CRON_SNAP}" ]; then
  DIFF_CNT="$(diff "${CRON_SNAP}" "${CRON_NOW}" | grep -cE '^[<>]' || true)"
  if [ "${DIFF_CNT}" -gt 0 ]; then
    record WARN cron_diff "${DIFF_CNT}" "计划任务与上次快照存在差异,需人工确认"
  else
    record OK cron_diff 0 "计划任务无变化"
  fi
else
  record OK cron_snapshot "created" "已生成首次计划任务快照"
fi
mv "${CRON_NOW}" "${CRON_SNAP}"

# 22. 汇总
printf '%-4s %-22s %-28s %s\n' "INFO" "summary" "WARN=${WARN} CRIT=${CRIT}" "退出码 0 正常 / 1 有告警 / 2 有严重项"
if [ "${CRIT}" -gt 0 ]; then
  exit 2
elif [ "${WARN}" -gt 0 ]; then
  exit 1
fi
exit 0

脚本各段判据说明:

段 判据来源 阈值理由
负载 单核负载 负载按核数归一后才能跨机型比较;大于 1 表示存在排队
阻塞进程 /proc/loadavg 第二列 阻塞进程由不可中断 I/O 造成,需与负载一并判断
可用内存 MemAvailable 已扣除可回收缓存,比 MemFree 更接近真实可用量
swap 换页 vmstat 第二次采样 首次采样为开机以来的平均值,无参考意义
磁盘空间 df 使用率 阈值 80% 与告警规则保持一致,便于统一口径
inode df -i inode 不可扩容,预留 10% 用于文件创建与临时文件
已删除文件 lsof +L1 已删除仍被占用的文件不计入 du,是空间无法释放的常见原因
只读挂载 /proc/mounts 选项 文件系统错误会转为只读,此时写入失败但空间统计正常
单元状态 systemctl is-active 关键单元清单按业务填写,避免全量检查造成噪声
OOM 记录 内核日志 24 小时窗口足以覆盖一次重启周期
错误日志 journalctl -p err 该阈值用于提示归类而非定性,需结合条目类型判断
文件描述符 /proc/sys/fs/file-nr 系统级用量接近上限时新连接创建失败
TIME_WAIT ss -tan 数量异常说明短连接频繁或连接池配置不当
时间偏移 chronyc tracking 0.5 秒是证书校验与集群认证的经验安全边界
SMART smartctl -H 状态异常表示已存在不可恢复错误
阵列 /proc/mdstat 降级阵列失去冗余,需优先更换磁盘
证书 openssl x509 30 天覆盖更换与生效周期
计划任务 快照 diff 配置漂移类检查依赖对比而非阈值

使用方式:

sudo bash /usr/local/sbin/inspection.sh
sudo bash /usr/local/sbin/inspection.sh; echo "exit=$?"

退出码约定:

  • 0:全部项目正常
  • 1:存在 WARN 项,需人工确认
  • 2:存在 CRIT 项,需立即处置

退出码可直接用于计划任务的条件判断与告警接入:

# 每日 06:00 执行巡检,非 0 退出码写入系统日志
0 6 * * * root /usr/local/sbin/inspection.sh >/dev/null 2>&1 || logger -t inspection -p daemon.warn "巡检存在告警项,请查看 /var/log/inspection"

3.3 巡检结果归档与趋势对比

归档方式

  • 输出文件按日期命名:/var/log/inspection/inspection-YYYYMMDD-HHMM.log
  • 归档目录使用 logrotate 管理,避免巡检记录自身打满磁盘,配置方法参见 logrotate 日志轮转
  • 每台主机记录保存在本机并同步至集中存储,便于跨主机比对

趋势对比

  • 与上一周期结果对比,定位新增的 WARN 与 CRIT 项:
diff /var/log/inspection/inspection-20260920-0600.log /var/log/inspection/inspection-20260921-0600.log
  • 同类指标提取时间序列,观察斜率:
grep '^OK.*disk:/' /var/log/inspection/inspection-*.log | awk '{print $1, $2, $3}'
  • 关注三类变化:
    1. 新增告警项:此前正常、本次异常,优先级最高
    2. 状态升级:由 WARN 变为 CRIT,说明未处置的事项在恶化
    3. 数值持续同向变化:状态未变但指标单向漂移,属于容量趋势预警

结果处理闭环

  • 每条 CRIT 项生成处置记录,包含现象、定位、处置与验证结果
  • 反复出现的 WARN 项应判断是否下沉为监控告警、调整阈值或纳入改造计划
  • 长期稳定为 OK 的项目可降低巡检频率,释放巡检成本

3.4 与安全基线检查的关系

巡检与安全基线检查在命令与对象上有重叠,但目的不同:巡检关注可用性与容量,安全基线关注配置合规与越权风险。

本节的巡检范围不覆盖以下安全类检查项,其检查方法与基线要求参见 linux: 主机加固与登录安全:

  • SUID 与 SGID 文件异常:排查提权入口
  • 账号与权限变更:新增用户、sudo 授权、密钥文件变更
  • 文件完整性校验:关键二进制与配置文件的哈希比对
  • SSH 配置合规:登录方式、端口、认证方式、失败锁定策略
  • 内核与安全模块参数:AppArmor 策略、内核加固参数

分界原则:

  1. 同一命令(如 ss -tulnp)在两边均有使用,巡检判读端口是否符合预期清单,安全基线判读是否对外暴露最小集合
  2. 巡检发现的可疑现象(异常登录、异常计划任务)移交安全基线检查流程处置
  3. 两类检查结果分开归档,避免可用性记录与合规记录混叠

3.5 常见误判与规避

瞬时峰值被判定为异常

  • 成因:巡检为单次采样,恰好落在业务波峰或后台任务窗口
  • 规避:对易抖动指标(负载、CPU、连接数)连续采样取典型值,脚本中使用 vmstat 1 5 而非单次读数;结合监控窗口曲线确认是否为持续状态

缓存占用被误判为内存不足

  • 成因:以 MemFree 判断可用内存,页缓存与缓冲区被计入已用
  • 规避:使用 MemAvailable;free -h 的 buff/cache 列高不代表内存紧张;只有在 MemAvailable 偏低且伴随 swap 换页时才判定真实内存压力
  • 补充:容器内读取的内存指标受 cgroup 限制影响,需同时核对 cgroup 内存上限与实际用量,机制说明参见 linux: 内存管理

磁盘预留空间导致的空间统计差异

  • 成因:ext4 默认预留 5% 给 root,node_filesystem_free_bytes 与 avail 不同;以 free 判断会低估真实可用量
  • 规避:以 df -h 的 Avail 列(对应 avail)作为可用空间判据;需要调整预留比例时使用 tune2fs -m,调整前评估 root 用户写入需求

已删除文件占用导致的空间统计差异

  • 成因:进程持有可能已删除文件的句柄,空间未释放;du 无法看到该部分占用
  • 规避:df 与 du 差异超过 5% 时执行 lsof +L1 定位持有进程,处置方式为重启该进程而非删除文件

只读挂载导致的写入失败与空间统计不一致

  • 成因:文件系统检测到错误后转为只读,df 仍显示有可用空间但写入失败
  • 规避:巡检中显式检查 /proc/mounts 的挂载选项;出现只读挂载时优先检查内核日志中的文件系统错误与底层磁盘错误

容器与宿主统计口径差异

  • 成因:容器内 df 与内存指标反映的是 cgroup 与挂载命名空间视图,与宿主机不一致
  • 规避:容器指标以 cgroup 口径为准,宿主机指标以 /proc 口径为准;两侧分别记录,不做数值直接比较

四、总结

  • 巡检与告警分工明确:告警处理突发故障,巡检发现趋势问题与配置漂移
  • 巡检项按资源、服务、日志、网络、时间、备份、容量趋势、配置完整性八类组织
  • 巡检频率分层:每日覆盖资源与服务,每周覆盖趋势,每月覆盖证书与配置基线
  • 判定需同时使用绝对阈值与主机基线,两者不可相互替代
  • 巡检脚本输出固定字段的结构化结果,退出码约定为 0 正常、1 有告警、2 有严重项
  • 巡检结果必须与上一周期对比,关注新增项、状态升级与同向漂移三类变化
  • 安全类检查项不在本节重复,其方法与基线参见 linux: 主机加固与登录安全
  • 常见误判集中在瞬时采样、缓存占用、预留块、已删除文件与挂载状态五处,规避手段是使用正确的指标口径并保留原始命令输出
  • 巡检项稳定后应下沉为监控告警项,指标采集与告警规则参见 linux: 监控与告警
  • 磁盘、内存、进程等专题命令参见 linux: 磁盘存储与文件系统操作命令、linux: 内存管理、linux: 系统信息与进程服务命令