一、起源:内核是共享底座,升级与故障定位的影响面最大
内核是所有进程共享的运行底座。用户态进程、systemd 单元、容器、数据库、网络栈都建立在同一份内核之上,任何一次内核变更都同时作用于整机全部负载,而不是像应用升级那样只影响单一服务。
这一特性带来两个方向的运维压力:
- 变更侧:内核升级会同时替换驱动、文件系统、网络栈、调度器与安全模块,单个回归可能表现为存储掉盘、网卡不通、容器异常退出,且这些现象与内核的直接关联并不明显;内核包是少数必须重启才能生效的软件包,变更窗口与业务可用性直接冲突。
- 故障侧:内核崩溃会带走全部进程与内存现场,日志只能落在断电前的环形缓冲区、持久化日志或转储文件中;若缺少预留机制与日志出口,故障只剩"主机重启过"一条线索。
因此内核版本管理需要解决三件事:变更前的可回退、变更后的可验证、崩溃后的可取证。前两项依赖启动项与包管理,后一项依赖日志出口与 kdump。本文按起源、原理、实现、总结展开,模块与驱动协议的细节见 块设备驱动层,IO 层机制见 块设备层与 IO 调度器。
二、原理:加载机制、启动参数与崩溃类型
1. 内核与模块的加载机制
- 内核镜像为
/boot/vmlinuz-<版本>,模块目录为/lib/modules/<版本>/,目录名必须与uname -r完全一致,否则modprobe找不到模块。 - 模块依赖记录在
/lib/modules/<版本>/modules.dep与modules.dep.bin中,由depmod生成,数据来源是各模块自身的符号依赖。modprobe读取该文件后按依赖顺序加载;insmod只加载单个文件,不解析依赖,也不读取modprobe.d中的配置,日常不使用。 - 别名(alias)把设备标识映射到模块名,udev 检测到硬件后按别名触发加载,这是"插上设备驱动自动加载"的实现路径。
- 配置文件位于
/etc/modprobe.d/*.conf: options <模块> <参数>=<值>:加载时传入模块参数blacklist <模块>:阻止 udev 按别名自动加载,但显式modprobe <模块>仍可加载alias <名称> <模块>:改写别名映射install <模块> <命令>:把加载动作替换为指定命令,/bin/false可使加载直接失败,这是彻底禁用模块的方式softdep <模块> pre: <依赖> post: <依赖>:附加依赖顺序约束- 开机需要主动加载的模块写在
/etc/modules-load.d/*.conf,由 systemd-modules-load.service 在启动早期逐个加载;该文件只列模块名,参数与黑名单仍由modprobe.d决定。 - 模块可分为编译进内核(
modules.builtin中列出)与可加载两类;编译进内核的功能无法用黑名单关闭,只能通过启动参数或 sysfs 调整行为。 - 模块参数在
/sys/module/<模块>/parameters/下暴露,运行时读值为当前生效值,部分参数可写;modinfo -p <模块>列出参数说明与默认值。写 sysfs 只改运行态,重启后失效。 - 加载时需要的固件文件由内核向用户空间请求,路径通常为
/lib/firmware/;缺失固件会在日志中留下Direct firmware load for <文件> failed之类的记录,此后设备功能可能不完整。
2. initramfs 的作用与更新时机
initramfs(初始内存文件系统)是内核与真正根文件系统之间的一段临时用户空间,存在的理由:
- 挂载根文件系统所需的能力可能本身不在内核镜像内,例如 LVM、软件 RAID、LUKS 加密、网络根(iSCSI/NFS)、特殊文件系统与存储控制器驱动。
- 这些模块需要先被加载、设备先被激活,才能找到并挂载真正的根。initramfs 打包了最小模块集合、udev 与激活脚本,完成激活后把控制权交给真实根上的 init。
要点:
- 文件位置为
/boot/initrd.img-<版本>,由update-initramfs(Debian/Ubuntu 的 initramfs-tools)或dracut(RHEL 系)生成,内核包安装时由触发脚本自动重建。 - 黑名单、模块参数、加密卷配置、阵列配置都会在生成时被并入 initramfs;只修改
/etc/modprobe.d而不重建 initramfs,引导早期仍按旧配置执行。 - 需要手工重建的典型时机:修改
modprobe.d中影响引导的模块、修改/etc/mdadm/mdadm.conf或 LVM 过滤配置、修改/etc/crypttab、根设备或根文件系统类型变化、替换存储控制器驱动、安装微码包。 - 校验方式:
lsinitramfs /boot/initrd.img-$(uname -r) | grep <模块名>确认目标模块已打包。
3. 启动参数与内核命令行
启动链路为:固件(UEFI/BIOS)→ 引导程序(GRUB 或 systemd-boot)→ 内核与 initramfs → initramfs 完成根切换 → init(systemd)。内核命令行在引导阶段传给内核,initramfs 与 systemd 都会读取。
GRUB 的配置来源与生成关系:
| 路径 | 作用 |
|---|---|
/etc/default/grub | 主配置,GRUB_CMDLINE_LINUX、GRUB_CMDLINE_LINUX_DEFAULT、GRUB_DEFAULT、GRUB_TIMEOUT 等 |
/etc/default/grub.d/*.cfg | 发行版或软件包追加的片段,如 kdump 的预留参数 |
/etc/grub.d/* | 生成菜单项的可执行片段,40_custom 用于追加自定义条目 |
/boot/grub/grub.cfg | 由上述来源生成的最终菜单,不直接编辑,每次 update-grub 都会覆盖 |
GRUB_CMDLINE_LINUX_DEFAULT 与 GRUB_CMDLINE_LINUX 的区别需要区分清楚:
GRUB_CMDLINE_LINUX_DEFAULT:只附加到默认的普通启动项,用于quiet、splash、crashkernel等不需要出现在救援项上的参数。GRUB_CMDLINE_LINUX:附加到全部分区项,包含救援项,适合必须始终生效的参数,如串口控制台、根设备加固参数。
修改后必须执行 update-grub(等价于 grub-mkconfig -o /boot/grub/grub.cfg),否则改动只停留在 /etc/default/grub,重启不生效。
两类修改路径的差别:
- 持久修改:改
/etc/default/grub后update-grub,对之后每次启动都生效,验证方式为cat /proc/cmdline。 - 一次性修改:在 GRUB 菜单按
e编辑当前条目,追加或删除参数后按Ctrl+X启动,只对本次启动有效,用于验证参数效果或临时规避问题。该编辑不会写回磁盘。
其他引导方式的命令行位置:systemd-boot 为 /boot/loader/entries/*.conf 中的 options 行;使用 kernel-install 的发行版为 /etc/kernel/cmdline。命令行本身在内核运行后只读,只能通过 /proc/cmdline 查看。
4. 内核崩溃的类型与日志出口
按触发原因与影响范围区分的常见类型:
| 类型 | 触发条件 | 现象与日志特征 | 影响范围 |
|---|---|---|---|
| panic | 内核主动调用 panic(),如关键异常、panic_on_oops=1 | Kernel panic - not syncing: ...,随后停机或按 kernel.panic 秒数重启 | 整机 |
| oops | 非法内存访问、空指针、除零等 | BUG: unable to handle kernel ...、RIP:、Call Trace:,内核杀掉出错任务并置污点标记 | 通常单进程,后续可能因持锁未释放而演变为挂起 |
| hung task | 任务在不可中断睡眠超过阈值(kernel.hung_task_timeout_secs,默认 120 秒) | INFO: task <名称>:<PID> blocked for more than 120 seconds,任务状态为 D | 依赖该资源的进程 |
| soft lockup | CPU 长时间不让出调度,看门狗线程超时 | BUG: soft lockup - CPU#N stuck for Ns | 该 CPU 上的负载 |
| hard lockup | CPU 关中断死循环,NMI 看门狗检出 | Watchdog detected hard LOCKUP | 该 CPU,常伴随整机失联 |
| 硬件中断异常 / MCE | CPU、内存或总线报告错误 | mce: [Hardware Error]、Machine Check、EDAC 计数增长 | 取决于是否为不可纠正错误 |
| RCU stall | RCU 宽限期长时间未推进 | rcu_sched detected stall on CPU | 整机性能下降 |
日志出口有多个层次,崩溃取证时按可用性依次尝试:
- printk 环形缓冲区:
dmesg或/dev/kmsg读取。缓冲区大小固定,早期记录会被后续记录覆盖,崩溃瞬间的信息可能已被冲掉。 - journald:
journalctl -k查看内核日志,journalctl -k -b -1查看上一次启动的内核日志。该能力依赖 journal 的持久化存储(/var/log/journal存在时才会落盘),仅内存存储时重启即丢失。 - syslog 文件:
/var/log/kern.log、/var/log/messages、/var/log/syslog,由 rsyslog 写入,字段包含时间戳与主机名,便于与业务日志对齐。 - 串口控制台与网络控制台:图形或存储故障导致本地无从查看时,
console=ttyS0,115200n8把内核输出转到串口,netconsole 模块把内核日志通过 UDP 发往远端主机,两者都能在整机失联时保留现场。 - pstore / ramoops:利用固件保留的内存区域,把最后一次崩溃日志跨重启保存。
判读内核报错的基本顺序是:先定位最早出现的那条错误,再分析其后的连锁失败。崩溃日志中越靠后的信息越可能是后果而非原因。
5. kdump 与 crash kernel 的预留机制
kdump 依赖 kexec:kexec 允许在不重新走固件初始化的前提下加载并启动第二个内核。kdump 把这个机制用于崩溃转储:
- 开机时系统启动 kdump 服务,用 kexec 把"转储内核"预加载到一块预留内存中,此时内存中同时存在生产内核与转储内核。
- 生产内核发生 panic 时,直接跳入已预加载的转储内核启动。
- 转储内核运行在限制环境中,把生产内核的内存镜像(vmcore)写入磁盘或远端,随后重启。
关键约束:
- 预留内存由启动参数
crashkernel=指定,例如crashkernel=512M、crashkernel=2G-4G:320M,4G-64G:512M,64G-:768M(按物理内存区间分别预留)。预留区不参与常规内存分配,因此可用内存相应减少。 - 预留过小会导致转储内核启动失败或无法完整保存,表现为崩溃后重启但没有 vmcore 文件。
- vmcore 大小通常接近崩溃时的内存占用,需要为其准备足够的文件系统空间或将目标指向远端存储。
- 使用
makedumpfile过滤全零页、缓存页等无用页可以显著压缩体积,过滤级别由 dump level 掩码控制。 - 事后用
crash工具分析 vmcore 需要与崩溃内核完全对应的调试符号(vmlinux 与 debuginfo 包),版本不匹配会导致符号错乱。
三、实现
1. 内核与模块日常查看
# 运行中的内核版本与构建时间
uname -r
uname -a
cat /proc/version
# 当前生效的内核命令行
cat /proc/cmdline
# 已加载模块与模块信息
lsmod | head
cat /proc/modules | head
modinfo <模块名>
modinfo -p <模块名> # 列出可用参数与默认值
# 依赖关系与加载预演
modprobe --show-depends <模块名>
# 已安装的内核包(运行版本与磁盘上的版本对照)
dpkg -l 'linux-image*' | grep ^ii
ls -l /boot/vmlinuz-* /boot/initrd.img-*
# 模块参数当前值与默认值核对
cat /sys/module/<模块名>/parameters/<参数名>
模块配置与开机加载清单:
# /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
install nouveau /bin/false
# /etc/modules-load.d/lvs.conf
dm_mod
# 修改模块配置后核对:确认配置被解析、模块未加载
modprobe --show-depends <模块名>
grep -r . /etc/modprobe.d/ | grep -i <模块名>
lsinitramfs /boot/initrd.img-$(uname -r) | grep <模块名> # 引导早期需要的模块
# 卸载与重新加载(确认模块未被占用,否则会失败)
lsmod | grep <模块名>
说明:blacklist 只拦住按别名触发的自动加载,需要彻底禁止时同时写 install <模块> /bin/false;rmmod 在模块被引用时返回 Module is in use,需先停用占用它的设备或服务。
2. 内核启动参数调整
标准流程(持久生效):
# 1. 记录当前命令行与配置备份
cat /proc/cmdline
sudo cp /etc/default/grub /etc/default/grub.bak
sudo cp /boot/grub/grub.cfg /boot/grub/grub.cfg.bak
# 2. 编辑 /etc/default/grub,示例:追加串口控制台并调整日志详细度
# GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200n8"
# GRUB_CMDLINE_LINUX_DEFAULT="quiet splash loglevel=4"
# 3. 重新生成菜单并核对参数已写入
sudo update-grub
grep -n 'linux.*vmlinuz' /boot/grub/grub.cfg | head
# 4. 重启后验证
reboot
cat /proc/cmdline
一次性验证(不改配置):
# 在 GRUB 菜单选中条目后按 e 进入编辑,追加参数,Ctrl+X 启动
# 仅本次启动有效,验证通过后再写入 /etc/default/grub
指定下一次启动的条目:
# 使用 saved 模式时,指定下一次启动项而不改默认项
sudo grub-reboot "1>2"
sudo reboot
高危 提示:内核命令行写错可能直接导致主机无法引导,涉及 root=、console=、crashkernel=、intel_iommu=、mitigations=、nosmt 等参数时尤其需要谨慎。
- 影响面:无法引导、存储或加密卷未激活、串口控制台失效而失去远程救援通道、关闭安全缓解措施带来新的攻击面。
- 前置动作:保留
/etc/default/grub与/boot/grub/grub.cfg的备份,确认具备物理或带外控制台(IPMI、虚拟化控制台)访问能力,一次只改一个参数。 - 回退方式:引导时在 GRUB 菜单按
e删除新增参数后启动,或选择Advanced options中的旧内核条目进入系统;进入系统后恢复备份的/etc/default/grub并重新update-grub。quiet与loglevel只影响输出详细度,出现引导问题时先移除这两个参数以便看到真实报错。
3. 内核升级与回滚
升级前的核对项:/boot 剩余空间(每个内核版本连同 initramfs 通常占用数十至数百 MB)、当前运行版本、已安装版本列表、DKMS 编译的外部模块状态、虚拟化平台的快照能力。
df -h /boot
uname -r
dpkg -l 'linux-image*' | grep ^ii
dkms status # 第三方模块(显卡、文件系统、VPN 等)
sudo apt update
apt list --upgradable | grep -E 'linux-(image|headers|modules)'
执行升级:
# Debian/Ubuntu
sudo apt install --only-upgrade linux-generic linux-headers-generic
# 元包因依赖变化被保留时使用
sudo apt full-upgrade
# RHEL 系
# sudo dnf update kernel
保留旧内核与选择启动项:
# 查看 GRUB 菜单中的实际条目与顺序
grep -n menuentry /boot/grub/grub.cfg
grep -E 'GRUB_DEFAULT|GRUB_TIMEOUT' /etc/default/grub
# Debian/Ubuntu 的自动清理保护规则,确认运行内核不在清理范围内
cat /etc/apt/apt.conf.d/01autoremove-kernels
# 临时禁止自动清理(按需)
# /etc/apt/apt.conf.d/99-keep-kernels
# APT::NeverAutoRemove { "^linux-image-.*"; "^linux-modules-.*"; };
说明:升级后磁盘上通常同时存在新内核与旧内核,GRUB 菜单中旧内核位于 Advanced options 子菜单内。在确认新内核稳定运行之前不要清理旧内核,autoremove 在 /boot 空间紧张时也可能删除旧版本,需要先核对保护规则。
升级后的必需核对:
uname -r # 应等于新版本
dmesg -T | grep -iE 'error|fail|firmware|taint' | head -30
systemctl --failed
lsmod | wc -l # 与升级前比对,确认驱动未缺失
dkms status # 外部模块是否已为新内核重建
cat /proc/mdstat; findmnt / # 存储与根文件系统状态
ip -br link # 网卡与命名是否正常
回滚步骤:
- 重启,在 GRUB 菜单进入
Advanced options,选择升级前的内核版本启动,先用一次旧内核确认业务恢复。 - 进入系统后确认旧内核版本生效:
uname -r。 - 固化回退结果:将新内核包卸载或锁定,避免下次重启又进入新内核。
sudo apt-mark hold linux-image-<新版本>
sudo apt-get remove --purge linux-image-<新版本> linux-headers-<新版本>
sudo update-initramfs -u
sudo update-grub
grep -n menuentry /boot/grub/grub.cfg
高危 提示:卸载内核包属于不可逆操作,误删正在运行的内核或唯一可引导内核会导致主机无法启动。
- 影响面:删除运行中的内核后,重启时该版本模块目录缺失;删除最后一个内核后引导项为空。
- 前置动作:用
dpkg -S /boot/vmlinuz-$(uname -r)确认当前运行内核归属的包并保留;确保至少保留两个可引导内核;不要手工删除/boot下的文件,全部通过包管理器操作。 - 回退方式:误删后仍在运行的机器可在重启前用发行版镜像进入救援模式,重新安装内核包并重建 initramfs 与 GRUB;已无法引导时使用安装介质进入救援 shell,挂载根文件系统后重装内核。虚拟机可回退到升级前的快照。
4. kdump 配置与使用
查看当前状态:
cat /proc/cmdline | grep -o 'crashkernel=[^ ]*'
cat /sys/kernel/kexec_crash_loaded # 1 表示转储内核已预加载
kdump-config show # Debian/Ubuntu
systemctl status kdump-tools
systemctl status kdump # RHEL 系
启用与预留(Debian/Ubuntu):
# /etc/default/grub.d/kdump-tools.cfg
# GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT crashkernel=2G-4G:320M,4G-64G:512M,64G-:768M"
sudo update-grub
sudo reboot
cat /proc/cmdline | grep -o 'crashkernel=[^ ]*'
cat /sys/kernel/kexec_crash_loaded
# /etc/default/kdump-tools 关键项
USE_KDUMP=1
KDUMP_COREDIR="/var/crash"
# MAKEDUMP_ARGS="-c -d 31" # 过滤零页与缓存页,显著压缩 vmcore
# KDUMP_CMDLINE_APPEND="maxcpus=1"
# 修改后重新加载转储内核并核对
sudo kdump-config show
sudo kdump-config load
高危 提示:CPU 数量较多或内存较大的机型上,预留 crashkernel 内存并重启会影响可用内存与业务容量;手工触发崩溃转储会直接导致主机停机。
- 影响面:预留内存过大挤压业务内存;预留过小导致崩溃时无法生成 vmcore;手工触发转储等同于一次非计划宕机,未落盘的数据丢失。
- 前置动作:预留值先在测试机验证;
echo c > /proc/sysrq-trigger只在维护窗口、有带外控制台、且已完成数据落盘与流量摘除的机器上执行。 - 回退方式:去掉
/etc/default/grub.d/kdump-tools.cfg中的crashkernel参数并重新update-grub,或在引导时于 GRUB 菜单编辑删除该参数即可正常启动;转储配置本身不生效时可以USE_KDUMP=0临时关闭。
转储文件与分析:
# 转储产物位置与组成
ls -lh /var/crash/<主机名>-<时间戳>/
# vmcore、vmcore-dmesg.txt 等
# 安装与崩溃内核完全对应的调试符号(Ubuntu)
sudo apt install linux-image-$(uname -r)-dbgsym
# 进入交互分析
crash /usr/lib/debug/boot/vmlinux-$(uname -r) /var/crash/<目录>/vmcore
crash 常用命令:
log 内核环形缓冲区内容,等同于崩溃前的 dmesg
bt 当前(崩溃)任务的调用栈
bt -a 全部 CPU 的调用栈
ps 任务列表,关注状态为 D 的任务
foreach bt 逐个任务打印调用栈,用于定位持锁未释放的进程
sym <地址> 地址反解为符号
dis <函数> 反汇编
struct <类型> <地址> 查看结构体内容
files <PID> 进程打开的文件
mount / dev 挂载表与设备表
vm 虚拟内存统计,用于判断 OOM 相关现场
exit 退出
转储归档与上报:
# 归档:vmcore 与文本证据一起打包,校验后转移
sudo tar -czf vmcore-<主机>-<时间戳>.tar.gz -C /var/crash/<目录> .
sha256sum vmcore-<主机>-<时间戳>.tar.gz
# 同时保留的证据
uname -a > evidence.txt
cat /proc/cmdline >> evidence.txt
dmesg -T >> evidence.txt
lscpu >> evidence.txt
free -m >> evidence.txt
说明:vmcore 包含崩溃时的内存内容,可能含密钥与业务数据,权限应限制为 root 可读,转移过程中应加密并限制留存周期;向上游提交问题时提供内核版本、vmcore-dmesg.txt、crash 会话记录、硬件型号与复现步骤,可显著缩短定位时间。
5. 常见内核报错判读
调用栈的关键字段
| 字段 | 含义 |
|---|---|
BUG: unable to handle kernel ... | 触发的异常类型,如空指针、paging request 越界 |
RIP: 0010:<函数>+0x<偏移> | 出错指令位置,含调试符号时可对应源码行 |
Call Trace: | 调用链,自下而上阅读可还原出错路径 |
Modules linked in: | 崩溃时已加载模块,出现第三方模块时优先怀疑 |
Tainted: G B W O E | 污点标记:G 为专有许可模块,B 为坏页,W 为曾出现警告,O 为树外模块,E 为未签名模块 |
Code: | 出错指令的机器码,通常只需提供给出错分析方 |
Kernel panic - not syncing: | 已进入 panic,之后的信息不再可信 |
# 提取一次崩溃的完整上下文
journalctl -k -b -1 --no-pager | tail -200
dmesg -T | grep -n -iE 'BUG:|Oops|panic|Call Trace|RIP:|Tainted'
OOM 与 hung task 的区分
| 维度 | OOM | hung task |
|---|---|---|
| 特征日志 | Out of memory: Killed process ...、invoked oom-killer | INFO: task <名称>:<PID> blocked for more than 120 seconds |
| 进程状态 | 被杀进程消失,其余继续运行 | 目标任务处于 D 状态,长期不返回 |
| 常见根因 | 内存真实耗尽、cgroup 限额触达、高阶分配失败 | 存储或网络链路无响应、文件系统或锁等待、驱动卡死 |
| 处置方向 | 容量与限额治理,内存构成分析 | 定位被阻塞的底层资源,检查设备与链路 |
内存侧的完整判读方法(oom_score_adj、cgroup 事件、RSS 归因)见 内存管理 的内存泄漏与 OOM 排查;hang 现场取证的通用顺序见 故障案例库 的排障顺序一节。
文件系统与磁盘相关报错
dmesg -T | grep -iE 'EXT4-fs error|XFS|blk_update_request|I/O error|remount|read-only'
EXT4-fs error (device sda1): ...:文件系统元数据或数据校验失败,可能触发重新挂载为只读。XFS (sda1): metadata I/O error ...:XFS 元数据读写失败,通常指向底层设备。blk_update_request: I/O error, dev sda, sector N:块层上报的通用 IO 错误,根因在驱动或硬件,需结合驱动日志。Buffer I/O error on dev sda1:缓冲区读写失败,与上一条常同时出现。- 只读化的处理流程、备份与修复顺序见 磁盘存储与文件系统操作命令 的只读文件系统排障;驱动层错误码与协议层含义见 块设备驱动层 的错误排查小节。
网络相关告警
NETDEV WATCHDOG: eth0: transmit queue 0 timed out:网卡发送队列超时,多与驱动缺陷、队列配置或硬件异常有关,常见于虚拟化网卡与固件版本问题。nf_conntrack: table full, dropping packet:连接跟踪表满,新连接被丢弃,属于连接数治理问题而非崩溃。TCP: request_sock_TCP: Possible SYN flooding on port N:半连接队列堆积,常与暴露面攻击或后端响应慢相关。
与硬件报错的关联
mce: [Hardware Error]、Machine Check:CPU 或内存报告的机器检查异常,需区分已纠正与不可纠正。EDAC MC0: CE ...、EDAC MC0: UE ...:内存控制器上报的已纠正与不可纠正错误计数,判读方法见 硬件拓扑与固件管理 的硬件错误排查。PCIe Bus Error: severity=Corrected、AER: Corrected error:PCIe 链路层错误,已纠正错误应观察趋势,不可纠正错误通常伴随设备掉线。
6. 与上层现象的关联
多数"服务无响应、IO 卡顿、容器退出"的现场需要先确认是否源于内核,判断依据如下:
服务无响应
uptime # 平均负载与运行时长
ps -eo stat,pid,comm | awk '$1 ~ /D/ {print}' # D 状态进程
systemctl --failed
journalctl -k --since "-2h" | grep -iE 'hung task|blocked for more than|soft lockup'
存在 D 状态进程与 hung task 记录时,问题大概率在内核或底层资源;两者均无则转向应用与依赖服务排查。负载与 CPU 的判读方法见 系统与进程管理 的平均负载含义与 CPU 与 IO 深度排查,单元级失败的定位见 systemd 介绍与使用 的服务启动失败与单元依赖排障。
IO 卡顿
iostat -xz 1 5
cat /proc/pressure/io
dmesg -T | grep -iE 'I/O error|reset|timeout|frozen'
设备侧错误结合 SMART 与阵列状态判断,方法见 磁盘存储与文件系统操作命令 的健康检查与 RAID 运维;一次完整的磁盘错误排障案例见 故障案例库 中硬件 I/O error 导致数据库响应变慢的案例。
容器异常退出
# 退出码 137 对应 SIGKILL,常见于 OOM 或运行时主动清理
docker inspect <容器> --format '{{.State.ExitCode}} {{.State.OOMKilled}}'
# cgroup 侧核对是否由限额触发
cat /sys/fs/cgroup/system.slice/<单元>/memory.events
journalctl -k --since "-1h" | grep -iE 'oom|killed process'
容器被杀且 oom_kill 计数增长时,按内存限额与堆外占用分析,方法见 内存管理 的 cgroup 事件观测与 Java 进程堆外内存一节;若同一宿主机上多个容器同时退出并伴随 hung task,则应回到内核与硬件方向排查。
整机失联或重启
按日志出口的可恢复性选择路径:journal 已持久化时用 journalctl -b -1 取上次启动日志;未持久化时只能依赖串口/网络控制台输出或 kdump 转储。转储与日志的取证要求与保留规范可结合 日志查询与审计、巡检与健康检查 中的巡检项设计,把内核报错纳入日常观测;告警规则的组织方式见 监控与告警。需要把调用栈对应到具体进程与系统调用时,使用 eBPF 与内核追踪 中的追踪脚本缩小范围。
四、总结
- 内核是全机共享的底座,内核变更的影响面覆盖全部负载,因此内核管理必须同时具备回退路径与验证手段。
- 模块加载由
modules.dep描述依赖,modprobe.d负责参数、别名与黑名单,modules-load.d负责开机主动加载;blacklist不阻止显式加载。 - initramfs 承担挂载真实根之前的最小用户空间;修改涉及引导的模块、加密或阵列配置后必须重建 initramfs,否则改动不会在引导早期生效。
- GRUB 的持久配置在
/etc/default/grub,生成结果在/boot/grub/grub.cfg;GRUB_CMDLINE_LINUX_DEFAULT只作用于默认条目,GRUB_CMDLINE_LINUX作用于全部条目;菜单按e的编辑仅对本次启动有效。 - 内核崩溃按 panic、oops、hung task、soft lockup、hard lockup、硬件中断异常分类,处置方向各不相同;日志出口有 printk 环形缓冲区、journald、syslog、串口与网络控制台、pstore 五类,崩溃取证依赖后四类的提前配置。
- kdump 通过
crashkernel=预留内存并用 kexec 预加载转储内核,崩溃后由转储内核写出 vmcore;分析需要匹配的调试符号与crash工具。 - 内核升级的完整闭环是:核对
/boot空间与外部模块状态、升级并保留旧内核、重启后核对版本与驱动、出现问题时从旧内核启动并回退;清理旧内核必须通过包管理器并保留可引导版本。 - 报错判读先找最早的错误条目,再用调用栈、污点标记与模块列表定位来源;OOM 与 hung task 通过特征日志与进程状态区分,磁盘、网络与硬件告警按对应子系统继续追踪。
- 上层现象是否源于内核,可用 D 状态进程、负载、
/proc/pressure/io、内核日志三条线索快速筛查,再决定进入内核方向还是应用方向。