适用范围:Kubernetes v1.2x 版本线,容器运行时为 containerd(CRI),kubectl 与集群版本偏差不超过一个次版本。
一、起源:从单机容器到集群编排
1.1 单机编排的能力边界
Docker Compose 在单台主机上定义并管理多容器应用,解决的是同一主机内的启动依赖、网络别名与数据卷声明,具体字段与命令见同目录的 Docker 容器编排工具。其能力边界体现在四个方面:
- 容器只在执行 Compose 命令的主机上启动,不具备按资源余量选择主机的调度能力
restart策略只在本机拉起容器,宿主机不可用时容器不会迁移到其他主机- 端口映射以宿主机端口为约束,同一端口在同一台主机上只能由一个服务占用
- 配置与密钥以文件和环境变量形式存在于部署主机,跨主机分发需要额外工具
当服务需要多副本、需要跨主机分布、需要在节点故障后自动重建时,单机编排已不适用。
1.2 集群编排要解决的问题
Kubernetes 的出现针对以下五类问题,每一类都对应运维中的具体故障面:
- 调度
- 把容器放到满足资源请求、亲和性与可用区约束的节点
- 节点资源不足时给出可判读的失败原因,而不是静默失败
- 自愈
- 以期望状态为目标持续校正实际状态
- 覆盖进程退出、探针失败、节点失联、副本数不足等场景
- 滚动发布
- 按批次替换实例,控制发布期间的不可用比例
- 保留历史版本,提供回滚入口
- 配置与密钥
- 把配置从镜像中剥离,避免为修改配置而重新构建镜像
- 按命名空间隔离分发,控制可见范围
- 服务发现
- 容器地址随重建变化,需要稳定的访问入口
- 提供名称解析,避免把后端地址硬编码进应用
1.3 运维视角与开发视角的差异
| 维度 | 开发视角 | 运维视角 |
|---|---|---|
| 关注对象 | Deployment、Service、Ingress 的 YAML 字段 | 控制面组件健康、etcd 数据安全、节点状态与资源水位 |
| 资源定义 | 为单次部署填写 requests 与 limits | 判断整体 requests 总和是否超出节点 Allocatable,评估超卖边界 |
| 探针 | 让容器顺利通过检查 | 判断探针参数是否会造成误重启或流量不引入 |
| 变更 | 提交新镜像并观察发布结果 | 控制变更窗口、可用性预算、版本兼容与回滚路径 |
| 故障处理 | 查看单个 Pod 日志 | 在节点层、控制面层、网络层、存储层之间定位故障归属 |
| 权限 | 对目标命名空间有写权限 | 管理 RBAC、ServiceAccount、准入策略与审计 |
两者的交汇点是 requests、limits 与探针参数:这些字段由开发写入,但其后果由运维承担。
1.4 本文定位
本文讨论集群的运维与排障,不重复 Compose 的单机编排字段与命令(见 Docker 容器编排工具),也不重复单容器层面的镜像、网络与数据卷操作(见 Docker 容器管理 与 Docker 网络管理)。
二、原理:组件、模型与约束
2.1 控制平面与工作节点的组件分工
控制平面组件
- kube-apiserver
- 集群的唯一入口,处理所有 REST 请求与 watch 长连接
- 负责认证、授权、准入控制与对象校验
- 本身无状态,可多副本部署并由负载均衡前置
- etcd
- 集群唯一持久化存储,保存全部对象与集群状态
- 使用 Raft 协议保证一致性,写操作需要过半数成员确认
- 节点数应为 3 或 5;2 个成员无法容忍任何一台故障,4 个成员的容错能力与 3 个相同
- kube-scheduler
- 监听未绑定节点的 Pod,经过滤与打分选出目标节点
- 只负责写入绑定结果,不负责启动容器
- kube-controller-manager
- 承载 Deployment、ReplicaSet、Node、Endpoint、Job 等控制器
- 每个控制器执行调谐循环,把实际状态推向期望状态
工作节点组件
- kubelet
- 节点代理,向 apiserver 注册节点并上报状态
- 通过 watch 获取绑定到本节点的 Pod,调用容器运行时创建与停止容器
- 执行探针、挂载卷、上报资源使用与容器状态
- 容器运行时
- 通过 CRI 接口被 kubelet 调用,常见实现为 containerd 与 CRI-O
- 负责镜像拉取、容器生命周期与日志落盘
- kube-proxy
- 把 Service 的虚拟地址转换为一组后端转发规则
- 支持 iptables、IPVS 与 nftables 三种实现模式
- CNI 插件
- 为 Pod 分配地址并打通跨节点通信
- 常见实现为 Calico、Cilium、Flannel
控制流与数据流
kubectl → kube-apiserver → etcd
kube-scheduler → kube-apiserver(写入 spec.nodeName)
kubelet → kube-apiserver(watch 本节点 Pod,上报 status)
kubelet → CRI → containerd → runc → 容器进程
判读要点:
- apiserver 不可用时,已有 Pod 继续运行,但无法查询状态、无法扩缩容、无法重建 Pod
- etcd 不可用时,apiserver 读写失败,集群进入不可变更状态
- kubelet 与 apiserver 断连时,节点状态转为 NotReady,其上 Pod 默认不会被驱逐(受
node-monitor-grace-period与容忍时间约束)
2.2 声明式模型与调谐循环
期望状态与实际状态
- 对象的
spec表示期望状态,由使用者或控制器写入 - 对象的
status表示实际状态,由控制器或 kubelet 写入 - 控制器持续比较两者,通过创建、更新、删除资源使实际状态收敛到期望状态
例如 Deployment 的调谐过程为:Deployment 控制器创建 ReplicaSet,ReplicaSet 控制器创建或删除 Pod,与节点绑定的 Pod 由 kubelet 落地为容器。
调谐循环的运维含义
- 手工修改控制器管理的对象会被拉回
- 直接修改由 ReplicaSet 管理的 Pod 标签,会导致该 Pod 被移出副本计数并触发新建
- 直接编辑由 Deployment 管理的 ReplicaSet 副本数,下一次调谐时会被覆盖
- 临时操作应作用于控制器层
- 扩缩容修改 Deployment 的
replicas,不是删除或新增 Pod - 进入容器调试使用
exec,不使用attach之外的侵入式改动
- 收敛存在延迟
- 状态变更到实际状态一致之间存在间隔,判断故障需等待至少一个同步周期
- 频繁重启控制器或节点会造成反复调谐,放大状态抖动
kubectl apply 与 kubectl replace 的差别
| 维度 | apply | replace |
|---|---|---|
| 合并方式 | 三方合并,结合上一次提交的配置、本地文件与集群现值 | 用本地文件整体替换对象 |
| 本地文件缺失的字段 | 保留集群现值或被删除(取决于是否为最后一次提交中的字段) | 被重置为默认值或删除 |
| 集群生成的字段 | 保留 | 可能报错或被清零 |
| 适用场景 | 增量维护对象配置 | 需要以文件为准整体覆盖 |
| 风险 | 误删字段时不易察觉 | 遗漏必填字段会直接覆盖生效配置 |
补充说明:
- 服务端 apply(server-side apply)以
managedFields记录字段管理者,多写者协作时应统一使用该方式 - 对集群创建的对象执行
replace会因缺少必填字段而失败,应先get -o yaml取回现状再修改
2.3 调度机制
requests 与 limits
| 字段 | 作用位置 | 未设置时的表现 | 超限后果 |
|---|---|---|---|
| requests.cpu | 调度与 QoS | 按 0 参与调度 | 不产生超限 |
| limits.cpu | cgroup cpu.max | 不限制 | CPU 被节流(throttle),进程被延后执行 |
| requests.memory | 调度与 QoS | 按 0 参与调度 | 不产生超限 |
| limits.memory | cgroup memory.max | 不限制 | 容器内触发 OOM,进程被内核终止 |
判读要点:CPU 超限表现为响应变慢,内存超限表现为容器被杀。二者的现象差别是排查的起点,kubectl describe pod 中的 Reason: OOMKilled 与 kubectl top pod 的 CPU 使用率分别对应两类问题。
QoS 等级
| 等级 | 判定条件 | 驱逐优先级 | 典型用途 |
|---|---|---|---|
| Guaranteed | 所有容器均设置 requests 与 limits 且二者相等 | 最低 | 关键数据库、状态服务 |
| Burstable | 至少一个容器设置 requests 或 limits,且不满足 Guaranteed | 中 | 一般无状态服务 |
| BestEffort | 所有容器均未设置 requests 与 limits | 最高 | 可中断的批处理任务 |
节点资源紧张时,kubelet 按 BestEffort、Burstable、Guaranteed 的顺序驱逐 Pod;同等级内按资源使用超出 requests 的程度排序。
亲和与反亲和
- nodeAffinity
requiredDuringSchedulingIgnoredDuringExecution:硬约束,不满足则不调度preferredDuringSchedulingIgnoredDuringExecution:软约束,带权重打分
- podAffinity 与 podAntiAffinity
- 以
topologyKey定义拓扑域,如kubernetes.io/hostname表示单节点为一个域 - 反亲和常用于把同一 Deployment 的副本打散到不同节点
- 大规模集群中应优先使用
topologySpreadConstraints,其语义比多副本反亲和更可控
污点与容忍
| 污点效果 | 行为 |
|---|---|
| NoSchedule | 新建 Pod 不能调度到该节点,已有 Pod 保留 |
| PreferNoSchedule | 尽量避免调度到该节点 |
| NoExecute | 现有 Pod 被驱逐,除非容忍并设置 tolerationSeconds |
常见污点来源:控制面节点标记、节点 NotReady 与各类压力条件(由 NodeLifecycle 控制器自动添加)。
驱逐阈值与资源预留
- kubelet 依据
eviction-hard与eviction-soft判断是否驱逐 Pod,常见信号为memory.available、nodefs.available、nodefs.inodesFree、imagefs.available、pid.available - 软阈值需配合
eviction-soft-grace-period与eviction-max-pod-grace-period - 节点可分配资源由以下关系决定:
Allocatable = Capacity - kube-reserved - system-reserved - eviction-hard
- 未设置预留时,系统进程与 kubelet 自身占用未被计入,容器可能把节点推向内存耗尽并触发整机 OOM,表现为节点失联而非单个容器被杀
调度失败的常见原因
- 所有节点的 Allocatable 均小于 Pod 的 requests 总和
- 节点亲和、污点与容忍不匹配
- PVC 未绑定,且 StorageClass 的
volumeBindingMode为WaitForFirstConsumer hostPort与同节点已有 Pod 冲突- 拓扑分布约束无法满足
2.4 网络模型
Pod 网络
- 每个 Pod 分配一个地址,Pod 内容器共享同一网络命名空间,通过
localhost互通 - 同一 Pod 内的容器共享端口空间,监听同一端口会冲突
- Pod 地址由 CNI 分配,重建后变化,因此不应作为长期寻址依据
Service 与 kube-proxy
- Service 类型
- ClusterIP:集群内虚拟地址,仅存在于转发规则中,没有实体网卡
- NodePort:在每个节点开放同一端口,转发到 ClusterIP
- LoadBalancer:在 NodePort 之上由云或负载均衡器提供外部地址
- Headless(
clusterIP: None):不分配虚拟地址,DNS 直接返回后端 Pod 地址
- kube-proxy 的转发实现
| 模式 | 数据结构 | 特点 |
|---|---|---|
| iptables | 线性匹配的规则链 | 通用性最好,规则数量增长后匹配开销上升 |
| IPVS | 内核哈希表 | 支持多种调度算法,大规模 Service 下性能更稳定 |
| nftables | nft 规则集 | 新版本引入,规则组织更简洁 |
- iptables 模式下的规则链路
KUBE-SERVICES → KUBE-SVC-<hash> → KUBE-SEP-<hash>(DNAT 到某个 Pod 地址)
- 后端选择在规则层面完成,负载均衡粒度是连接而非请求
- Endpoints 或 EndpointSlice 中的地址集合决定规则内容,Pod 未就绪时不在集合中
DNS 记录格式
| 记录目标 | 格式 | 示例 |
|---|---|---|
| Service(ClusterIP 或 Headless) | <service>.<namespace>.svc.<cluster-domain> | mysql.default.svc.cluster.local |
| Service 命名端口 | _<port-name>._<protocol>.<service>.<namespace>.svc.<cluster-domain> | _http._tcp.web.default.svc.cluster.local |
| Pod | <ip-用横线连接>.<namespace>.pod.<cluster-domain> | 10-244-1-7.default.pod.cluster.local |
判读要点:
- 同命名空间内可直接使用短名
<service>,跨命名空间需带命名空间名 cluster-domain默认是cluster.local,可在 kubelet 的--cluster-domain中调整hostNetwork: true或dnsPolicy: Default的 Pod 不使用集群 DNS- CoreDNS 以 Deployment 与 ConfigMap(Corefile)形式运行,其上游服务器与转发规则由 Corefile 决定
Ingress 与网关的定位
| 维度 | Ingress | Gateway API |
|---|---|---|
| 层次 | L7(HTTP/HTTPS) | L4 与 L7 |
| 抽象 | Ingress 资源加 Ingress Controller 注解 | GatewayClass、Gateway、HTTPRoute 等分层资源 |
| 责任划分 | 路由规则与控制器行为混合在注解中 | 基础设施方定义 Gateway,业务方定义 Route |
| 适用场景 | 已有的成熟 Ingress Controller 生态 | 需要按角色划分权限与跨团队复用入口 |
- Ingress 只声明路由意图,实际生效依赖对应的 Ingress Controller,未部署控制器时资源存在但不生效
- Ingress 后端指向 Service 与端口,Service 无就绪后端时返回 502 或 503
- 非 HTTP 协议的暴露使用 Service 的 NodePort 或 LoadBalancer,或由 Ingress Controller 提供的独立 TCP 转发配置
2.5 存储模型
单机场景下 Docker 卷的挂载方式、生命周期与备份方式见 Docker 容器数据持久化;集群侧在此之上增加了供给、绑定与访问模式三层约束,具体如下。
临时卷与节点卷
| 类型 | 生命周期 | 数据位置 | 适用场景 |
|---|---|---|---|
| emptyDir | 随 Pod 创建与删除 | 节点磁盘或内存(medium: Memory) | 同 Pod 内容器共享临时目录、缓存 |
| hostPath | 不随 Pod 删除 | 节点本地目录 | DaemonSet 读取节点日志与监控采集 |
判读要点:hostPath 与节点的强绑定意味着 Pod 重建到其他节点后读不到原数据,对有状态服务不适用;medium: Memory 的 emptyDir 计入容器内存限额。
PV 与 PVC
- 职责划分
- PersistentVolume(PV):集群级资源,描述实际存储的容量、访问模式、存储类与回收策略
- PersistentVolumeClaim(PVC):命名空间内申请,声明容量与访问模式
- 绑定后一一对应,PVC 被删除前 PV 不会被其他 PVC 占用
- 生命周期状态
| 状态 | 含义 | 处置 |
|---|---|---|
| Pending | 无可用 PV 或供给未完成 | 检查 StorageClass、provisioner 与容量 |
| Bound | 已绑定 | 正常 |
| Released | PVC 已删除但 PV 保留 | 手工清理数据后重建 PV 或改为可复用 |
| Failed | 自动回收失败 | 检查 provisioner 日志与后端存储状态 |
StorageClass 与动态供给
常见字段:
provisioner:供给插件名称,决定由谁创建底层卷reclaimPolicy:Delete在 PVC 删除后删除底层卷,Retain保留底层卷与 PVvolumeBindingMode:Immediate在 PVC 创建时立即供给;WaitForFirstConsumer等到有 Pod 调度后再供给,用于满足拓扑约束allowVolumeExpansion:是否允许扩容 PVC,扩容需要文件系统支持
访问模式
| 模式 | 含义 | 常见后端 |
|---|---|---|
| ReadWriteOnce(RWO) | 单节点读写,同节点上多个 Pod 可共用 | 云盘、Ceph RBD、本地盘 |
| ReadOnlyMany(ROX) | 多节点只读 | NFS、CephFS |
| ReadWriteMany(RWX) | 多节点读写 | NFS、CephFS |
| ReadWriteOncePod(RWOP) | 单 Pod 读写 | 支持该模式的新版本集群 |
判读要点:RWO 的限制单位是节点而不是 Pod,Pod 被调度到第二个节点时会因卷仍挂在第一个节点而挂载失败,这是有状态服务多副本的主要阻塞点。
三、实现:命令、判读与处置
3.1 日常运维命令集
查看类
kubectl get nodes -o wide # 节点状态、内网地址与版本
kubectl get pods -A -o wide # 全部命名空间的 Pod 与所在节点
kubectl get pods -n <ns> --show-labels -w # 观察 Pod 状态变化
kubectl get deploy,sts,ds -n <ns> # 工作负载概览
kubectl get svc,ep -n <ns> # Service 与其后端地址
kubectl get pvc,pv # 存储申请与卷状态
kubectl describe pod <pod> -n <ns> # 事件与配置详情,排查第一入口
kubectl describe node <node> # 条件、已分配资源与事件
kubectl api-resources # 确认资源名与短名
kubectl explain deployment.spec.strategy # 字段含义与类型
事件与日志
kubectl get events -n <ns> --sort-by=.metadata.creationTimestamp
kubectl get events -A --field-selector involvedObject.name=<pod>
kubectl logs <pod> -n <ns> -c <container> --tail=200
kubectl logs <pod> -n <ns> --previous # 上一次退出的容器日志
kubectl logs <pod> -n <ns> --since=10m --all-containers=true
kubectl logs -f deploy/<name> -n <ns> # 跟随某个 Deployment 的日志
判读依据:--previous 是排查 CrashLoopBackOff 的关键参数,容器重建后当前日志为空或只有启动信息。Events 默认保存在 etcd 中且保留时间有限,故障发生后应尽早导出。
执行与传输
kubectl exec -it <pod> -n <ns> -- sh
kubectl exec -it <pod> -n <ns> -c <container> -- sh
kubectl cp <ns>/<pod>:/path/to/file ./local
kubectl port-forward svc/<name> 8080:80 -n <ns>
kubectl debug -it <pod> -n <ns> --image=busybox --target=<container>
kubectl debug node/<node> -it --image=busybox # 以特权 Pod 进入节点命名空间
判读要点:port-forward 走 apiserver 隧道,仅用于诊断与临时验证,不用于生产流量;debug 创建的临时容器共享目标容器的进程命名空间,只读文件系统的基础镜像即可完成网络与进程排查。
资源与发布
kubectl top pod -n <ns> --containers
kubectl top node
kubectl rollout status deploy/<name> -n <ns>
kubectl rollout history deploy/<name> -n <ns>
kubectl rollout undo deploy/<name> -n <ns> [--to-revision=<n>]
kubectl rollout restart deploy/<name> -n <ns> # 触发一次滚动重建
kubectl rollout pause deploy/<name> -n <ns>
kubectl rollout resume deploy/<name> -n <ns>
节点维护
kubectl cordon <node> # 标记不可调度
kubectl drain <node> --ignore-daemonsets --delete-emptydir-data
kubectl uncordon <node> # 恢复可调度
-
高危 提醒:
drain会驱逐节点上除 DaemonSet 与带对应容忍之外的全部 Pod,使用--delete-emptydir-data会一并删除 Pod 的 emptyDir 数据,若工作负载未配置控制器或未配置 PodDisruptionBudget,副本会被逐一移除直至无可用实例。防护建议:执行前用kubectl get pods -o wide --field-selector spec.nodeName=<node>列出将被驱逐的 Pod,确认每个工作负载的副本数与 PDB 覆盖情况,核对有状态服务是否使用本地卷。回滚方式:立即执行kubectl uncordon <node>恢复调度,已被驱逐的 Pod 由控制器重建,本地卷数据需从备份恢复。 -
高危 提醒:
kubectl delete pod --force --grace-period=0会跳过优雅终止流程,容器直接消失,未落盘的写入丢失;对 StatefulSet 管理的 Pod,强制删除可能造成同序号 Pod 同时在两个节点上运行,引发数据脑裂。防护建议:仅在节点永久失联、Pod 已无法正常删除时使用,使用前确认该 Pod 无有状态写入、且同序号的新 Pod 未被创建。回滚方式:删除节点上的残留容器与卷挂载记录(crictl rm、检查/var/lib/kubelet/pods),确认旧 Pod 完全退出后再由控制器重建。
delete 的取舍
| 对象 | 后果 | 说明 |
|---|---|---|
| Pod | 控制器按副本数重建 | 常用于触发重建,等价于 rollout restart 的局部版本 |
| Deployment | 级联删除 ReplicaSet 与 Pod | 需确认已有镜像与 YAML 备份用于恢复 |
| Service | 后端 Pod 不受影响,但入口中断 | 恢复需重建同名 Service,ClusterIP 会变化 |
| PVC | 取决于 reclaimPolicy | Delete 策略下底层数据一并删除 |
| Namespace | 级联删除其中全部对象 | 不可撤销 |
3.2 节点故障排查
NotReady 的排查顺序
kubectl get nodes -o wide
kubectl describe node <node> | sed -n '/Conditions/,/Events/p'
ssh <node>
systemctl status kubelet --no-pager
journalctl -u kubelet -n 200 --no-pager | tail -100
systemctl status containerd --no-pager
crictl ps -a | head
crictl info | head -20
ls /etc/cni/net.d/ && ls /opt/cni/bin/ | head
df -h /var/lib/kubelet /var/lib/containerd
df -i /
timedatectl status
判读与处置:
| 现象 | 常见原因 | 处置 |
|---|---|---|
| kubelet 单元 failed | 配置错误、证书过期、静态 Pod 清单错误 | 查看 journalctl 报错行,修正配置或证书后重启单元 |
| kubelet 运行但节点不注册 | apiserver 不可达、kubeconfig 凭据错误、时间偏移导致 TLS 校验失败 | 核对 /etc/kubernetes/kubelet.conf、检查 timedatectl、验证到 apiserver 的连通性 |
| 容器运行时不可用 | containerd 未启动、CRI 插件异常、/var/lib/containerd 空间不足 | 重启运行时并按 crictl info 报错定位,清理镜像释放空间 |
| CNI 未就绪 | /etc/cni/net.d 下配置缺失或插件二进制丢失 | 重新安装网络插件,核对 DaemonSet 是否在本节点就绪 |
| DiskPressure | nodefs 或 imagefs 可用空间低于驱逐阈值 | 清理镜像(crictl rmi --prune)与日志,扩容数据盘 |
| MemoryPressure | 节点可用内存低于驱逐阈值 | 排查内存占用来源,调整 requests 与预留参数 |
| NetworkUnavailable | 路由未就绪或网络插件未写入节点网络状态 | 检查插件 Pod 与该节点的路由配置 |
节点上容器运行时的数据目录、日志大小上限与镜像清理策略属于单机层面的配置,Docker 场景下的写法参见 Ubuntu 下 Docker 常用配置;节点使用 containerd 作为运行时(Kubernetes 默认路径)时,同类参数位于 containerd 的配置文件而非 daemon.json,容量治理思路一致,清理镜像使用 crictl rmi --prune。
磁盘压力与驱逐
- kubelet 依据
nodefs.available、nodefs.inodesFree、imagefs.available触发镜像回收与 Pod 驱逐 - 镜像回收分为高水位触发与低水位停止,默认高水位为 85%、低水位为 80%
- 被驱逐的 Pod 状态为
Evicted,原因字段为NodeHasDiskPressure或NodeHasNoDiskPressure相关值 - 判读要点:
Evicted的 Pod 不会自动清理,堆积后会占用 etcd 空间与干扰get pods输出,处置完成后应删除
节点重启后的状态恢复
- 控制面节点以 static pod 形式运行组件,清单位于
/etc/kubernetes/manifests,kubelet 启动后按清单重建 - 工作节点上绑定到该节点的 Pod 由 kubelet 按其本地状态重启,容器会重新创建
- 节点重新注册后状态由 NotReady 转为 Ready,调度恢复
- 若节点被管理员删除(
kubectl delete node),其上 Pod 由控制器在其他节点重建,未使用持久卷的本地数据随之丢失
3.3 工作负载故障排查
按现象定位
| 现象 | 主要线索命令 | 常见原因 |
|---|---|---|
| Pending | describe pod 的 Events | 资源不足、亲和与污点不匹配、PVC 未绑定、hostPort 冲突 |
| ImagePullBackOff | describe pod 的 Events | 镜像名或标签错误、凭据缺失、节点无法访问仓库 |
| ErrImagePull | 同上传 | 同上,且处于首次拉取失败阶段 |
| CrashLoopBackOff | logs --previous、退出码 | 应用启动报错、配置缺失、依赖不可达、权限不足 |
| OOMKilled | describe pod 与 top pod | limits.memory 过小或存在内存泄漏 |
| CreateContainerConfigError | describe pod 的 Events | 引用的 ConfigMap 或 Secret 不存在、键名错误 |
| Terminating 长时间不结束 | describe pod、节点上的容器状态 | preStop 阻塞、进程未响应 SIGTERM、卷卸载失败 |
| Running 但不接流量 | get endpoints、探针事件 | readiness 未通过 |
Pending 的调度类原因
Events:
Type Reason Message
Warning FailedScheduling 0/5 nodes are available: 3 Insufficient cpu,
2 node(s) had untolerated taint {node-role: control-plane}.
Warning FailedScheduling pod has unbound immediate PersistentVolumeClaims.
判读依据:
Insufficient cpu与Insufficient memory说明所有候选节点的剩余 Allocatable 均小于 requests,需降低请求、扩容节点或清理低效工作负载node(s) had untolerated taint说明容忍与污点不匹配,检查节点污点来源与调度约束unbound immediate PersistentVolumeClaims说明 PVC 未绑定,转入存储排查
ImagePullBackOff
kubectl describe pod <pod> -n <ns> | grep -A5 'Failed'
kubectl get secret -n <ns> # 确认 imagePullSecrets 是否存在
kubectl get secret <secret> -n <ns> -o jsonpath='{.data.\.dockerconfigjson}' | base64 -d
判读依据:
manifest unknown:镜像标签不存在,核对仓库中的实际标签unauthorized或denied:凭据缺失或过期,检查imagePullSecrets与 Secret 内容x509: certificate signed by unknown authority或超时:节点无法访问仓库,或私有仓库证书未被节点信任
CrashLoopBackOff
kubectl logs <pod> -n <ns> --previous
kubectl get pod <pod> -n <ns> -o jsonpath='{.status.containerStatuses[*].lastState.terminated}'
退出码判读:
| 退出码 | 含义 | 方向 |
|---|---|---|
| 0 | 正常退出,但容器不应退出 | 检查启动命令与前台运行方式 |
| 1 | 应用自身报错退出 | 查看日志中的异常栈与配置校验结果 |
| 137 | 收到 SIGKILL,常见于 OOMKilled 或优雅终止超时 | 结合 reason 字段区分两类情况 |
| 143 | 收到 SIGTERM,进程按信号退出 | 检查是否有外部删除或探针触发重启 |
OOMKilled
kubectl describe pod <pod> -n <ns> | grep -i -E 'oom|last state|reason'
kubectl top pod <pod> -n <ns> --containers
判读要点:kubectl top 显示的是采样瞬时值,容器可能在两次采样之间冲高被杀,因此需要使用监控中的内存峰值指标确认。节点级 OOM 与容器级 OOM 的区别在于:前者由内核选择进程终止,节点上其他 Pod 也会受影响;后者由 cgroup 限额触发,只影响该容器。
探针失败与流量不引入
kubectl describe pod <pod> -n <ns> | grep -i -E 'probe|unhealthy'
kubectl get endpoints <svc> -n <ns> -o yaml
kubectl get endpointslice -n <ns> -l kubernetes.io/service-name=<svc>
判读依据:
Liveness probe failed且容器 RESTARTS 增长:存活探针判定失败并触发重启Readiness probe failed:容器保持 Running,但地址不出现在 Endpoints 的addresses中,仅出现在notReadyAddresses- Endpoints 为空:所有后端均未就绪,或 Service 的 selector 与 Pod 标签不匹配
3.4 探针与优雅终止
三类探针的职责差异
| 探针 | 失败后果 | 检查对象 | 典型误用 |
|---|---|---|---|
| liveness | 重启容器 | 进程是否仍可工作 | 把下游依赖的健康状态作为判断条件,下游抖动引发全量重启 |
| readiness | 从 Endpoints 摘除,不重启 | 是否可接收流量 | 检查项过重导致频繁摘除与引入 |
| startup | 在通过前不执行 liveness 与 readiness | 启动是否完成 | 未配置,导致慢启动应用被 liveness 反复重启 |
参数含义
| 参数 | 作用 |
|---|---|
| initialDelaySeconds | 容器启动后首次探测的等待时间 |
| periodSeconds | 探测周期 |
| timeoutSeconds | 单次探测超时 |
| failureThreshold | 连续失败多少次判定为失败 |
| successThreshold | 连续成功多少次判定为成功(liveness 固定为 1) |
- startup 探针的最长容忍时间等于
failureThreshold × periodSeconds,应与应用的最慢启动情况匹配 - httpGet 支持 path、port、scheme 与 header;tcpSocket 只判断端口是否可连接;grpc 用于 gRPC 健康检查协议
- 判读要点:tcpSocket 探测成功只说明端口已监听,不说明业务已就绪
优雅终止流程
删除 Pod(收到 SIGTERM 之前)
→ 对象被标记为 Terminating,从 Endpoints 摘除
→ 执行 preStop 钩子
→ 发送 SIGTERM 给容器主进程
→ 等待 terminationGracePeriodSeconds
→ 超过宽限期发送 SIGKILL
spec:
terminationGracePeriodSeconds: 30
containers:
- name: app
lifecycle:
preStop:
exec:
command: ["/bin/sh", "-c", "sleep 5"]
判读要点:
- preStop 与 SIGTERM 阶段共用
terminationGracePeriodSeconds,preStop 耗时过长会挤压进程自身的清理时间 - preStop 中等待片刻的用途是为 Endpoints 摘除留出传播时间,避免向正在退出的容器继续转发请求
- 高危 提醒:把
terminationGracePeriodSeconds设置为 0 会立即发送 SIGKILL,未落盘的写入与未完成的请求全部丢失;对处理长任务的进程还会造成任务状态不一致。防护建议:与业务最长处理时间对齐,并在 preStop 中完成连接排空。回滚方式:恢复原参数值并触发一次滚动重启,受影响的长任务按业务补偿流程重新执行。
滚动发布参数对可用性的影响
| 参数 | 作用 | 取值影响 |
|---|---|---|
| maxSurge | 超出期望副本数的上限 | 值越大发布越快,瞬时所占资源越多 |
| maxUnavailable | 允许不可用的副本数上限 | 与 maxSurge 同时为 0 会导致发布停滞 |
| minReadySeconds | 就绪后观察多久才算可用 | 值越大越能过滤慢失败,发布持续时间越长 |
| progressDeadlineSeconds | 判定发布失败的时间 | 超过阈值后 Deployment 标记 ProgressDeadlineExceeded |
| revisionHistoryLimit | 保留的历史版本数 | 值过小会失去回滚目标 |
判读要点:maxUnavailable 与副本数共同决定发布期间的最小可用实例数,副本数为 2 且 maxUnavailable: 1 时,发布期间只剩 1 个可用实例,容量是按单实例设计的应用会过载。
3.5 配置与密钥
挂载方式与更新行为
| 使用方式 | 更新是否生效 | 说明 |
|---|---|---|
| 卷挂载整体目录 | 会同步 | kubelet 周期性刷新 ConfigMap 与 Secret 卷内容 |
| 卷挂载(subPath) | 不会同步 | subPath 内容是挂载时的快照 |
| 环境变量(envFrom 或 valueFrom) | 不会更新 | 变量在容器创建时注入,修改后必须重建 Pod |
判读要点:配置以卷方式更新后,应用是否能读到新内容取决于应用自身是否重新打开文件;多数应用需要 rollout restart 触发重建,环境变量方式则必须重建。
kubectl create configmap app-config -n <ns> --from-file=app.yaml
kubectl create secret generic db-cred -n <ns> \
--from-literal=username=app --from-literal=password=<value>
kubectl rollout restart deploy/<name> -n <ns>
- 高危 提醒:修改被多个工作负载引用的 ConfigMap 或 Secret 会同时作用于所有引用者,其中可能包含尚未完成灰度验证的服务;Secret 修改后若键名或格式与预期不符,容器会在下次重建时进入
CreateContainerConfigError,而已运行的容器不受影响,故障会推迟到重启时才暴露。防护建议:修改前用kubectl get cm/secret -o yaml导出当前值留存,先在同一命名空间以副本对象验证新值,确认消费方兼容后再替换;对不应被修改的对象设置immutable: true。回滚方式:用保留的旧值执行kubectl apply恢复对象,随后对受影响的工作负载执行kubectl rollout restart,确认容器恢复正常。
密钥管理风险
- Secret 的
data字段是 Base64 编码而非加密,任何取得对象读权限的主体都可还原明文 - etcd 默认以明文保存 Secret,需显式启用静态加密(EncryptionConfiguration),并妥善保管加密密钥
- RBAC 应把 Secret 的读取权限限制到必要的 ServiceAccount,避免使用通配的
get secrets授权 - Secret 内容出现在
kubectl get secret -o yaml、describe与部分审计日志中,排查时避免将输出粘贴到不受控位置 imagePullSecrets、dockerconfigjson类型的 Secret 一旦泄露等同于仓库凭据泄露,应设置短有效期并定期轮换
3.6 存储类故障
PVC 处于 Pending
kubectl describe pvc <pvc> -n <ns>
kubectl get storageclass
kubectl -n kube-system logs deploy/<csi-provisioner>
| 原因 | 判读依据 | 处置 |
|---|---|---|
| 无匹配 StorageClass | Events 提示未找到默认 StorageClass | 指定 storageClassName 或设置默认存储类 |
| provisioner 未部署 | Events 长时间无进展,CSI Pod 不存在或未就绪 | 部署并确认 CSI 组件就绪 |
| WaitForFirstConsumer 且无 Pod | PVC 与 PV 均 Pending,无消费 Pod | 创建使用该 PVC 的工作负载 |
| 容量或配额不足 | Events 提示超出后端容量或配额 | 调整申请容量或后端配额 |
| 拓扑约束不满足 | Events 提示可用区不匹配 | 调整节点亲和或使用延迟绑定 |
挂载失败
kubectl describe pod <pod> -n <ns> | grep -i -A3 'volume'
kubectl get events -n <ns> --field-selector reason=FailedMount
判读依据:
FailedMount: timeout expired waiting for volumes to attach or mount:卷附加或挂载超时,检查节点上的 CSI 节点插件与后端连通性Multi-Attach error for volume:同一 RWO 卷被两个节点同时挂载,通常由 Pod 迁移时旧节点未释放引起FailedMount: mount failed: exit status 32:文件系统或挂载参数不匹配,检查卷的实际格式与mountOptions
多节点访问模式冲突
- RWO 卷在 Pod 迁移时,若旧节点上的容器仍在运行,新节点无法附加该卷,Pod 停在 ContainerCreating
- 处置顺序:确认旧 Pod 已删除、旧节点上的卷已卸载(检查
/var/lib/kubelet/plugins与lsblk),必要时重启旧节点的 kubelet 触发清理 - 需要多节点同时读写的场景应使用 RWX 后端(NFS、CephFS),并在应用层处理并发写入的一致性
数据卷被占用与回收
- 高危 提醒:
reclaimPolicy: Delete的 StorageClass 下,删除 PVC 会同时删除底层存储卷,数据不可通过集群侧恢复;删除使用该 PVC 的 StatefulSet 时若未保留volumeClaimTemplates生成的 PVC 之外的控制,容易连带清理。防护建议:有状态服务的 PVC 删除前先确认底层卷是否已有快照或备份,把生产存储类的回收策略设置为Retain,删除对象与删除数据分离为两个步骤。回滚方式:Retain策略下 PV 进入 Released 状态,可移除claimRef后重新与该 PVC 绑定恢复访问;Delete策略下只能从存储侧快照或备份恢复。
3.7 网络与 DNS 类故障
Service 不通的三层排查顺序
- 后端是否就绪
kubectl get endpoints <svc> -n <ns> -o wide
kubectl get pods -n <ns> -l <selector> -o wide
kubectl get pod <pod> -n <ns> -o jsonpath='{.status.containerStatuses[*].ready}'
- Endpoints 为空说明无就绪后端,转入 readiness 与 selector 排查
- Service 与端口是否正确
kubectl get svc <svc> -n <ns> -o yaml
kubectl get pod <pod> -n <ns> -o jsonpath='{.spec.containers[*].ports[*].containerPort}'
port是 Service 对外端口,targetPort是容器端口,两者写反会导致连接被转发到未监听的端口
- 转发规则与策略是否生效
kubectl exec -it <pod> -n <ns> -- nc -zv <svc> <port>
kubectl exec -it <pod> -n <ns> -- nc -zv <pod-ip> <port>
kubectl get networkpolicy -n <ns>
# 在 Service 所在节点上查看转发链
sudo iptables -t nat -L KUBE-SERVICES -n | head
判读依据:
- 直连 Pod 地址通、Service 地址不通:转发规则或 kube-proxy 异常
- 直连 Pod 地址也不通:容器端口未监听,或网络策略阻断
- 由 Pod 内解析出的 Service 地址正确但连接被拒绝:
targetPort指向的端口无监听
CoreDNS 解析失败
kubectl get pods -n kube-system -l k8s-app=kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns --tail=100
kubectl get cm coredns -n kube-system -o yaml
kubectl exec -it <pod> -n <ns> -- cat /etc/resolv.conf
kubectl exec -it <pod> -n <ns> -- nslookup kubernetes.default.svc.cluster.local
判读依据与处置:
| 现象 | 原因 | 处置 |
|---|---|---|
| resolv.conf 指向的地址无响应 | CoreDNS Pod 未就绪或副本数不足 | 检查 Deployment 副本数、节点资源与 CoreDNS 日志 |
| Corefile 中 forward 指向的上游不可达 | 上游 DNS 变更或节点网络策略限制 | 修正 Corefile 中的 forward 列表,重启 CoreDNS |
| 集群内域名解析正常、外部域名失败 | 上游转发被拦截或 CoreDNS 所在节点出口受限 | 验证节点到上游 DNS 的连通性与防火墙策略 |
| 个别 Pod 解析失败 | 该 Pod 使用 hostNetwork 或 dnsPolicy: Default | 按需改为 ClusterFirst 或显式配置 dnsConfig |
NetworkPolicy 拦截
- 未定义任何策略时,命名空间内流量默认不受限制
- 一旦某个 Pod 被任一 NetworkPolicy 的
podSelector选中,其对应方向(由policyTypes决定入站或出站)即转为默认拒绝,只放行策略中列举的流量 - 常见遗漏:放行了入站但未放行出站、DNS 出站未放行(需允许到 kube-dns 的 UDP 与 TCP 53)、命名空间选择器与实际标签不一致
- 判读要点:策略生效依赖 CNI 实现支持,Calico、Cilium 支持该资源,Flannel 默认不支持
跨节点通信异常
| 现象 | 排查位置 | 常见原因 |
|---|---|---|
| 同节点 Pod 互通、跨节点不通 | 节点路由表与封装接口 | CNI 未就绪、封装协议被防火墙阻断 |
| 小包正常、大包超时 | ping -M do -s <size> 逐步探测 | MTU 不匹配,封装后可用 MTU 小于默认值 |
| 间歇性丢包 | 内核丢包计数与网卡统计 | 封装开销导致拥塞、网卡队列溢出 |
| NAT 后连接异常 | 节点 iptables FORWARD 链策略 | 转发链被置为 DROP |
判读要点:VXLAN 与 IPIP 封装会占用额外字节,隧道模式下 Pod 网络的可用 MTU 应小于节点网卡 MTU,应用侧表现为大报文连接建立后卡住。宿主机侧的连接与丢包排查命令参见 Ubuntu 网络诊断与远程连接命令。
Ingress 与后端不匹配
- host 与 path 规则与请求不匹配,返回 404
- 后端 Service 名称或端口错误,返回 502
- 后端 Service 无就绪 Endpoints,返回 503
- 未指定
ingressClassName且集群存在多个 Ingress Controller,规则未被任何控制器接管 - TLS 配置引用的 Secret 不存在或证书与域名不符,握手阶段失败
- 判读依据:Ingress Controller 的访问日志与错误日志是定位入口问题的第一位置,其次才是后端 Pod 日志
3.8 集群资源与配额
namespace 级配额
apiVersion: v1
kind: ResourceQuota
metadata:
name: team-quota
namespace: team-a
spec:
hard:
requests.cpu: "20"
requests.memory: 40Gi
limits.cpu: "40"
limits.memory: 80Gi
pods: "100"
services: "20"
persistentvolumeclaims: "10"
- 配额按 namespace 统计,超出时报错为
exceeded quota,Pod 创建被 apiserver 拒绝 - 设置了
requests.*或limits.*配额后,命名空间内的 Pod 必须声明对应字段,否则被拒绝
LimitRange
apiVersion: v1
kind: LimitRange
metadata:
name: default-limits
namespace: team-a
spec:
limits:
- type: Container
default:
cpu: 500m
memory: 512Mi
defaultRequest:
cpu: 100m
memory: 128Mi
max:
cpu: "4"
memory: 8Gi
min:
cpu: 50m
memory: 64Mi
判读要点:
default与defaultRequest为未声明资源的容器补默认值,可避免 Pod 落入 BestEffortmax与min限制单容器规模,超出时报maximum cpu usage per Container is 4一类错误- 同时存在 LimitRange 与 ResourceQuota 时,先由 LimitRange 补齐默认值,再由配额校验总量
资源碎片与调度失败
- 集群总体剩余资源充足,但没有任何单个节点能满足 Pod 的 requests 时,Pod 持续 Pending
- 常见成因:单节点被若干大规格 Pod 切分后剩余空间零散、Pod 的 requests 与节点规格不匹配
- 处置方向:下调 Pod 的 requests 至实际用量、调整节点池规格、使用更细的实例规格、按工作负载拆分节点池
- 判读依据:
kubectl describe node <node> | sed -n '/Allocated resources/,/Events/p'
kubectl get pods -A -o wide --field-selector status.phase=Running
节点规格与超卖边界
- requests 是调度承诺,limits 是运行上限,节点上所有 Pod 的 limits 总和可以远超节点容量
- 超卖带来的风险是突发流量下的资源争抢:CPU 表现为延迟抖动与节流,内存表现为节点级 OOM
- 判断超卖是否合理需要同时观察节点资源水位与容器侧的节流与 OOM 指标,宿主机指标口径与告警配置参见 linux: 监控与告警 与 linux: 巡检与健康检查
3.9 发布与回滚
滚动更新
spec:
replicas: 4
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 0
minReadySeconds: 10
progressDeadlineSeconds: 600
revisionHistoryLimit: 5
maxUnavailable: 0配合maxSurge: 1表示发布期间不减少可用实例,代价是临时多占一份资源minReadySeconds让 Pod 就绪后保持观察,能过滤“就绪后立即崩溃”的版本- 判定失败后不会自动回滚,需要人工执行
rollout undo
金丝雀与蓝绿
| 方式 | 实现 | 特点 |
|---|---|---|
| 金丝雀(副本比例) | 新增一个 Deployment 并共享同一 Service | 无需改动入口配置,流量按副本比例分配,粒度较粗 |
| 金丝雀(入口权重) | 在 Ingress Controller 或服务网格中按权重分流 | 粒度细,可按请求头与用户维度控制 |
| 蓝绿 | 两套 Deployment,切换 Service 的 selector | 切换与回滚为一次 selector 变更,需要双份资源 |
判读要点:副本比例分流的实际流量比例受连接复用影响,长连接场景下与实际副本比例偏差较大;入口权重分流需要入口组件支持相应配置。
回滚与前置检查
kubectl rollout history deploy/<name> -n <ns>
kubectl rollout history deploy/<name> -n <ns> --revision=<n>
kubectl rollout undo deploy/<name> -n <ns> --to-revision=<n>
kubectl rollout status deploy/<name> -n <ns>
前置检查项:
- 目标版本在
rollout history中存在,且其镜像标签仍可在仓库中拉取 - 旧版本的配置依赖(ConfigMap、Secret、环境变量)仍然存在且键名一致
- 版本之间是否存在不可逆变更:数据库结构变更、消息格式变更、外部接口协议变更,这类变更无法通过回滚 Deployment 撤销
- 当前是否存在未完成的发布,
rollout pause状态下的回滚需先恢复
发布后验证项
rollout status返回成功且可用副本数达到期望值- 新 Pod 全部就绪,Endpoints 中后端数量与副本数一致
- 入口层的错误率与延迟指标未出现阶跃
- 应用日志中无新的异常关键字,且启动日志中的配置版本与新配置一致
- 关键业务链路的手工拨测通过
3.10 集群升级与维护
升级顺序
etcd 备份
→ 升级控制面(apiserver、scheduler、controller-manager,按节点逐一进行)
→ 升级 kube-proxy 与 CoreDNS 等附加组件
→ 逐节点排水、升级 kubelet 与容器运行时、恢复调度
→ 验证节点状态、工作负载与入口
判读要点:
- 一次升级的版本跨度不超过一个次版本,跨多个次版本需分阶段进行
- kubelet 版本不得高于 apiserver 版本,允许滞后但需在官方兼容窗口内
- 容器运行时(containerd)版本需与 kubelet 的 CRI 要求匹配,升级前核对版本矩阵
- 控制面节点逐一升级可保证 apiserver 与 etcd 始终有多数成员可用
排水与不可用预算
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: web-pdb
spec:
minAvailable: 2 # 或使用 maxUnavailable: 1
selector:
matchLabels:
app: web
判读要点:
- PDB 只约束自愿中断(
drain、节点维护),不约束节点故障等非自愿中断 - 未配置 PDB 时,
drain会依次驱逐节点上所有可驱逐的 Pod,多副本工作负载可能被全部移走 - PDB 的
minAvailable与副本数接近时,drain会长时间阻塞,需确认其余节点的容量是否允许接收被驱逐的副本
备份 etcd 的必要性
etcd 保存集群全部对象与状态,是唯一无法由其他组件重建的数据。
ETCDCTL_API=3 etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
snapshot save /var/backups/etcd-$(date +%Y%m%d%H%M).db
ETCDCTL_API=3 etcdctl --write-out=table snapshot status /var/backups/etcd-<时间戳>.db
-
高危 提醒:
etcdctl snapshot restore会覆盖 etcd 数据目录并重建成员信息,在仍在运行的集群上执行会导致状态回退到快照时刻,快照之后创建的 Pod、Service、PVC 与配置全部丢失;恢复过程中 apiserver 必须停止,否则会出现写入与恢复相互覆盖。防护建议:恢复前停止控制面上的 apiserver、scheduler、controller-manager 与 etcd(static pod 通过移出/etc/kubernetes/manifests实现),把原/var/lib/etcd目录整体重命名保留,用--data-dir恢复到新目录后核对成员列表与对象数量,再启动控制面。回滚方式:恢复失败时把原数据目录改名回原位并重新启动 etcd 与 apiserver;同时保留最近若干份快照与恢复前的数据目录副本,直到集群验证通过。 -
备份要点:快照应覆盖证书与 kubeconfig(
/etc/kubernetes/pki、/etc/kubernetes/*.conf),保存到集群之外的位置,并定期做恢复演练验证快照可用 - 证书维护:控制面证书存在有效期,到期后 apiserver 与 kubelet 通信失败,节点转为 NotReady;证书轮换需按官方流程逐一节点执行
3.11 可观测性衔接
指标采集位置
| 采集对象 | 来源 | 内容 |
|---|---|---|
| 容器资源用量 | kubelet 的 cAdvisor 端点(/metrics/cadvisor) | CPU、内存、文件系统、网络与 cgroup 节流计数 |
| 节点资源用量 | node_exporter 或节点层采集器 | 与单机监控口径一致 |
| Kubernetes 对象状态 | kube-state-metrics | 副本数、就绪数、重启次数、PVC 状态、节点条件 |
| 控制面组件 | apiserver、scheduler、controller-manager 的 /metrics | 请求延迟、队列长度、调谐错误 |
| 应用 | 应用自身暴露的 /metrics | 业务指标 |
判读要点:容器内存用量应取 cgroup 统计而非 /proc/meminfo,后者在部分运行时下仍是宿主机数据;容器级节流与 OOM 计数是判断 limits 是否合理的直接依据。
日志采集位置
ls /var/log/pods/<namespace>_<pod>_<uid>/<container>/
ls -l /var/log/containers/ | head
- 容器标准输出与标准错误由运行时落盘到节点,
/var/log/containers下是便于按 Pod 名检索的符号链接 kubectl logs读取的是容器运行时保存的日志,容器被删除后不可再读,需依赖节点日志采集- 集群内采集通常以 DaemonSet 形式部署,容器日志的轮转与容量治理与单机场景一致,参考 Docker 容器日志管理 与 logrotate 日志轮转
事件与审计日志
| 数据 | 位置 | 保留特点 |
|---|---|---|
| Event | etcd 中的对象 | 默认保留时间较短,需主动采集或导出 |
| 审计日志 | apiserver 的 --audit-log-path 配置位置 | 记录谁在何时对哪个对象执行了何种操作 |
| 控制面组件日志 | 静态 Pod 的节点日志(journalctl -u kubelet 与容器日志) | 用于定位 apiserver、etcd 与调度器异常 |
判读要点:审计日志是变更追溯的权威来源,kubectl 操作、控制器行为与 kubelet 心跳都会留下记录;日志检索命令与字段过滤方式参见 linux: 日志查询与审计命令。
与宿主机监控的关系
- 节点层指标回答“机器是否健康”:CPU 与内存水位、磁盘空间与 inode、网络丢包、内核日志中的 OOM 与磁盘错误
- 容器层指标回答“工作负载是否受限”:cgroup 内存峰值、CPU 节流计数、重启次数、就绪副本数
- 两者结合才能区分故障归属:节点资源耗尽会同时影响多个工作负载,单个容器受限只影响其自身
- 指标口径、告警规则构成与阈值取值参见 linux: 监控与告警,巡检项与检查清单参见 linux: 巡检与健康检查,主机侧资源与进程层面的排查手段参见 linux: 进程管理 与 linux: systemd 介绍与使用
四、总结
- 集群编排相对单机编排新增了调度、自愈、滚动发布、配置与密钥、服务发现五类问题,运维视角与开发视角的关注点不同,交汇在 requests、limits 与探针参数
- 控制面由 apiserver、etcd、scheduler、controller-manager 组成,工作节点由 kubelet、容器运行时、kube-proxy 与 CNI 组成;apiserver 无状态可多副本,etcd 有状态需保证多数成员可用
- 声明式模型以 spec 为期望、status 为实际,控制器持续调谐;手工改动控制器管理的对象会被拉回,apply 做三方合并,replace 整体覆盖
- 调度按 requests 过滤节点并按 QoS 决定驱逐顺序,limits 决定运行上限;CPU 超限表现为节流,内存超限表现为 OOMKilled
- 网络模型中 Pod 地址可变,Service 提供稳定入口,kube-proxy 负责转发,DNS 记录按
服务.命名空间.svc.集群域组织,Ingress 只声明 L7 路由且依赖控制器落地 - 存储模型中 emptyDir 与 hostPath 绑定 Pod 或节点,PV 与 PVC 一一绑定,StorageClass 决定供给与回收策略,RWO 的约束单位是节点
- 故障排查遵循固定顺序:先看
describe的 Events 与 Conditions,再看日志与退出码,最后进入节点层与网络层;CrashLoopBackOff 依赖logs --previous与退出码判读 - 探针的职责不可混用:liveness 失败会重启,readiness 失败会摘除流量,startup 用于保护慢启动应用;优雅终止由 preStop 与 terminationGracePeriodSeconds 共同实现
- ConfigMap 与 Secret 以卷方式挂载会同步,环境变量方式不更新;Secret 是编码而非加密,需启用静态加密并收敛 RBAC
- 发布与回滚以前置检查为基础,不可逆变更无法通过回滚 Deployment 撤销;升级按控制面、附加组件、节点的顺序推进,并配置 PDB 控制不可用预算
- drain、强制删除 Pod、删除 Retain 之外的 PVC、修改被多方引用的 Secret、etcd 快照恢复属于高危操作,执行前必须确认影响范围并准备回滚路径
- 可观测性由节点指标、容器指标、对象状态、事件与审计日志共同构成,容器日志采集与单机日志治理方式一致,跨主机排查手段参见 Ubuntu 网络诊断与远程连接命令,同类故障的处置思路可参考 linux: 故障案例库