适用范围:Kubernetes v1.2x 版本线,容器运行时为 containerd(CRI),kubectl 与集群版本偏差不超过一个次版本。


一、起源:从单机容器到集群编排

1.1 单机编排的能力边界

Docker Compose 在单台主机上定义并管理多容器应用,解决的是同一主机内的启动依赖、网络别名与数据卷声明,具体字段与命令见同目录的 Docker 容器编排工具。其能力边界体现在四个方面:

  1. 容器只在执行 Compose 命令的主机上启动,不具备按资源余量选择主机的调度能力
  2. restart 策略只在本机拉起容器,宿主机不可用时容器不会迁移到其他主机
  3. 端口映射以宿主机端口为约束,同一端口在同一台主机上只能由一个服务占用
  4. 配置与密钥以文件和环境变量形式存在于部署主机,跨主机分发需要额外工具

当服务需要多副本、需要跨主机分布、需要在节点故障后自动重建时,单机编排已不适用。

1.2 集群编排要解决的问题

Kubernetes 的出现针对以下五类问题,每一类都对应运维中的具体故障面:

  1. 调度
  • 把容器放到满足资源请求、亲和性与可用区约束的节点
  • 节点资源不足时给出可判读的失败原因,而不是静默失败
  1. 自愈
  • 以期望状态为目标持续校正实际状态
  • 覆盖进程退出、探针失败、节点失联、副本数不足等场景
  1. 滚动发布
  • 按批次替换实例,控制发布期间的不可用比例
  • 保留历史版本,提供回滚入口
  1. 配置与密钥
  • 把配置从镜像中剥离,避免为修改配置而重新构建镜像
  • 按命名空间隔离分发,控制可见范围
  1. 服务发现
  • 容器地址随重建变化,需要稳定的访问入口
  • 提供名称解析,避免把后端地址硬编码进应用

1.3 运维视角与开发视角的差异

维度 开发视角 运维视角
关注对象 Deployment、Service、Ingress 的 YAML 字段 控制面组件健康、etcd 数据安全、节点状态与资源水位
资源定义 为单次部署填写 requests 与 limits 判断整体 requests 总和是否超出节点 Allocatable,评估超卖边界
探针 让容器顺利通过检查 判断探针参数是否会造成误重启或流量不引入
变更 提交新镜像并观察发布结果 控制变更窗口、可用性预算、版本兼容与回滚路径
故障处理 查看单个 Pod 日志 在节点层、控制面层、网络层、存储层之间定位故障归属
权限 对目标命名空间有写权限 管理 RBAC、ServiceAccount、准入策略与审计

两者的交汇点是 requests、limits 与探针参数:这些字段由开发写入,但其后果由运维承担。

1.4 本文定位

本文讨论集群的运维与排障,不重复 Compose 的单机编排字段与命令(见 Docker 容器编排工具),也不重复单容器层面的镜像、网络与数据卷操作(见 Docker 容器管理 与 Docker 网络管理)。


二、原理:组件、模型与约束

2.1 控制平面与工作节点的组件分工

控制平面组件

  1. kube-apiserver
  • 集群的唯一入口,处理所有 REST 请求与 watch 长连接
  • 负责认证、授权、准入控制与对象校验
  • 本身无状态,可多副本部署并由负载均衡前置
  1. etcd
  • 集群唯一持久化存储,保存全部对象与集群状态
  • 使用 Raft 协议保证一致性,写操作需要过半数成员确认
  • 节点数应为 3 或 5;2 个成员无法容忍任何一台故障,4 个成员的容错能力与 3 个相同
  1. kube-scheduler
  • 监听未绑定节点的 Pod,经过滤与打分选出目标节点
  • 只负责写入绑定结果,不负责启动容器
  1. kube-controller-manager
  • 承载 Deployment、ReplicaSet、Node、Endpoint、Job 等控制器
  • 每个控制器执行调谐循环,把实际状态推向期望状态

工作节点组件

  1. kubelet
  • 节点代理,向 apiserver 注册节点并上报状态
  • 通过 watch 获取绑定到本节点的 Pod,调用容器运行时创建与停止容器
  • 执行探针、挂载卷、上报资源使用与容器状态
  1. 容器运行时
  • 通过 CRI 接口被 kubelet 调用,常见实现为 containerd 与 CRI-O
  • 负责镜像拉取、容器生命周期与日志落盘
  1. kube-proxy
  • 把 Service 的虚拟地址转换为一组后端转发规则
  • 支持 iptables、IPVS 与 nftables 三种实现模式
  1. CNI 插件
  • 为 Pod 分配地址并打通跨节点通信
  • 常见实现为 Calico、Cilium、Flannel

控制流与数据流

kubectl → kube-apiserver → etcd
kube-scheduler → kube-apiserver(写入 spec.nodeName)
kubelet → kube-apiserver(watch 本节点 Pod,上报 status)
kubelet → CRI → containerd → runc → 容器进程

判读要点:

  • apiserver 不可用时,已有 Pod 继续运行,但无法查询状态、无法扩缩容、无法重建 Pod
  • etcd 不可用时,apiserver 读写失败,集群进入不可变更状态
  • kubelet 与 apiserver 断连时,节点状态转为 NotReady,其上 Pod 默认不会被驱逐(受 node-monitor-grace-period 与容忍时间约束)

2.2 声明式模型与调谐循环

期望状态与实际状态

  • 对象的 spec 表示期望状态,由使用者或控制器写入
  • 对象的 status 表示实际状态,由控制器或 kubelet 写入
  • 控制器持续比较两者,通过创建、更新、删除资源使实际状态收敛到期望状态

例如 Deployment 的调谐过程为:Deployment 控制器创建 ReplicaSet,ReplicaSet 控制器创建或删除 Pod,与节点绑定的 Pod 由 kubelet 落地为容器。

调谐循环的运维含义

  1. 手工修改控制器管理的对象会被拉回
  • 直接修改由 ReplicaSet 管理的 Pod 标签,会导致该 Pod 被移出副本计数并触发新建
  • 直接编辑由 Deployment 管理的 ReplicaSet 副本数,下一次调谐时会被覆盖
  1. 临时操作应作用于控制器层
  • 扩缩容修改 Deployment 的 replicas,不是删除或新增 Pod
  • 进入容器调试使用 exec,不使用 attach 之外的侵入式改动
  1. 收敛存在延迟
  • 状态变更到实际状态一致之间存在间隔,判断故障需等待至少一个同步周期
  • 频繁重启控制器或节点会造成反复调谐,放大状态抖动

kubectl apply 与 kubectl replace 的差别

维度 apply replace
合并方式 三方合并,结合上一次提交的配置、本地文件与集群现值 用本地文件整体替换对象
本地文件缺失的字段 保留集群现值或被删除(取决于是否为最后一次提交中的字段) 被重置为默认值或删除
集群生成的字段 保留 可能报错或被清零
适用场景 增量维护对象配置 需要以文件为准整体覆盖
风险 误删字段时不易察觉 遗漏必填字段会直接覆盖生效配置

补充说明:

  • 服务端 apply(server-side apply)以 managedFields 记录字段管理者,多写者协作时应统一使用该方式
  • 对集群创建的对象执行 replace 会因缺少必填字段而失败,应先 get -o yaml 取回现状再修改

2.3 调度机制

requests 与 limits

字段 作用位置 未设置时的表现 超限后果
requests.cpu 调度与 QoS 按 0 参与调度 不产生超限
limits.cpu cgroup cpu.max 不限制 CPU 被节流(throttle),进程被延后执行
requests.memory 调度与 QoS 按 0 参与调度 不产生超限
limits.memory cgroup memory.max 不限制 容器内触发 OOM,进程被内核终止

判读要点:CPU 超限表现为响应变慢,内存超限表现为容器被杀。二者的现象差别是排查的起点,kubectl describe pod 中的 Reason: OOMKilled 与 kubectl top pod 的 CPU 使用率分别对应两类问题。

QoS 等级

等级 判定条件 驱逐优先级 典型用途
Guaranteed 所有容器均设置 requests 与 limits 且二者相等 最低 关键数据库、状态服务
Burstable 至少一个容器设置 requests 或 limits,且不满足 Guaranteed 中 一般无状态服务
BestEffort 所有容器均未设置 requests 与 limits 最高 可中断的批处理任务

节点资源紧张时,kubelet 按 BestEffort、Burstable、Guaranteed 的顺序驱逐 Pod;同等级内按资源使用超出 requests 的程度排序。

亲和与反亲和

  1. nodeAffinity
  • requiredDuringSchedulingIgnoredDuringExecution:硬约束,不满足则不调度
  • preferredDuringSchedulingIgnoredDuringExecution:软约束,带权重打分
  1. podAffinity 与 podAntiAffinity
  • 以 topologyKey 定义拓扑域,如 kubernetes.io/hostname 表示单节点为一个域
  • 反亲和常用于把同一 Deployment 的副本打散到不同节点
  • 大规模集群中应优先使用 topologySpreadConstraints,其语义比多副本反亲和更可控

污点与容忍

污点效果 行为
NoSchedule 新建 Pod 不能调度到该节点,已有 Pod 保留
PreferNoSchedule 尽量避免调度到该节点
NoExecute 现有 Pod 被驱逐,除非容忍并设置 tolerationSeconds

常见污点来源:控制面节点标记、节点 NotReady 与各类压力条件(由 NodeLifecycle 控制器自动添加)。

驱逐阈值与资源预留

  • kubelet 依据 eviction-hard 与 eviction-soft 判断是否驱逐 Pod,常见信号为 memory.available、nodefs.available、nodefs.inodesFree、imagefs.available、pid.available
  • 软阈值需配合 eviction-soft-grace-period 与 eviction-max-pod-grace-period
  • 节点可分配资源由以下关系决定:
Allocatable = Capacity - kube-reserved - system-reserved - eviction-hard
  • 未设置预留时,系统进程与 kubelet 自身占用未被计入,容器可能把节点推向内存耗尽并触发整机 OOM,表现为节点失联而非单个容器被杀

调度失败的常见原因

  • 所有节点的 Allocatable 均小于 Pod 的 requests 总和
  • 节点亲和、污点与容忍不匹配
  • PVC 未绑定,且 StorageClass 的 volumeBindingMode 为 WaitForFirstConsumer
  • hostPort 与同节点已有 Pod 冲突
  • 拓扑分布约束无法满足

2.4 网络模型

Pod 网络

  • 每个 Pod 分配一个地址,Pod 内容器共享同一网络命名空间,通过 localhost 互通
  • 同一 Pod 内的容器共享端口空间,监听同一端口会冲突
  • Pod 地址由 CNI 分配,重建后变化,因此不应作为长期寻址依据

Service 与 kube-proxy

  1. Service 类型
  • ClusterIP:集群内虚拟地址,仅存在于转发规则中,没有实体网卡
  • NodePort:在每个节点开放同一端口,转发到 ClusterIP
  • LoadBalancer:在 NodePort 之上由云或负载均衡器提供外部地址
  • Headless(clusterIP: None):不分配虚拟地址,DNS 直接返回后端 Pod 地址
  1. kube-proxy 的转发实现
模式 数据结构 特点
iptables 线性匹配的规则链 通用性最好,规则数量增长后匹配开销上升
IPVS 内核哈希表 支持多种调度算法,大规模 Service 下性能更稳定
nftables nft 规则集 新版本引入,规则组织更简洁
  1. iptables 模式下的规则链路
KUBE-SERVICES → KUBE-SVC-<hash> → KUBE-SEP-<hash>(DNAT 到某个 Pod 地址)
  • 后端选择在规则层面完成,负载均衡粒度是连接而非请求
  • Endpoints 或 EndpointSlice 中的地址集合决定规则内容,Pod 未就绪时不在集合中

DNS 记录格式

记录目标 格式 示例
Service(ClusterIP 或 Headless) <service>.<namespace>.svc.<cluster-domain> mysql.default.svc.cluster.local
Service 命名端口 _<port-name>._<protocol>.<service>.<namespace>.svc.<cluster-domain> _http._tcp.web.default.svc.cluster.local
Pod <ip-用横线连接>.<namespace>.pod.<cluster-domain> 10-244-1-7.default.pod.cluster.local

判读要点:

  • 同命名空间内可直接使用短名 <service>,跨命名空间需带命名空间名
  • cluster-domain 默认是 cluster.local,可在 kubelet 的 --cluster-domain 中调整
  • hostNetwork: true 或 dnsPolicy: Default 的 Pod 不使用集群 DNS
  • CoreDNS 以 Deployment 与 ConfigMap(Corefile)形式运行,其上游服务器与转发规则由 Corefile 决定

Ingress 与网关的定位

维度 Ingress Gateway API
层次 L7(HTTP/HTTPS) L4 与 L7
抽象 Ingress 资源加 Ingress Controller 注解 GatewayClass、Gateway、HTTPRoute 等分层资源
责任划分 路由规则与控制器行为混合在注解中 基础设施方定义 Gateway,业务方定义 Route
适用场景 已有的成熟 Ingress Controller 生态 需要按角色划分权限与跨团队复用入口
  • Ingress 只声明路由意图,实际生效依赖对应的 Ingress Controller,未部署控制器时资源存在但不生效
  • Ingress 后端指向 Service 与端口,Service 无就绪后端时返回 502 或 503
  • 非 HTTP 协议的暴露使用 Service 的 NodePort 或 LoadBalancer,或由 Ingress Controller 提供的独立 TCP 转发配置

2.5 存储模型

单机场景下 Docker 卷的挂载方式、生命周期与备份方式见 Docker 容器数据持久化;集群侧在此之上增加了供给、绑定与访问模式三层约束,具体如下。

临时卷与节点卷

类型 生命周期 数据位置 适用场景
emptyDir 随 Pod 创建与删除 节点磁盘或内存(medium: Memory) 同 Pod 内容器共享临时目录、缓存
hostPath 不随 Pod 删除 节点本地目录 DaemonSet 读取节点日志与监控采集

判读要点:hostPath 与节点的强绑定意味着 Pod 重建到其他节点后读不到原数据,对有状态服务不适用;medium: Memory 的 emptyDir 计入容器内存限额。

PV 与 PVC

  1. 职责划分
  • PersistentVolume(PV):集群级资源,描述实际存储的容量、访问模式、存储类与回收策略
  • PersistentVolumeClaim(PVC):命名空间内申请,声明容量与访问模式
  • 绑定后一一对应,PVC 被删除前 PV 不会被其他 PVC 占用
  1. 生命周期状态
状态 含义 处置
Pending 无可用 PV 或供给未完成 检查 StorageClass、provisioner 与容量
Bound 已绑定 正常
Released PVC 已删除但 PV 保留 手工清理数据后重建 PV 或改为可复用
Failed 自动回收失败 检查 provisioner 日志与后端存储状态

StorageClass 与动态供给

常见字段:

  • provisioner:供给插件名称,决定由谁创建底层卷
  • reclaimPolicy:Delete 在 PVC 删除后删除底层卷,Retain 保留底层卷与 PV
  • volumeBindingMode:Immediate 在 PVC 创建时立即供给;WaitForFirstConsumer 等到有 Pod 调度后再供给,用于满足拓扑约束
  • allowVolumeExpansion:是否允许扩容 PVC,扩容需要文件系统支持

访问模式

模式 含义 常见后端
ReadWriteOnce(RWO) 单节点读写,同节点上多个 Pod 可共用 云盘、Ceph RBD、本地盘
ReadOnlyMany(ROX) 多节点只读 NFS、CephFS
ReadWriteMany(RWX) 多节点读写 NFS、CephFS
ReadWriteOncePod(RWOP) 单 Pod 读写 支持该模式的新版本集群

判读要点:RWO 的限制单位是节点而不是 Pod,Pod 被调度到第二个节点时会因卷仍挂在第一个节点而挂载失败,这是有状态服务多副本的主要阻塞点。


三、实现:命令、判读与处置

3.1 日常运维命令集

查看类

kubectl get nodes -o wide                              # 节点状态、内网地址与版本
kubectl get pods -A -o wide                            # 全部命名空间的 Pod 与所在节点
kubectl get pods -n <ns> --show-labels -w              # 观察 Pod 状态变化
kubectl get deploy,sts,ds -n <ns>                      # 工作负载概览
kubectl get svc,ep -n <ns>                             # Service 与其后端地址
kubectl get pvc,pv                                     # 存储申请与卷状态
kubectl describe pod <pod> -n <ns>                     # 事件与配置详情,排查第一入口
kubectl describe node <node>                           # 条件、已分配资源与事件
kubectl api-resources                                  # 确认资源名与短名
kubectl explain deployment.spec.strategy               # 字段含义与类型

事件与日志

kubectl get events -n <ns> --sort-by=.metadata.creationTimestamp
kubectl get events -A --field-selector involvedObject.name=<pod>
kubectl logs <pod> -n <ns> -c <container> --tail=200
kubectl logs <pod> -n <ns> --previous                  # 上一次退出的容器日志
kubectl logs <pod> -n <ns> --since=10m --all-containers=true
kubectl logs -f deploy/<name> -n <ns>                  # 跟随某个 Deployment 的日志

判读依据:--previous 是排查 CrashLoopBackOff 的关键参数,容器重建后当前日志为空或只有启动信息。Events 默认保存在 etcd 中且保留时间有限,故障发生后应尽早导出。

执行与传输

kubectl exec -it <pod> -n <ns> -- sh
kubectl exec -it <pod> -n <ns> -c <container> -- sh
kubectl cp <ns>/<pod>:/path/to/file ./local
kubectl port-forward svc/<name> 8080:80 -n <ns>
kubectl debug -it <pod> -n <ns> --image=busybox --target=<container>
kubectl debug node/<node> -it --image=busybox            # 以特权 Pod 进入节点命名空间

判读要点:port-forward 走 apiserver 隧道,仅用于诊断与临时验证,不用于生产流量;debug 创建的临时容器共享目标容器的进程命名空间,只读文件系统的基础镜像即可完成网络与进程排查。

资源与发布

kubectl top pod -n <ns> --containers
kubectl top node
kubectl rollout status deploy/<name> -n <ns>
kubectl rollout history deploy/<name> -n <ns>
kubectl rollout undo deploy/<name> -n <ns> [--to-revision=<n>]
kubectl rollout restart deploy/<name> -n <ns>           # 触发一次滚动重建
kubectl rollout pause deploy/<name> -n <ns>
kubectl rollout resume deploy/<name> -n <ns>

节点维护

kubectl cordon <node>                                  # 标记不可调度
kubectl drain <node> --ignore-daemonsets --delete-emptydir-data
kubectl uncordon <node>                                # 恢复可调度
  • 高危 提醒:drain 会驱逐节点上除 DaemonSet 与带对应容忍之外的全部 Pod,使用 --delete-emptydir-data 会一并删除 Pod 的 emptyDir 数据,若工作负载未配置控制器或未配置 PodDisruptionBudget,副本会被逐一移除直至无可用实例。防护建议:执行前用 kubectl get pods -o wide --field-selector spec.nodeName=<node> 列出将被驱逐的 Pod,确认每个工作负载的副本数与 PDB 覆盖情况,核对有状态服务是否使用本地卷。回滚方式:立即执行 kubectl uncordon <node> 恢复调度,已被驱逐的 Pod 由控制器重建,本地卷数据需从备份恢复。

  • 高危 提醒:kubectl delete pod --force --grace-period=0 会跳过优雅终止流程,容器直接消失,未落盘的写入丢失;对 StatefulSet 管理的 Pod,强制删除可能造成同序号 Pod 同时在两个节点上运行,引发数据脑裂。防护建议:仅在节点永久失联、Pod 已无法正常删除时使用,使用前确认该 Pod 无有状态写入、且同序号的新 Pod 未被创建。回滚方式:删除节点上的残留容器与卷挂载记录(crictl rm、检查 /var/lib/kubelet/pods),确认旧 Pod 完全退出后再由控制器重建。

delete 的取舍

对象 后果 说明
Pod 控制器按副本数重建 常用于触发重建,等价于 rollout restart 的局部版本
Deployment 级联删除 ReplicaSet 与 Pod 需确认已有镜像与 YAML 备份用于恢复
Service 后端 Pod 不受影响,但入口中断 恢复需重建同名 Service,ClusterIP 会变化
PVC 取决于 reclaimPolicy Delete 策略下底层数据一并删除
Namespace 级联删除其中全部对象 不可撤销

3.2 节点故障排查

NotReady 的排查顺序

kubectl get nodes -o wide
kubectl describe node <node> | sed -n '/Conditions/,/Events/p'
ssh <node>
systemctl status kubelet --no-pager
journalctl -u kubelet -n 200 --no-pager | tail -100
systemctl status containerd --no-pager
crictl ps -a | head
crictl info | head -20
ls /etc/cni/net.d/ && ls /opt/cni/bin/ | head
df -h /var/lib/kubelet /var/lib/containerd
df -i /
timedatectl status

判读与处置:

现象 常见原因 处置
kubelet 单元 failed 配置错误、证书过期、静态 Pod 清单错误 查看 journalctl 报错行,修正配置或证书后重启单元
kubelet 运行但节点不注册 apiserver 不可达、kubeconfig 凭据错误、时间偏移导致 TLS 校验失败 核对 /etc/kubernetes/kubelet.conf、检查 timedatectl、验证到 apiserver 的连通性
容器运行时不可用 containerd 未启动、CRI 插件异常、/var/lib/containerd 空间不足 重启运行时并按 crictl info 报错定位,清理镜像释放空间
CNI 未就绪 /etc/cni/net.d 下配置缺失或插件二进制丢失 重新安装网络插件,核对 DaemonSet 是否在本节点就绪
DiskPressure nodefs 或 imagefs 可用空间低于驱逐阈值 清理镜像(crictl rmi --prune)与日志,扩容数据盘
MemoryPressure 节点可用内存低于驱逐阈值 排查内存占用来源,调整 requests 与预留参数
NetworkUnavailable 路由未就绪或网络插件未写入节点网络状态 检查插件 Pod 与该节点的路由配置

节点上容器运行时的数据目录、日志大小上限与镜像清理策略属于单机层面的配置,Docker 场景下的写法参见 Ubuntu 下 Docker 常用配置;节点使用 containerd 作为运行时(Kubernetes 默认路径)时,同类参数位于 containerd 的配置文件而非 daemon.json,容量治理思路一致,清理镜像使用 crictl rmi --prune。

磁盘压力与驱逐

  • kubelet 依据 nodefs.available、nodefs.inodesFree、imagefs.available 触发镜像回收与 Pod 驱逐
  • 镜像回收分为高水位触发与低水位停止,默认高水位为 85%、低水位为 80%
  • 被驱逐的 Pod 状态为 Evicted,原因字段为 NodeHasDiskPressure 或 NodeHasNoDiskPressure 相关值
  • 判读要点:Evicted 的 Pod 不会自动清理,堆积后会占用 etcd 空间与干扰 get pods 输出,处置完成后应删除

节点重启后的状态恢复

  1. 控制面节点以 static pod 形式运行组件,清单位于 /etc/kubernetes/manifests,kubelet 启动后按清单重建
  2. 工作节点上绑定到该节点的 Pod 由 kubelet 按其本地状态重启,容器会重新创建
  3. 节点重新注册后状态由 NotReady 转为 Ready,调度恢复
  4. 若节点被管理员删除(kubectl delete node),其上 Pod 由控制器在其他节点重建,未使用持久卷的本地数据随之丢失

3.3 工作负载故障排查

按现象定位

现象 主要线索命令 常见原因
Pending describe pod 的 Events 资源不足、亲和与污点不匹配、PVC 未绑定、hostPort 冲突
ImagePullBackOff describe pod 的 Events 镜像名或标签错误、凭据缺失、节点无法访问仓库
ErrImagePull 同上传 同上,且处于首次拉取失败阶段
CrashLoopBackOff logs --previous、退出码 应用启动报错、配置缺失、依赖不可达、权限不足
OOMKilled describe pod 与 top pod limits.memory 过小或存在内存泄漏
CreateContainerConfigError describe pod 的 Events 引用的 ConfigMap 或 Secret 不存在、键名错误
Terminating 长时间不结束 describe pod、节点上的容器状态 preStop 阻塞、进程未响应 SIGTERM、卷卸载失败
Running 但不接流量 get endpoints、探针事件 readiness 未通过

Pending 的调度类原因

Events:
  Type     Reason            Message
  Warning  FailedScheduling  0/5 nodes are available: 3 Insufficient cpu,
                              2 node(s) had untolerated taint {node-role: control-plane}.
  Warning  FailedScheduling  pod has unbound immediate PersistentVolumeClaims.

判读依据:

  • Insufficient cpu 与 Insufficient memory 说明所有候选节点的剩余 Allocatable 均小于 requests,需降低请求、扩容节点或清理低效工作负载
  • node(s) had untolerated taint 说明容忍与污点不匹配,检查节点污点来源与调度约束
  • unbound immediate PersistentVolumeClaims 说明 PVC 未绑定,转入存储排查

ImagePullBackOff

kubectl describe pod <pod> -n <ns> | grep -A5 'Failed'
kubectl get secret -n <ns>                 # 确认 imagePullSecrets 是否存在
kubectl get secret <secret> -n <ns> -o jsonpath='{.data.\.dockerconfigjson}' | base64 -d

判读依据:

  • manifest unknown:镜像标签不存在,核对仓库中的实际标签
  • unauthorized 或 denied:凭据缺失或过期,检查 imagePullSecrets 与 Secret 内容
  • x509: certificate signed by unknown authority 或超时:节点无法访问仓库,或私有仓库证书未被节点信任

CrashLoopBackOff

kubectl logs <pod> -n <ns> --previous
kubectl get pod <pod> -n <ns> -o jsonpath='{.status.containerStatuses[*].lastState.terminated}'

退出码判读:

退出码 含义 方向
0 正常退出,但容器不应退出 检查启动命令与前台运行方式
1 应用自身报错退出 查看日志中的异常栈与配置校验结果
137 收到 SIGKILL,常见于 OOMKilled 或优雅终止超时 结合 reason 字段区分两类情况
143 收到 SIGTERM,进程按信号退出 检查是否有外部删除或探针触发重启

OOMKilled

kubectl describe pod <pod> -n <ns> | grep -i -E 'oom|last state|reason'
kubectl top pod <pod> -n <ns> --containers

判读要点:kubectl top 显示的是采样瞬时值,容器可能在两次采样之间冲高被杀,因此需要使用监控中的内存峰值指标确认。节点级 OOM 与容器级 OOM 的区别在于:前者由内核选择进程终止,节点上其他 Pod 也会受影响;后者由 cgroup 限额触发,只影响该容器。

探针失败与流量不引入

kubectl describe pod <pod> -n <ns> | grep -i -E 'probe|unhealthy'
kubectl get endpoints <svc> -n <ns> -o yaml
kubectl get endpointslice -n <ns> -l kubernetes.io/service-name=<svc>

判读依据:

  • Liveness probe failed 且容器 RESTARTS 增长:存活探针判定失败并触发重启
  • Readiness probe failed:容器保持 Running,但地址不出现在 Endpoints 的 addresses 中,仅出现在 notReadyAddresses
  • Endpoints 为空:所有后端均未就绪,或 Service 的 selector 与 Pod 标签不匹配

3.4 探针与优雅终止

三类探针的职责差异

探针 失败后果 检查对象 典型误用
liveness 重启容器 进程是否仍可工作 把下游依赖的健康状态作为判断条件,下游抖动引发全量重启
readiness 从 Endpoints 摘除,不重启 是否可接收流量 检查项过重导致频繁摘除与引入
startup 在通过前不执行 liveness 与 readiness 启动是否完成 未配置,导致慢启动应用被 liveness 反复重启

参数含义

参数 作用
initialDelaySeconds 容器启动后首次探测的等待时间
periodSeconds 探测周期
timeoutSeconds 单次探测超时
failureThreshold 连续失败多少次判定为失败
successThreshold 连续成功多少次判定为成功(liveness 固定为 1)
  • startup 探针的最长容忍时间等于 failureThreshold × periodSeconds,应与应用的最慢启动情况匹配
  • httpGet 支持 path、port、scheme 与 header;tcpSocket 只判断端口是否可连接;grpc 用于 gRPC 健康检查协议
  • 判读要点:tcpSocket 探测成功只说明端口已监听,不说明业务已就绪

优雅终止流程

删除 Pod(收到 SIGTERM 之前)
  → 对象被标记为 Terminating,从 Endpoints 摘除
  → 执行 preStop 钩子
  → 发送 SIGTERM 给容器主进程
  → 等待 terminationGracePeriodSeconds
  → 超过宽限期发送 SIGKILL
spec:
  terminationGracePeriodSeconds: 30
  containers:
    - name: app
      lifecycle:
        preStop:
          exec:
            command: ["/bin/sh", "-c", "sleep 5"]

判读要点:

  • preStop 与 SIGTERM 阶段共用 terminationGracePeriodSeconds,preStop 耗时过长会挤压进程自身的清理时间
  • preStop 中等待片刻的用途是为 Endpoints 摘除留出传播时间,避免向正在退出的容器继续转发请求
  • 高危 提醒:把 terminationGracePeriodSeconds 设置为 0 会立即发送 SIGKILL,未落盘的写入与未完成的请求全部丢失;对处理长任务的进程还会造成任务状态不一致。防护建议:与业务最长处理时间对齐,并在 preStop 中完成连接排空。回滚方式:恢复原参数值并触发一次滚动重启,受影响的长任务按业务补偿流程重新执行。

滚动发布参数对可用性的影响

参数 作用 取值影响
maxSurge 超出期望副本数的上限 值越大发布越快,瞬时所占资源越多
maxUnavailable 允许不可用的副本数上限 与 maxSurge 同时为 0 会导致发布停滞
minReadySeconds 就绪后观察多久才算可用 值越大越能过滤慢失败,发布持续时间越长
progressDeadlineSeconds 判定发布失败的时间 超过阈值后 Deployment 标记 ProgressDeadlineExceeded
revisionHistoryLimit 保留的历史版本数 值过小会失去回滚目标

判读要点:maxUnavailable 与副本数共同决定发布期间的最小可用实例数,副本数为 2 且 maxUnavailable: 1 时,发布期间只剩 1 个可用实例,容量是按单实例设计的应用会过载。

3.5 配置与密钥

挂载方式与更新行为

使用方式 更新是否生效 说明
卷挂载整体目录 会同步 kubelet 周期性刷新 ConfigMap 与 Secret 卷内容
卷挂载(subPath) 不会同步 subPath 内容是挂载时的快照
环境变量(envFrom 或 valueFrom) 不会更新 变量在容器创建时注入,修改后必须重建 Pod

判读要点:配置以卷方式更新后,应用是否能读到新内容取决于应用自身是否重新打开文件;多数应用需要 rollout restart 触发重建,环境变量方式则必须重建。

kubectl create configmap app-config -n <ns> --from-file=app.yaml
kubectl create secret generic db-cred -n <ns> \
  --from-literal=username=app --from-literal=password=<value>
kubectl rollout restart deploy/<name> -n <ns>
  • 高危 提醒:修改被多个工作负载引用的 ConfigMap 或 Secret 会同时作用于所有引用者,其中可能包含尚未完成灰度验证的服务;Secret 修改后若键名或格式与预期不符,容器会在下次重建时进入 CreateContainerConfigError,而已运行的容器不受影响,故障会推迟到重启时才暴露。防护建议:修改前用 kubectl get cm/secret -o yaml 导出当前值留存,先在同一命名空间以副本对象验证新值,确认消费方兼容后再替换;对不应被修改的对象设置 immutable: true。回滚方式:用保留的旧值执行 kubectl apply 恢复对象,随后对受影响的工作负载执行 kubectl rollout restart,确认容器恢复正常。

密钥管理风险

  1. Secret 的 data 字段是 Base64 编码而非加密,任何取得对象读权限的主体都可还原明文
  2. etcd 默认以明文保存 Secret,需显式启用静态加密(EncryptionConfiguration),并妥善保管加密密钥
  3. RBAC 应把 Secret 的读取权限限制到必要的 ServiceAccount,避免使用通配的 get secrets 授权
  4. Secret 内容出现在 kubectl get secret -o yaml、describe 与部分审计日志中,排查时避免将输出粘贴到不受控位置
  5. imagePullSecrets、dockerconfigjson 类型的 Secret 一旦泄露等同于仓库凭据泄露,应设置短有效期并定期轮换

3.6 存储类故障

PVC 处于 Pending

kubectl describe pvc <pvc> -n <ns>
kubectl get storageclass
kubectl -n kube-system logs deploy/<csi-provisioner>
原因 判读依据 处置
无匹配 StorageClass Events 提示未找到默认 StorageClass 指定 storageClassName 或设置默认存储类
provisioner 未部署 Events 长时间无进展,CSI Pod 不存在或未就绪 部署并确认 CSI 组件就绪
WaitForFirstConsumer 且无 Pod PVC 与 PV 均 Pending,无消费 Pod 创建使用该 PVC 的工作负载
容量或配额不足 Events 提示超出后端容量或配额 调整申请容量或后端配额
拓扑约束不满足 Events 提示可用区不匹配 调整节点亲和或使用延迟绑定

挂载失败

kubectl describe pod <pod> -n <ns> | grep -i -A3 'volume'
kubectl get events -n <ns> --field-selector reason=FailedMount

判读依据:

  • FailedMount: timeout expired waiting for volumes to attach or mount:卷附加或挂载超时,检查节点上的 CSI 节点插件与后端连通性
  • Multi-Attach error for volume:同一 RWO 卷被两个节点同时挂载,通常由 Pod 迁移时旧节点未释放引起
  • FailedMount: mount failed: exit status 32:文件系统或挂载参数不匹配,检查卷的实际格式与 mountOptions

多节点访问模式冲突

  1. RWO 卷在 Pod 迁移时,若旧节点上的容器仍在运行,新节点无法附加该卷,Pod 停在 ContainerCreating
  2. 处置顺序:确认旧 Pod 已删除、旧节点上的卷已卸载(检查 /var/lib/kubelet/plugins 与 lsblk),必要时重启旧节点的 kubelet 触发清理
  3. 需要多节点同时读写的场景应使用 RWX 后端(NFS、CephFS),并在应用层处理并发写入的一致性

数据卷被占用与回收

  • 高危 提醒:reclaimPolicy: Delete 的 StorageClass 下,删除 PVC 会同时删除底层存储卷,数据不可通过集群侧恢复;删除使用该 PVC 的 StatefulSet 时若未保留 volumeClaimTemplates 生成的 PVC 之外的控制,容易连带清理。防护建议:有状态服务的 PVC 删除前先确认底层卷是否已有快照或备份,把生产存储类的回收策略设置为 Retain,删除对象与删除数据分离为两个步骤。回滚方式:Retain 策略下 PV 进入 Released 状态,可移除 claimRef 后重新与该 PVC 绑定恢复访问;Delete 策略下只能从存储侧快照或备份恢复。

3.7 网络与 DNS 类故障

Service 不通的三层排查顺序

  1. 后端是否就绪
kubectl get endpoints <svc> -n <ns> -o wide
kubectl get pods -n <ns> -l <selector> -o wide
kubectl get pod <pod> -n <ns> -o jsonpath='{.status.containerStatuses[*].ready}'
  • Endpoints 为空说明无就绪后端,转入 readiness 与 selector 排查
  1. Service 与端口是否正确
kubectl get svc <svc> -n <ns> -o yaml
kubectl get pod <pod> -n <ns> -o jsonpath='{.spec.containers[*].ports[*].containerPort}'
  • port 是 Service 对外端口,targetPort 是容器端口,两者写反会导致连接被转发到未监听的端口
  1. 转发规则与策略是否生效
kubectl exec -it <pod> -n <ns> -- nc -zv <svc> <port>
kubectl exec -it <pod> -n <ns> -- nc -zv <pod-ip> <port>
kubectl get networkpolicy -n <ns>
# 在 Service 所在节点上查看转发链
sudo iptables -t nat -L KUBE-SERVICES -n | head

判读依据:

  • 直连 Pod 地址通、Service 地址不通:转发规则或 kube-proxy 异常
  • 直连 Pod 地址也不通:容器端口未监听,或网络策略阻断
  • 由 Pod 内解析出的 Service 地址正确但连接被拒绝:targetPort 指向的端口无监听

CoreDNS 解析失败

kubectl get pods -n kube-system -l k8s-app=kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns --tail=100
kubectl get cm coredns -n kube-system -o yaml
kubectl exec -it <pod> -n <ns> -- cat /etc/resolv.conf
kubectl exec -it <pod> -n <ns> -- nslookup kubernetes.default.svc.cluster.local

判读依据与处置:

现象 原因 处置
resolv.conf 指向的地址无响应 CoreDNS Pod 未就绪或副本数不足 检查 Deployment 副本数、节点资源与 CoreDNS 日志
Corefile 中 forward 指向的上游不可达 上游 DNS 变更或节点网络策略限制 修正 Corefile 中的 forward 列表,重启 CoreDNS
集群内域名解析正常、外部域名失败 上游转发被拦截或 CoreDNS 所在节点出口受限 验证节点到上游 DNS 的连通性与防火墙策略
个别 Pod 解析失败 该 Pod 使用 hostNetwork 或 dnsPolicy: Default 按需改为 ClusterFirst 或显式配置 dnsConfig

NetworkPolicy 拦截

  1. 未定义任何策略时,命名空间内流量默认不受限制
  2. 一旦某个 Pod 被任一 NetworkPolicy 的 podSelector 选中,其对应方向(由 policyTypes 决定入站或出站)即转为默认拒绝,只放行策略中列举的流量
  3. 常见遗漏:放行了入站但未放行出站、DNS 出站未放行(需允许到 kube-dns 的 UDP 与 TCP 53)、命名空间选择器与实际标签不一致
  4. 判读要点:策略生效依赖 CNI 实现支持,Calico、Cilium 支持该资源,Flannel 默认不支持

跨节点通信异常

现象 排查位置 常见原因
同节点 Pod 互通、跨节点不通 节点路由表与封装接口 CNI 未就绪、封装协议被防火墙阻断
小包正常、大包超时 ping -M do -s <size> 逐步探测 MTU 不匹配,封装后可用 MTU 小于默认值
间歇性丢包 内核丢包计数与网卡统计 封装开销导致拥塞、网卡队列溢出
NAT 后连接异常 节点 iptables FORWARD 链策略 转发链被置为 DROP

判读要点:VXLAN 与 IPIP 封装会占用额外字节,隧道模式下 Pod 网络的可用 MTU 应小于节点网卡 MTU,应用侧表现为大报文连接建立后卡住。宿主机侧的连接与丢包排查命令参见 Ubuntu 网络诊断与远程连接命令。

Ingress 与后端不匹配

  1. host 与 path 规则与请求不匹配,返回 404
  2. 后端 Service 名称或端口错误,返回 502
  3. 后端 Service 无就绪 Endpoints,返回 503
  4. 未指定 ingressClassName 且集群存在多个 Ingress Controller,规则未被任何控制器接管
  5. TLS 配置引用的 Secret 不存在或证书与域名不符,握手阶段失败
  6. 判读依据:Ingress Controller 的访问日志与错误日志是定位入口问题的第一位置,其次才是后端 Pod 日志

3.8 集群资源与配额

namespace 级配额

apiVersion: v1
kind: ResourceQuota
metadata:
  name: team-quota
  namespace: team-a
spec:
  hard:
    requests.cpu: "20"
    requests.memory: 40Gi
    limits.cpu: "40"
    limits.memory: 80Gi
    pods: "100"
    services: "20"
    persistentvolumeclaims: "10"
  • 配额按 namespace 统计,超出时报错为 exceeded quota,Pod 创建被 apiserver 拒绝
  • 设置了 requests.* 或 limits.* 配额后,命名空间内的 Pod 必须声明对应字段,否则被拒绝

LimitRange

apiVersion: v1
kind: LimitRange
metadata:
  name: default-limits
  namespace: team-a
spec:
  limits:
    - type: Container
      default:
        cpu: 500m
        memory: 512Mi
      defaultRequest:
        cpu: 100m
        memory: 128Mi
      max:
        cpu: "4"
        memory: 8Gi
      min:
        cpu: 50m
        memory: 64Mi

判读要点:

  • default 与 defaultRequest 为未声明资源的容器补默认值,可避免 Pod 落入 BestEffort
  • max 与 min 限制单容器规模,超出时报 maximum cpu usage per Container is 4 一类错误
  • 同时存在 LimitRange 与 ResourceQuota 时,先由 LimitRange 补齐默认值,再由配额校验总量

资源碎片与调度失败

  1. 集群总体剩余资源充足,但没有任何单个节点能满足 Pod 的 requests 时,Pod 持续 Pending
  2. 常见成因:单节点被若干大规格 Pod 切分后剩余空间零散、Pod 的 requests 与节点规格不匹配
  3. 处置方向:下调 Pod 的 requests 至实际用量、调整节点池规格、使用更细的实例规格、按工作负载拆分节点池
  4. 判读依据:
kubectl describe node <node> | sed -n '/Allocated resources/,/Events/p'
kubectl get pods -A -o wide --field-selector status.phase=Running

节点规格与超卖边界

  • requests 是调度承诺,limits 是运行上限,节点上所有 Pod 的 limits 总和可以远超节点容量
  • 超卖带来的风险是突发流量下的资源争抢:CPU 表现为延迟抖动与节流,内存表现为节点级 OOM
  • 判断超卖是否合理需要同时观察节点资源水位与容器侧的节流与 OOM 指标,宿主机指标口径与告警配置参见 linux: 监控与告警 与 linux: 巡检与健康检查

3.9 发布与回滚

滚动更新

spec:
  replicas: 4
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  minReadySeconds: 10
  progressDeadlineSeconds: 600
  revisionHistoryLimit: 5
  • maxUnavailable: 0 配合 maxSurge: 1 表示发布期间不减少可用实例,代价是临时多占一份资源
  • minReadySeconds 让 Pod 就绪后保持观察,能过滤“就绪后立即崩溃”的版本
  • 判定失败后不会自动回滚,需要人工执行 rollout undo

金丝雀与蓝绿

方式 实现 特点
金丝雀(副本比例) 新增一个 Deployment 并共享同一 Service 无需改动入口配置,流量按副本比例分配,粒度较粗
金丝雀(入口权重) 在 Ingress Controller 或服务网格中按权重分流 粒度细,可按请求头与用户维度控制
蓝绿 两套 Deployment,切换 Service 的 selector 切换与回滚为一次 selector 变更,需要双份资源

判读要点:副本比例分流的实际流量比例受连接复用影响,长连接场景下与实际副本比例偏差较大;入口权重分流需要入口组件支持相应配置。

回滚与前置检查

kubectl rollout history deploy/<name> -n <ns>
kubectl rollout history deploy/<name> -n <ns> --revision=<n>
kubectl rollout undo deploy/<name> -n <ns> --to-revision=<n>
kubectl rollout status deploy/<name> -n <ns>

前置检查项:

  1. 目标版本在 rollout history 中存在,且其镜像标签仍可在仓库中拉取
  2. 旧版本的配置依赖(ConfigMap、Secret、环境变量)仍然存在且键名一致
  3. 版本之间是否存在不可逆变更:数据库结构变更、消息格式变更、外部接口协议变更,这类变更无法通过回滚 Deployment 撤销
  4. 当前是否存在未完成的发布,rollout pause 状态下的回滚需先恢复

发布后验证项

  • rollout status 返回成功且可用副本数达到期望值
  • 新 Pod 全部就绪,Endpoints 中后端数量与副本数一致
  • 入口层的错误率与延迟指标未出现阶跃
  • 应用日志中无新的异常关键字,且启动日志中的配置版本与新配置一致
  • 关键业务链路的手工拨测通过

3.10 集群升级与维护

升级顺序

etcd 备份
  → 升级控制面(apiserver、scheduler、controller-manager,按节点逐一进行)
  → 升级 kube-proxy 与 CoreDNS 等附加组件
  → 逐节点排水、升级 kubelet 与容器运行时、恢复调度
  → 验证节点状态、工作负载与入口

判读要点:

  • 一次升级的版本跨度不超过一个次版本,跨多个次版本需分阶段进行
  • kubelet 版本不得高于 apiserver 版本,允许滞后但需在官方兼容窗口内
  • 容器运行时(containerd)版本需与 kubelet 的 CRI 要求匹配,升级前核对版本矩阵
  • 控制面节点逐一升级可保证 apiserver 与 etcd 始终有多数成员可用

排水与不可用预算

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: web-pdb
spec:
  minAvailable: 2          # 或使用 maxUnavailable: 1
  selector:
    matchLabels:
      app: web

判读要点:

  • PDB 只约束自愿中断(drain、节点维护),不约束节点故障等非自愿中断
  • 未配置 PDB 时,drain 会依次驱逐节点上所有可驱逐的 Pod,多副本工作负载可能被全部移走
  • PDB 的 minAvailable 与副本数接近时,drain 会长时间阻塞,需确认其余节点的容量是否允许接收被驱逐的副本

备份 etcd 的必要性

etcd 保存集群全部对象与状态,是唯一无法由其他组件重建的数据。

ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /var/backups/etcd-$(date +%Y%m%d%H%M).db

ETCDCTL_API=3 etcdctl --write-out=table snapshot status /var/backups/etcd-<时间戳>.db
  • 高危 提醒:etcdctl snapshot restore 会覆盖 etcd 数据目录并重建成员信息,在仍在运行的集群上执行会导致状态回退到快照时刻,快照之后创建的 Pod、Service、PVC 与配置全部丢失;恢复过程中 apiserver 必须停止,否则会出现写入与恢复相互覆盖。防护建议:恢复前停止控制面上的 apiserver、scheduler、controller-manager 与 etcd(static pod 通过移出 /etc/kubernetes/manifests 实现),把原 /var/lib/etcd 目录整体重命名保留,用 --data-dir 恢复到新目录后核对成员列表与对象数量,再启动控制面。回滚方式:恢复失败时把原数据目录改名回原位并重新启动 etcd 与 apiserver;同时保留最近若干份快照与恢复前的数据目录副本,直到集群验证通过。

  • 备份要点:快照应覆盖证书与 kubeconfig(/etc/kubernetes/pki、/etc/kubernetes/*.conf),保存到集群之外的位置,并定期做恢复演练验证快照可用

  • 证书维护:控制面证书存在有效期,到期后 apiserver 与 kubelet 通信失败,节点转为 NotReady;证书轮换需按官方流程逐一节点执行

3.11 可观测性衔接

指标采集位置

采集对象 来源 内容
容器资源用量 kubelet 的 cAdvisor 端点(/metrics/cadvisor) CPU、内存、文件系统、网络与 cgroup 节流计数
节点资源用量 node_exporter 或节点层采集器 与单机监控口径一致
Kubernetes 对象状态 kube-state-metrics 副本数、就绪数、重启次数、PVC 状态、节点条件
控制面组件 apiserver、scheduler、controller-manager 的 /metrics 请求延迟、队列长度、调谐错误
应用 应用自身暴露的 /metrics 业务指标

判读要点:容器内存用量应取 cgroup 统计而非 /proc/meminfo,后者在部分运行时下仍是宿主机数据;容器级节流与 OOM 计数是判断 limits 是否合理的直接依据。

日志采集位置

ls /var/log/pods/<namespace>_<pod>_<uid>/<container>/
ls -l /var/log/containers/ | head
  • 容器标准输出与标准错误由运行时落盘到节点,/var/log/containers 下是便于按 Pod 名检索的符号链接
  • kubectl logs 读取的是容器运行时保存的日志,容器被删除后不可再读,需依赖节点日志采集
  • 集群内采集通常以 DaemonSet 形式部署,容器日志的轮转与容量治理与单机场景一致,参考 Docker 容器日志管理 与 logrotate 日志轮转

事件与审计日志

数据 位置 保留特点
Event etcd 中的对象 默认保留时间较短,需主动采集或导出
审计日志 apiserver 的 --audit-log-path 配置位置 记录谁在何时对哪个对象执行了何种操作
控制面组件日志 静态 Pod 的节点日志(journalctl -u kubelet 与容器日志) 用于定位 apiserver、etcd 与调度器异常

判读要点:审计日志是变更追溯的权威来源,kubectl 操作、控制器行为与 kubelet 心跳都会留下记录;日志检索命令与字段过滤方式参见 linux: 日志查询与审计命令。

与宿主机监控的关系

  1. 节点层指标回答“机器是否健康”:CPU 与内存水位、磁盘空间与 inode、网络丢包、内核日志中的 OOM 与磁盘错误
  2. 容器层指标回答“工作负载是否受限”:cgroup 内存峰值、CPU 节流计数、重启次数、就绪副本数
  3. 两者结合才能区分故障归属:节点资源耗尽会同时影响多个工作负载,单个容器受限只影响其自身
  4. 指标口径、告警规则构成与阈值取值参见 linux: 监控与告警,巡检项与检查清单参见 linux: 巡检与健康检查,主机侧资源与进程层面的排查手段参见 linux: 进程管理 与 linux: systemd 介绍与使用

四、总结

  • 集群编排相对单机编排新增了调度、自愈、滚动发布、配置与密钥、服务发现五类问题,运维视角与开发视角的关注点不同,交汇在 requests、limits 与探针参数
  • 控制面由 apiserver、etcd、scheduler、controller-manager 组成,工作节点由 kubelet、容器运行时、kube-proxy 与 CNI 组成;apiserver 无状态可多副本,etcd 有状态需保证多数成员可用
  • 声明式模型以 spec 为期望、status 为实际,控制器持续调谐;手工改动控制器管理的对象会被拉回,apply 做三方合并,replace 整体覆盖
  • 调度按 requests 过滤节点并按 QoS 决定驱逐顺序,limits 决定运行上限;CPU 超限表现为节流,内存超限表现为 OOMKilled
  • 网络模型中 Pod 地址可变,Service 提供稳定入口,kube-proxy 负责转发,DNS 记录按 服务.命名空间.svc.集群域 组织,Ingress 只声明 L7 路由且依赖控制器落地
  • 存储模型中 emptyDir 与 hostPath 绑定 Pod 或节点,PV 与 PVC 一一绑定,StorageClass 决定供给与回收策略,RWO 的约束单位是节点
  • 故障排查遵循固定顺序:先看 describe 的 Events 与 Conditions,再看日志与退出码,最后进入节点层与网络层;CrashLoopBackOff 依赖 logs --previous 与退出码判读
  • 探针的职责不可混用:liveness 失败会重启,readiness 失败会摘除流量,startup 用于保护慢启动应用;优雅终止由 preStop 与 terminationGracePeriodSeconds 共同实现
  • ConfigMap 与 Secret 以卷方式挂载会同步,环境变量方式不更新;Secret 是编码而非加密,需启用静态加密并收敛 RBAC
  • 发布与回滚以前置检查为基础,不可逆变更无法通过回滚 Deployment 撤销;升级按控制面、附加组件、节点的顺序推进,并配置 PDB 控制不可用预算
  • drain、强制删除 Pod、删除 Retain 之外的 PVC、修改被多方引用的 Secret、etcd 快照恢复属于高危操作,执行前必须确认影响范围并准备回滚路径
  • 可观测性由节点指标、容器指标、对象状态、事件与审计日志共同构成,容器日志采集与单机日志治理方式一致,跨主机排查手段参见 Ubuntu 网络诊断与远程连接命令,同类故障的处置思路可参考 linux: 故障案例库