内容总览
一、起源:单点故障与可用性度量
1.1 单点故障的定义与影响路径
单点故障指系统中某个组件一旦失效,即导致整体服务不可用。单点不限于硬件,其范围包括:
- 硬件:单台服务器、单块系统盘、单路电源、单张网卡、单台接入交换机、单条上联链路
- 软件:单进程实例、单数据库主库、单存储控制器、单队列节点
- 配置与运维:仅存于单机且未纳入版本管理的配置、只由一人掌握的口令与操作流程
- 外部依赖:单条专线、单个 DNS 服务、单个证书签发与校验链路
失效的影响沿依赖方向传递:底层组件失效导致依赖它的服务失效,最终表现为用户侧不可用。识别单点的方法是沿一条真实请求路径逐跳展开,而不是按设备清单罗列。多数情况下,架构中的单点并非计算节点,而是被忽略的网络路径、存储控制器或监控系统本身。
1.2 可用性度量:MTBF 与 MTTR
可用性的度量依赖两个时间量:
- MTBF(Mean Time Between Failures,平均无故障时间):两次故障之间的平均正常运行时长,反映系统有多容易出故障
- MTTR(Mean Time To Repair,平均修复时间):从故障发生到服务恢复的平均耗时,反映系统有多快能恢复
两者的直观含义与换算关系:
可用性 = MTBF / (MTBF + MTTR)
由该式可得两个结论:
- 可用性由"故障发生频率"与"故障恢复速度"共同决定,提高 MTBF(做冗余、提高部件可靠性)成本高且收益递减
- 缩短 MTTR(自动切换、快速定位、预案完备)对可用性的提升更直接,且在多数场景下成本更低
可用性百分比与允许停机时间的换算关系:
| 可用性 | 年停机时间(按 365 天计) | 月停机时间(按 30 天计) | 典型形态 |
|---|---|---|---|
| 99%(2 个 9) | 87.6 小时 | 7.2 小时 | 单机部署加人工恢复 |
| 99.9%(3 个 9) | 8.76 小时 | 43.2 分钟 | 具备监控与预案的常规业务 |
| 99.95% | 4.38 小时 | 21.6 分钟 | 主备切换加自动检测 |
| 99.99%(4 个 9) | 52.6 分钟 | 4.32 分钟 | 多活或自动切换且切换可验证 |
| 99.999%(5 个 9) | 5.26 分钟 | 25.9 秒 | 全链路冗余且故障域隔离 |
换算依据:年停机时间 = 365 × 24 × 60 × (1 − 可用性),单位为分钟。该表为线性比例计算的结果,未考虑故障在时间上的分布,实际统计还需明确测量口径。
度量口径必须绑定测量点,不同口径的统计结果差异明显:
- 用户侧口径:从外部探测发起真实请求,统计成功率,最接近业务感受
- 入口层口径:统计负载均衡层的可用性,无法反映其后端全部故障
- 组件层口径:统计单实例存活时间,通常高估整体可用性
一次计划外的重启若造成数分钟不可用,即可能消耗掉 4 个 9 全年停机预算的相当比例。这也是可用性目标必须与 MTTR 目标一起制定的原因。
1.3 单点清单的梳理方式
梳理单点按以下步骤执行:
- 选取一条代表性请求路径:DNS → 出口网络 → 入口负载均衡 → 应用实例 → 中间件 → 存储 → 外部依赖
- 逐跳记录组件信息,建议使用固定字段的表格:
| 字段 | 说明 |
|---|---|
| 组件名称 | 节点名、服务名或设备名 |
| 实例数量 | 当前共有几个可用实例 |
| 冗余方式 | 主备、多活、集群、无冗余 |
| 依赖关系 | 该组件失效会连带影响哪些上层组件 |
| 切换方式 | 自动或人工,使用的机制 |
| 失效表现 | 用户侧可见的现象 |
| 是否单点 | 实例数量为 1 且无接管机制即判定为单点 |
- 判定原则:实例数量为 1 且无接管机制的组件即为单点;有冗余但切换机制未验证的组件,仍按潜在单点对待
- 定期复核:新增组件、扩容、网络调整、架构演进都会引入新的单点,清单需随之更新
容易被忽略的单点包括:接入交换机与上联链路、机房供电与制冷、共享存储控制器、证书与密钥管理服务、时间同步源、监控与告警系统本身。监控系统失效时故障会静默发生,因此监控系统自身也需纳入单点清单。
1.4 单点的处理顺序
处理顺序按"影响面 ÷ 处理代价"排序:
- 影响面大、切换代价低的单点优先处理
- 无状态组件做多实例的成本最低,优先实施
- 有状态组件的切换代价高,需要共享存储或数据复制机制配合,通常放在后续阶段
- 无法消除的单点(如机房出口链路)需要准备降级方案与人工接管预案,并明确责任人与操作步骤
二、原理:检测、接管与资源管理
2.1 高可用的两个核心动作与检测方式差异
高可用在机制层面只包含两个动作:
- 故障检测:判断当前承担服务的节点是否仍然可用
- 流量切换:把访问入口指向可用节点
两个动作相互独立,可分别选型。检测方式决定了"故障"的判定标准,是误判与漏判的主要来源:
| 检测方式 | 判定依据 | 能发现的问题 | 不能发现的问题 | 成本 |
|---|---|---|---|---|
| 进程检测 | 进程是否存在 | 进程退出、崩溃 | 进程僵死、线程死锁、内部错误 | 最低 |
| 端口检测 | 监听端口能否建立连接 | 进程退出、端口未监听、监听地址错误 | 端口在但业务处理失败、后端依赖故障 | 低 |
| 协议检测 | 按应用层协议完成一次交互 | 应用层握手失败、响应码异常 | 部分业务逻辑错误、数据层故障 | 中 |
| 应用探活 | 请求业务健康接口并校验返回 | 依赖不可用、读写异常、业务不可服务 | 未被健康接口覆盖的路径 | 高 |
检测方式的取舍要点:
- 进程检测与端口检测最轻量,适合作为第一层过滤,但误判率高,易出现"进程在、服务已不可用"的假存活
- 协议检测需按协议实现探活逻辑,如 HTTP 请求、数据库握手,能覆盖连接建立之后的失败
- 应用探活最贴近真实可用性,但要求业务提供健康接口;该接口本身不应触发重业务逻辑,避免探活成为额外负载
- 探活频率与超时需与业务响应时间匹配:频率过高增加被探测端负担,超时过短会把正常慢请求判为故障
检测结果的判定还涉及以下机制:
- 失败阈值与恢复阈值:连续失败达到阈值才判定故障,连续成功达到阈值才判定恢复,用于过滤瞬时抖动
- 检测脚本保护:健康检查脚本需设置自身超时与并发保护,否则脚本挂起会造成检查进程堆积
- 决策方式:两节点互检的实现简单,但分裂时双方都可能认为对方故障;多数决策(quorum)要求达到多数成员才能做出决定,可从机制上避免分裂后的双主,代价是需要奇数成员或仲裁设备
2.2 虚拟 IP 与地址接管
虚拟 IP(VIP)是不固定配置在某一台物理主机上、可在节点之间迁移的地址。客户端只访问 VIP,不感知后端节点变化。
使用 VIP 的直接收益:
- 客户端配置固定,切换过程对客户端透明,无需修改客户端或 DNS 记录
- 避免依赖 DNS 变更,DNS 存在缓存与生效延迟,无法满足秒级切换要求
VIP 接管的机制建立在 ARP 之上:
- 同一网段内,主机发送报文前先通过 ARP 把目的 IP 解析为 MAC,再据此封装二层帧
- 主机同时维护 ARP 缓存,缓存未过期时不会重新发起 ARP 请求
- 免费 ARP(gratuitous ARP)是主机主动广播"某 IP 对应本机 MAC"的报文,用于刷新同网段其他主机的 ARP 缓存,ARP 请求与应答的完整过程参见 网络技术手册
接管流程:
- 新主节点把 VIP 配置到指定网卡
- 新主节点发送免费 ARP,广播新的 IP 与 MAC 对应关系
- 同网段其他主机与网关更新 ARP 缓存
- 后续发往 VIP 的流量到达新主节点
由此产生两个限制:
- 同一网段限制:VIP 接管依赖二层广播,主备节点必须处于同一二层网络。若网关或上游设备的 ARP 缓存未刷新,会出现"新主已持有 VIP,流量仍发往旧主"的现象
- 跨网段切换代价:跨网段无法用免费 ARP 接管,需要路由协议重新发布该地址,或由上游设备修改静态路由。收敛时间为秒级到分钟级,且需要网络设备侧配合,故障点由主机侧扩展到网络侧
常见的接管失败原因:免费 ARP 被上游设备的 ARP 抑制或端口安全策略丢弃、交换机 MAC 地址表未及时更新、虚拟化平台的防 MAC 欺骗策略未放行 VIP、主机侧的 ARP 缓存未刷新而继续使用旧映射。
2.3 VRRP 协议与主备角色
VRRP(Virtual Router Redundancy Protocol,虚拟路由器冗余协议)把多台设备组织为一个虚拟路由器,对外表现为一个 VIP 与一个虚拟 MAC 地址。
角色与状态机:
- Master:持有 VIP,响应针对 VIP 的 ARP 请求,周期性发送 VRRP 通告
- Backup:不持有 VIP,只监听通告;在超时未收到通告时接管
- 通告间隔默认 1 秒,Backup 在默认 3 倍通告间隔内未收到通告即判定 Master 故障
关键机制:
- 优先级:数值越大越优先,取值范围 1 至 254,默认 100;优先级为 255 时立即成为 Master,用于地址拥有者场景;优先级相同时比较接口 IP 地址,较大者成为 Master
- 抢占:Backup 收到优先级更高的通告时,是否立即让出 Master 角色。关闭抢占可避免原主恢复后立刻回切造成二次中断
- 认证:支持简单口令认证,作用是防止不同业务组的 VRRP 报文串组,不具备安全强度
- 单播与组播:默认使用组播地址 224.0.0.18(VRRPv2)或 224.0.0.18 与 FF02::12(VRRPv3);部分网络的接入设备或云环境禁止组播,此时需改为单播方式显式指定对端地址
脑裂的成因(即出现两个 Master):
- 心跳链路故障:主备之间的通告报文全部丢失,双方都认为对方不可用
- 防火墙或安全组拦截 VRRP 协议(IP 协议号 112)或拦截组播
- 配置不一致:
virtual_router_id不同、认证口令不同、双方优先级相同且都满足成为 Master 的条件 - 两组不同业务的 VRRP 实例在同一广播域使用相同的
virtual_router_id,导致报文互相干扰
脑裂的后果:两个节点同时持有 VIP 并各自发送免费 ARP,同网段主机的 ARP 表在两者之间反复刷新,流量随机落到不同节点。对无状态服务表现为请求结果不一致,对数据库等有状态服务则可能造成双写。
需明确的是 VRRP 属于主备模型,同一时刻只有一个节点转发流量,不具备负载分担能力。部分实现可通过配置多组 VIP 分布在多个节点上,本质上仍是多组主备的叠加。
2.4 资源管理与集群
资源管理器把服务进程、VIP、文件系统挂载、共享存储挂载等抽象为"资源",由集群统一决定资源在哪个节点启动、如何迁移,从而实现比单一 VRRP 更完整的接管。
资源类型与代理
资源代理(Resource Agent)是集群调用资源的标准化脚本,按接口规范分为三类:
| 类型 | 位置 | 接口特点 | 适用场景 |
|---|---|---|---|
| LSB | /etc/init.d/ | 仅约定 start/stop/status,状态返回值语义宽松 | 遗留脚本,集群难以准确判断运行状态 |
| OCF | 资源代理目录下 | 统一动作集合(start/stop/monitor/status/validate 等),带返回值语义 | 主流选择,Pacemaker 默认使用 |
| systemd | 无需独立脚本 | 直接调用 systemd 单元 | 已由 systemd 管理的服务 |
常见资源类型举例:IPaddr2(VIP)、Filesystem(挂载)、systemd:nginx(服务)、ocf:heartbeat:mysql(数据库)、LVM(逻辑卷激活)。
约束与依赖
约束描述资源之间的真实业务关系,缺失约束会导致资源在不满足依赖的节点上启动:
- 位置约束:限定资源可在哪些节点运行,用于硬件绑定或容量隔离
- 顺序约束:规定启动与停止的先后顺序,例如文件系统挂载完成后再启动服务
- 共置约束:规定两个资源必须位于同一节点(如 VIP 与后端服务)或必须分离(如互斥的主备实例)
- 资源粘性:控制资源在无故障时是否倾向于留在当前节点,取值过低会造成频繁迁移
约束必须与业务依赖一致,典型依赖链为:共享存储挂载 → 文件系统挂载 → 应用进程 → VIP。顺序中任意一环错误都会造成启动失败或数据不一致。
组与顺序
把需要共同迁移的资源放入同一组(group),组内资源按声明顺序启动、按逆序停止。组的价值在于把多个资源的迁移决策合并为一次操作,避免出现"VIP 已迁移、服务未迁移"的中间状态。
fencing 与 STONITH 的必要性
当集群无法确认某节点的实际状态(节点失联、心跳中断、进程无响应)时,如果直接在其他节点启动资源,可能与仍在运行的旧实例同时访问同一资源。对共享存储而言,两个节点同时以读写方式挂载同一块存储会破坏文件系统元数据。
fencing(隔离)指强制隔离故障节点,使其无法继续访问共享资源。STONITH(Shoot The Other Node In The Head)是常用的电源级隔离手段,通过电源管理接口强制断电或重启目标节点。
核心原则是先隔离、再恢复:只有确认旧节点已失去对共享资源的访问能力,集群才会在新节点启动资源。未配置 fencing 的集群在无法确认节点状态时会拒绝启动资源,这是保护机制而非故障现象。
2.5 共享数据与一致性
共享存储类型
| 类型 | 举例 | 并发访问能力 | 注意点 |
|---|---|---|---|
| 块级共享 | 光纤通道 SAN、iSCSI、云盘共享 | 同一时刻只能由一台主机挂载读写 | 必须有 fencing,双挂载会损坏文件系统 |
| 文件级共享 | NFS、SMB | 支持多主机同时挂载 | 需确认应用是否支持并发写 |
| 集群文件系统 | GFS2、OCFS2 | 支持多节点同时读写 | 依赖分布式锁管理,配置复杂 |
| 复制型存储 | 数据库主从复制、块设备复制 | 各节点持有本地副本 | 切换时需处理复制延迟与位点 |
块级共享存储的多路径接入、设备映射与路径切换判读参见 linux: 磁盘存储与文件系统操作命令。把共享存储设备作为物理卷使用、并在此基础上划分逻辑卷的流程参见 linux:逻辑卷LVM。
双写风险
双写指同一块共享存储在两个节点上同时被以读写方式挂载。后果是文件系统元数据与文件内容被交叉覆盖:
- 文件系统层面:元数据不一致,通常需要修复且无法保证数据完整
- 应用层面:两个实例各自持有不同的内存状态与写入顺序,业务数据出现无法自动合并的分歧
- 恢复难度:块级设备上的损坏没有统一的事务日志可回放,恢复往往依赖备份
因此块级共享存储的集群必须配置 fencing,且不能在集群之外以手工方式临时挂载同一设备。
仲裁与 quorum
quorum(法定人数)指集群中能够参与决策的成员需达到多数,用于避免集群分裂后两侧都启动资源:
- 3 个及以上节点的集群天然具备多数判定条件
- 2 个节点分裂后各占一半,没有多数方,需要引入仲裁设备(quorum device)或仲裁节点打破平局
- 仲裁设备的常见形式为一块可被双方访问的共享盘或一个独立的仲裁进程
- 未达到 quorum 的一侧不能启动资源,这是防止脑裂的机制;若要求失联侧继续提供服务,需要显式修改 quorum 策略并承担双主风险
复制延迟与数据一致性
基于复制的数据层在切换时会面临数据丢失窗口:
- 异步复制下,切换会丢失尚未同步到备节点的数据,切换前需核对复制位点
- 半同步复制可以缩小丢失窗口,但不能消除(超时后仍会退化为异步)
- 切换完成后应对主备数据一致性做校验,包括数据量、校验和与关键业务表的一致性
2.6 分层高可用的取舍
高可用按层次拆分,每层独立决定冗余方式,避免上层冗余被下层单点抵消。
| 层次 | 常见组合 | 该层自身的单点 | 切换代价 |
|---|---|---|---|
| 网络层 | 双上联链路、双交换机、链路聚合 | 上联交换机、机房出口、专线 | 由网络侧机制决定,通常秒级 |
| 负载均衡层 | 主备(keepalived 加四层或七层转发)或多活入口 | 负载均衡器本身 | 秒级 |
| 应用层 | 无状态多实例加负载均衡;有状态应用做会话外部化 | 单实例、依赖本地磁盘的实例 | 秒级,无状态最易切换 |
| 数据层 | 主从复制加自动切换、共享存储加集群管理、分布式存储 | 单主库、单存储控制器、单份数据 | 秒级到分钟级,通常需人工确认 |
分层设计的取舍原则:
- 逐层核对:每层都需明确本层的冗余方式与切换方式,任一层的单点都会抵消上层的冗余
- 冗余层数与复杂度同步增长:参与切换的组件越多,脑裂与误切换的可能性越大,运维复杂度上升
- 切换机制必须先验证再依赖:未经过演练的切换流程在真实故障中往往不可用或耗时远超预期
- 数据层的切换决策通常保留人工确认:自动切换在数据一致性上的风险高于可用性收益,多数场景采用自动检测、人工或半自动切换
- 容器编排层的控制面高可用属于另一套机制,控制面组件分工、etcd 多数成员可用与集群升级维护参见 Kubernetes 运维与排障
三、实现:配置、演练与处置
3.1 keepalived 主备
keepalived 由两部分构成:VRRP 状态机(vrrp_instance)负责角色与 VIP 接管,健康检查(vrrp_script)负责触发状态变化。
配置结构
# /etc/keepalived/keepalived.conf
global_defs {
router_id lb-node-01 # 本节点标识,主备不应相同
script_user keepalived_script # 健康检查脚本的执行用户
enable_script_security # 脚本以非 root 身份执行时的安全开关
notification_email {
ops@example.com
}
notification_email_from keepalived@example.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
}
# 健康检查:进程、端口与业务接口三层判定
vrrp_script chk_web {
script "/usr/local/sbin/chk_web.sh"
interval 3 # 检查间隔,单位秒
timeout 2 # 单次检查超时
weight -30 # 检查失败时优先级降低的幅度
fall 2 # 连续失败次数达到该值判定故障
rise 2 # 连续成功次数达到该值判定恢复
}
vrrp_instance VI_1 {
state BACKUP # 主备建议均配置 BACKUP,由优先级决定角色
interface ens192
virtual_router_id 51 # 同一组内必须一致
priority 150 # 备节点配置更低的值,例如 100
advert_int 1 # 通告间隔
nopreempt # 不抢占,避免原主恢复后立即回切
authentication {
auth_type PASS
auth_pass <组内一致的口令>
}
unicast_src_ip 10.0.0.11
unicast_peer {
10.0.0.12 # 显式单播对端,避免依赖组播
}
virtual_ipaddress {
10.0.0.100/24 dev ens192 label ens192:vip
}
track_script {
chk_web
}
notify_master "/usr/local/sbin/notify.sh master"
notify_backup "/usr/local/sbin/notify.sh backup"
notify_fault "/usr/local/sbin/notify.sh fault"
}
配置要点:
state在启用优先级决定角色后仅影响初始状态,两台节点均配置BACKUP可避免双方同时以MASTER启动nopreempt仅在state BACKUP下生效;配置后原主恢复不会自动回切,回切需人工执行unicast_peer用于禁止组播的网络环境,主备需互相配置对方地址- 认证口令仅用于防止串组,不应作为安全手段,配置文件中不应出现与其他系统复用的口令
健康检查脚本与权重
#!/bin/bash
# /usr/local/sbin/chk_web.sh
# 进程、端口与业务接口均通过才判定健康
pgrep -x nginx >/dev/null || exit 1
ss -lnt | grep -q ':80 ' || exit 1
curl -sf -m 2 -o /dev/null http://127.0.0.1/healthz || exit 1
exit 0
权重的取值规则与常见错误:
- 权重为正:检查成功时提高本节点优先级;权重为负:检查失败时降低本节点优先级
- 使用负权重实现故障让位时,必须保证
本节点基础优先级 + 负权重 < 对端优先级,否则优先级仍高于对端,不会发生切换 - 例如本节点优先级 150、对端 100、权重 -30,则故障后本节点为 120 仍高于 100,不会让位;权重应取 -60 或更低
- 权重绝对值过大或过小都不可取:过小不触发切换,过大会影响恢复后的优先级排序
状态查看与日志判读
# 当前 VIP 归属
ip -br addr show ens192
# 服务状态
systemctl status keepalived
# 实时日志
journalctl -u keepalived -f
# 提取状态迁移与通告处理记录
journalctl -u keepalived --since "10 min ago" | grep -Ei "VRRP_Instance|Entering|Transition|priority"
# 抓取 VRRP 通告,确认报文方向与频率
sudo tcpdump -i ens192 -nn 'vrrp'
日志判读依据:
| 日志片段 | 含义 |
|---|---|
Entering MASTER STATE | 本节点成为主,持有 VIP |
Entering BACKUP STATE | 本节点成为备,释放 VIP |
Received advert with higher priority | 收到更高优先级通告,抢占被触发 |
Transition to MASTER STATE | 状态迁移,通常由超时或健康检查失败引起 |
Timeout receiving VRRP advertisement | 通告超时,需核对心跳链路与防火墙 |
日志中状态迁移频繁出现说明心跳链路不稳定,应先处理链路再调整优先级与权重。
切换验证方法
# 1. 记录切换前 VIP 归属
ip -br addr show ens192
# 2. 在客户端侧持续请求,记录成功率
while true; do curl -s -o /dev/null -w "%{http_code} %{time_total}\n" http://10.0.0.100/; sleep 1; done
在主机上触发健康检查失败以验证自动切换,属于影响线上流量的操作:
高危 停止正在提供服务的进程会立即中断该节点承载的业务,必须在维护窗口并确认对端节点可正常接管后执行。兜底与回滚方式:执行前确认备节点 VIP 与业务正常;执行前保存进程当前状态与配置;停止后立即核对备节点是否接管、客户端成功率是否下降;验证完成后立即执行启动命令恢复,并核对服务与日志。
# 3. 在主机上模拟故障(维护窗口内执行)
sudo systemctl stop nginx
# 4. 观察备节点是否接管 VIP
ssh 10.0.0.12 'ip -br addr show ens192'
# 5. 查看状态迁移是否与预期一致
journalctl -u keepalived --since "2 min ago" | grep -Ei "Entering|Transition"
# 6. 回滚:恢复主节点服务,核对接管前的服务与 VIP 状态
sudo systemctl start nginx
ip -br addr show ens192
通知配置
keepalived 自带的通知机制通过 SMTP 发送邮件,实现简单,不支持认证与 TLS,因此 smtp_server 应指向本机或内网的邮件中转服务:
notification_email配置收件人,notification_email_from配置发件人notify_master、notify_backup、notify_fault在状态迁移时执行脚本,可将切换事件推送到告警平台或即时消息- 通知脚本应记录切换时间、节点名、原状态与新状态,便于事后统计切换频次与耗时
#!/bin/bash
# /usr/local/sbin/notify.sh
STATE="$1"
HOST="$(hostname)"
TS="$(date '+%F %T')"
curl -sf -m 3 -X POST -H 'Content-Type: application/json' \
-d "{\"node\":\"${HOST}\",\"state\":\"${STATE}\",\"time\":\"${TS}\"}" \
https://alert.example.com/api/events/ha-switch >/dev/null 2>&1
exit 0
3.2 负载均衡层
LVS 与 DR 模式要点
LVS(IPVS)在 Linux 内核中实现四层转发,性能高于用户态代理,工作模式决定了流量路径:
| 模式 | 流量路径 | 特点 |
|---|---|---|
| NAT | 请求与响应都经过负载均衡器 | 负载均衡器成为带宽瓶颈,后端需将网关指向负载均衡器 |
| DR(直接路由) | 请求经负载均衡器,响应由后端直接返回客户端 | 性能最好,负载均衡器只处理入向流量 |
| TUN | 请求经隧道封装转发到后端 | 支持跨网段,需后端支持隧道解封装 |
DR 模式的关键要求:
- 负载均衡器与后端服务器必须处于同一二层网段,因为转发依赖改写目的 MAC,不修改 IP
- 后端服务器需在回环接口上配置 VIP,并抑制对该 VIP 的 ARP 响应,避免后端与负载均衡器争抢 VIP
- 抑制 ARP 通过内核参数实现,配置后重启网络或执行
sysctl --system生效
# 后端服务器:限制 ARP 响应与通告
# /etc/sysctl.d/90-lvs-dr.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
# 后端服务器:在回环接口配置 VIP
sudo ip addr add 10.0.0.100/32 dev lo
# 负载均衡器:配置 IPVS,-g 表示 DR 模式,-w 为权重
sudo ipvsadm -A -t 10.0.0.100:80 -s wrr
sudo ipvsadm -a -t 10.0.0.100:80 -r 10.0.0.21:80 -g -w 100
sudo ipvsadm -a -t 10.0.0.100:80 -r 10.0.0.22:80 -g -w 100
sudo ipvsadm -Ln --stats
配置说明:arp_ignore=1 表示仅在请求的目标 IP 为本机接口地址时才响应 ARP,arp_announce=2 表示通告时始终使用最佳本地地址,两者配合即可避免后端响应针对 VIP 的 ARP 请求。LVS 的规则默认保存在内核中,重启后失效,需要配合 ipvsadm-save 或由 keepalived 的 virtual_server 段自动维护。
四层转发依赖的 NAT、conntrack 与地址转换原理参见 网络技术手册。
Nginx 与 HAProxy 的定位差异
| 维度 | Nginx | HAProxy | LVS |
|---|---|---|---|
| 工作层次 | 应用层(HTTP)反向代理,也可做四层转发 | 四层与七层代理 | 四层,内核转发 |
| 主要定位 | Web 服务与静态资源,兼作反向代理 | 专注负载均衡与代理 | 高性能入口转发 |
| 健康检查 | 以被动检查为主,请求失败后标记摘除 | 支持主动检查与被动检查 | 依赖 keepalived 或外部脚本 |
| 会话保持 | 基于 Cookie 或 IP | 基于 Cookie、源地址等多种方式 | 基于源地址 |
| 统计与观测 | 访问日志与状态模块 | 内置统计接口,可直接查看后端状态 | 依赖 ipvsadm 计数 |
| 适用场景 | 已有 Nginx 入口的 HTTP 场景 | 复杂算法、主动检查、TCP 代理场景 | 纯四层大流量入口 |
选型依据:以 HTTP 为主且已使用 Nginx 的场景沿用 Nginx,减少组件数量;需要主动健康检查、更丰富的算法与实时统计时使用 HAProxy;仅做四层转发且追求转发性能时使用 LVS,并由 keepalived 提供 VIP 的高可用。
反向代理、upstream 定义、负载均衡算法与健康检查配置参见 nginx 配置说明,本文不重复其配置细节。
后端健康检查与摘除
- 主动检查:负载均衡器按周期向后端发起探测,依据探测结果决定是否继续转发。优点是摘除及时,缺点是需要探测端口与路径
- 被动检查:依据真实转发结果判定,连续失败后摘除。优点是无需额外探测,缺点是必须由真实请求触发,摘除滞后
- 摘除与恢复需成对配置:摘除阈值过松会造成请求失败,恢复阈值过严会导致后端已恢复却不承接流量
- 检查间隔与失败阈值共同决定摘除速度,取值需与业务可容忍的失败请求数匹配
会话保持的取舍
| 方式 | 机制 | 优点 | 缺点 |
|---|---|---|---|
| 源地址保持 | 按客户端 IP 固定后端 | 实现简单,无需改造应用 | 同一出口 NAT 后的用户集中到单一后端,负载不均 |
| Cookie 插入 | 负载均衡器写入会话 Cookie | 分配粒度到客户端,效果较好 | 依赖客户端接受 Cookie,切换节点时会话丢失 |
| 会话外部化 | 会话数据存入共享存储或缓存 | 后端无状态,可任意切换 | 需要改造应用,增加一次外部访问 |
取舍原则:优先会话外部化,使应用层无状态化,从而获得最低的切换代价;无法改造时使用 Cookie 或源地址保持,并接受节点故障时的会话丢失。会话保持会降低负载均衡效果,配置时应同时评估后端负载分布的均匀程度。
3.3 Pacemaker 与 Corosync 基础
组件分工
- Corosync:负责集群成员关系与节点间消息传递,包括心跳、成员变更通知与消息广播
- Pacemaker:负责资源管理与决策,包括资源调度、约束求解、状态机维护与 fencing 触发
- pcsd:命令行工具
pcs依赖的守护进程,用于跨节点下发配置,需在集群各节点运行
安装与配置顺序
顺序不可颠倒,前置条件不满足会导致后续步骤反复失败:
# 1. 配置主机名解析,集群节点名必须可解析
cat /etc/hosts
# 10.0.0.11 node1
# 10.0.0.12 node2
# 2. 时间同步,偏移会造成集群认证与成员关系异常
timedatectl status
chronyc tracking
# 3. 安装组件
sudo apt install -y corosync pacemaker pcs fence-agents
# 4. 启动 pcsd 并设置 hacluster 口令(各节点需一致)
sudo systemctl enable --now pcsd
sudo passwd hacluster
# 5. 节点认证
sudo pcs host auth node1 node2 -u hacluster
# 6. 创建并启动集群
sudo pcs cluster setup ha-cluster node1 node2 --totem.token 5000
sudo pcs cluster start --all
sudo pcs cluster enable --all
# 7. 核对集群健康
sudo pcs status
sudo corosync-cfgtool -s
说明:--totem.token 用于调整心跳令牌超时,跨机房或网络抖动较大的场景可适当放大;pcs cluster setup 会写入 Corosync 配置并同步到各节点。
资源创建与约束
# 创建资源组,组内按声明顺序启动、按逆序停止
sudo pcs resource create ha_vip IPaddr2 ip=10.0.0.100 cidr_netmask=24 nic=ens192 --group g_web
sudo pcs resource create ha_fs Filesystem device=/dev/mapper/mpatha directory=/data fstype=xfs --group g_web
sudo pcs resource create ha_web systemd:nginx --group g_web
# 顺序约束:挂载完成后启动服务
sudo pcs constraint order start ha_fs then ha_web
sudo pcs constraint order stop ha_web then ha_fs
# 共置约束:服务与 VIP 必须在同一节点
sudo pcs constraint colocation add ha_web with ha_vip INFINITY
# 位置约束:限定资源可运行的节点
sudo pcs constraint location ha_web prefers node1=100
# 资源粘性:避免无故障时频繁迁移
sudo pcs resource defaults update resource-stickiness=100
# 核对配置
sudo pcs resource config
sudo pcs constraint list --full
组与顺序示例
组 g_web 的预期行为:
- 启动:
ha_vip→ha_fs→ha_web - 停止:
ha_web→ha_fs→ha_vip - 迁移:整组在目标节点按启动顺序重建,避免出现 VIP 与服务分离的中间状态
顺序约束与组内顺序应保持一致,否则会出现约束冲突。例如组内未声明文件系统却添加"服务依赖文件系统"的顺序约束,集群在求解约束时可能找不到可行节点。
状态查看工具
sudo pcs status # 集群、节点、资源与失败原因总览
sudo pcs status resources # 仅资源状态
sudo pcs resource config ha_web # 单个资源的完整配置
sudo pcs constraint list --full # 全部约束
sudo pcs quorum status # quorum 状态与预期票数
sudo corosync-cfgtool -s # 心跳链路与环形成员
sudo corosync-cmapctl | grep -i members
sudo crm_mon -1 -A # 资源与节点状态,含资源属性
sudo pcs stonith history # fencing 执行历史
判读要点:
pcs status顶部显示 quorum 与节点状态,资源列表给出每个资源所在节点与最近一次失败原因- 资源状态为
FAILED表示启动或检查失败,blocked表示因约束或未完成的隔离动作而无法启动 - 节点状态为
offline表示 Corosync 视角下该节点已不在成员中,需先确认是主机故障还是心跳链路故障
常见报错定位
| 报错或现象 | 可能原因 | 核对方式 |
|---|---|---|
| 节点认证失败 | hacluster 口令不一致或 pcsd 未启动 | systemctl status pcsd,重新执行 pcs host auth |
| 集群无法启动 | Corosync 配置未同步或 totem 参数错误 | corosync -t 校验配置,journalctl -u corosync |
资源始终 blocked | 约束冲突或 fencing 未完成 | pcs status 失败原因、pcs constraint list --full |
| 资源在节点间反复迁移 | 资源粘性过低或健康检查抖动 | pcs resource defaults,核对检查间隔与阈值 |
| 找不到资源可运行的节点 | 多个约束互相矛盾 | 逐条核对位置、共置与顺序约束 |
节点显示 offline | 心跳链路或主机故障 | corosync-cfgtool -s、心跳网卡收发计数 |
3.4 fencing 配置要点
fencing 设备类型
| 类型 | 举例 | 隔离强度 | 适用场景 |
|---|---|---|---|
| 电源型 | IPMI、iLO、iDRAC、PDU | 最高,真正断电 | 物理机,优先选择 |
| 存储型 | SBD(Storage-Based Death) | 中,通过共享存储仲裁 | 无法提供独立电源管理接口的虚拟机或双机 |
| 外部服务型 | 云平台 API、虚拟化管理接口 | 中,取决于接口能力 | 公有云或虚拟化环境 |
选择原则:优先使用电源级隔离,因其能确认故障节点已彻底停止;无独立电源管理接口时使用 SBD,但 SBD 依赖共享存储可达,共享存储本身故障时失效。
配置示例
# 为每个节点创建一个 fencing 设备,pcmk_host_list 指定被隔离的节点
sudo pcs stonith create fence_node1 fence_ipmilan \
pcmk_host_list="node1" \
ipaddr=10.0.0.31 login=admin passwd=<口令> lanplus=1 \
pcmk_reboot_timeout=120 op monitor interval=60s
sudo pcs stonith create fence_node2 fence_ipmilan \
pcmk_host_list="node2" \
ipaddr=10.0.0.32 login=admin passwd=<口令> lanplus=1 \
pcmk_reboot_timeout=120 op monitor interval=60s
# 核对设备状态与配置
sudo pcs stonith status
sudo pcs stonith config
# 启用 fencing(集群层面总开关)
sudo pcs property set stonith-enabled=true
# 核对每个节点都有可用的隔离设备
sudo pcs stonith status | grep -i "stonith"
配置要点:
pcmk_host_list必须与集群节点名一致,否则集群不知道某个资源用于隔离哪个节点- 每个集群节点都应至少有一个专用 fencing 设备,避免多节点共用同一 PDU 端口
- 设备的口令不应写入可被广泛读取的文件,应考虑使用权限受限的凭据文件
op monitor用于周期检查设备可用性,设备不可达时应告警,否则真实故障时无法隔离
测试方法与风险
# 查看隔离历史
sudo pcs stonith history
# 对指定节点执行隔离测试
sudo pcs stonith fence node1
高危 fencing 测试会强制断电或重启目标节点,其上全部业务立即中断,且该节点上的共享存储挂载会随断电释放。执行前必须确认:目标节点承载的业务已在其他节点正常接管、目标节点的电源管理接口可达且凭据有效、集群 quorum 正常、已通知相关业务方。兜底与回滚方式:测试后在带外管理口或电源管理接口重新上电被隔离节点,等待其加入集群并核对资源状态;若节点无法自动加入,执行 sudo pcs node unstandby <节点名> 并核对 Corosync 成员;若设备配置错误导致误隔离,先执行 sudo pcs stonith disable <设备名> 阻止继续隔离,再用 sudo pcs node standby <节点名> 把资源集中到确认可用的节点;确需重置集群时按 3.7 的步骤执行。
未配置 fencing 的后果
- 集群无法确认故障节点状态时,不会在新节点启动资源,服务实际处于中断状态;现象上表现为"另一台节点正常但服务不启动"
- 若通过关闭
stonith-enabled绕过限制并在新节点启动共享存储类资源,可能与仍在运行的旧实例双写同一块存储,造成文件系统损坏 - 部分集群版本会将未配置 fencing 的节点标记为不可调度,导致资源迁移能力丧失
与共享存储的关系:块级共享存储场景必须配置 fencing;无共享存储的无状态资源对 fencing 的依赖相对低,但仍需明确故障节点的处置方式,避免新旧实例同时对外提供服务。
3.5 切换演练
演练计划
演练计划需在演练前形成书面内容,包含以下要素:
| 要素 | 内容 |
|---|---|
| 目标 | 验证检测时间、切换耗时、数据一致性、客户端感知与告警完整性 |
| 范围与窗口 | 参与节点、受影响业务、允许的时间段 |
| 参与人 | 执行人、观察人、业务确认人、回退决策人 |
| 触发方式 | 本次演练使用的故障模拟方式 |
| 判定标准 | 切换耗时上限、失败请求比例上限、数据校验通过条件 |
| 回退条件 | 超过预定时长、出现数据异常、业务方要求停止时立即回退 |
| 回退步骤 | 具体命令与顺序,含恢复服务、恢复网络、恢复集群状态 |
触发方式
按接近真实故障的程度递增:
- 停止主节点服务:模拟进程故障,属应用层触发,影响面可控
- 停止主节点上的保持机制:模拟健康检查判定故障,用于验证检测与切换联动
- 断开主节点心跳网卡:模拟网络层故障,用于验证心跳冗余与脑裂防护
- 使用 fencing 强制隔离主节点:模拟节点掉电,最接近真实硬件故障,风险最高
验证项清单
| 验证项 | 验证方式 | 判定标准 |
|---|---|---|
| VIP 归属 | ip -br addr show <网卡> 对比切换前后各节点 | 任一时刻仅一台持有 VIP |
| 服务可用性 | 客户端按周期持续请求并记录状态码 | 失败请求数在允许范围内,服务最终恢复 |
| 切换耗时 | 记录触发时间与首次成功响应时间 | 不超过预案中的上限 |
| 会话影响 | 核对登录态与长连接是否中断 | 中断次数与重连行为符合预期 |
| 数据一致性 | 核对数据量、校验和与复制位点 | 与切换前基线一致,无丢失或重复 |
| 告警完整性 | 核对告警平台中本次切换的事件记录 | 切换事件被记录且通知到正确接收人 |
| 回切行为 | 恢复原主后观察是否自动回切 | 行为与 nopreempt 配置一致,回切不造成二次中断 |
| 日志完整性 | 核对两节点的服务与集群日志 | 状态迁移记录完整,时间线可对应 |
切换期间的数据一致性核对
# 切换前:记录位点、数据量与校验和
mysql -h 10.0.0.100 -e "SHOW MASTER STATUS\G"
wc -l /data/app/dump.sql
md5sum /data/app/dump.sql
# 切换后:在新主上核对位点与数据量
mysql -h 10.0.0.100 -e "SHOW MASTER STATUS\G"
wc -l /data/app/dump.sql
# 共享存储文件系统状态与内核错误
findmnt /data
dmesg -T | grep -Ei "xfs|ext4|corrupt|I/O error"
核对要点:
- 复制位点是切换时数据丢失窗口的直接证据,切换前必须记录,切换后对比
- 文件系统错误必须立即处理,出现
corrupt或I/O error说明可能存在双写或存储路径异常 - 若使用集群文件系统,还需核对锁状态与服务在各节点上的一致性
演练记录
演练后按固定字段归档,用于后续复核与改进:
| 字段 | 内容 |
|---|---|
| 演练标识 | 日期、时间窗口、演练编号 |
| 演练类型 | 触发方式与涉及组件 |
| 预期与实际耗时 | 检测耗时、切换耗时、业务恢复耗时 |
| 验证项结果 | 逐项记录通过或未通过及证据 |
| 数据核对结果 | 位点、数据量与校验和对比结论 |
| 发现的问题 | 现象、影响、初步原因 |
| 改进项 | 责任人与计划完成时间 |
| 回退情况 | 是否触发回退及原因 |
3.6 监控与告警衔接
需要监控的对象
| 对象 | 监控内容 | 判读要点 |
|---|---|---|
| 主备状态 | 当前节点角色、优先级、最近一次状态迁移时间 | 角色与预期不符即需核对心跳与检查脚本 |
| 心跳链路 | 心跳网卡收发报文数、丢包与错误计数、VRRP 通告计数 | 心跳链路故障必须先于业务告警被发现 |
| VIP 归属 | VIP 当前出现在哪些节点 | 同一 VIP 出现在两台节点即为双主 |
| 集群资源 | 资源状态、失败次数、迁移次数 | 反复迁移说明约束或健康检查存在问题 |
| 切换事件 | 状态迁移作为事件记录并告警 | 切换本身代表一次故障,不应静默 |
指标、日志与事件的分工
阈值与持续时间的取值方法、告警规则结构、抑制与静默的用法、通知路由与分级方式参见 linux: 监控与告警,本文不重复其细节。其中的端口存活探测部分给出了 blackbox_exporter 的配置方式,用于地址级可用性探测。
在高可用场景中的两点补充:
- 探测目标应为 VIP 而非固定节点地址,探测结果即反映"当前主节点是否可用",与主备状态指标互为交叉验证
- 抑制规则需要显式配置:VIP 不可用告警触发时,抑制其后端实例的告警,避免根因被淹没
告警设计要点
# keepalived 与集群状态可通过文本文件收集方式导出为指标
# node_exporter 的 textfile collector 输出片段,1 表示本节点持有 VIP
ha_vip_present{node="node1",vip="10.0.0.100"} 1
# 双主判定:同一 VIP 在多个节点被观测到
sum by (vip) (ha_vip_present) > 1
groups:
- name: ha-cluster
rules:
- alert: HAVipOwnedByMultipleNodes
expr: sum by (vip) (ha_vip_present) > 1
for: 30s
labels:
severity: critical
annotations:
summary: "VIP {{ $labels.vip }} 同时出现在多个节点"
description: "检测到双主,需立即核对心跳链路、防火墙与 VRRP 配置一致性"
- alert: HAClusterResourceFailed
expr: ha_cluster_resource_state{state="failed"} == 1
for: 5m
labels:
severity: critical
annotations:
summary: "集群资源 {{ $labels.resource }} 处于 failed 状态"
- alert: HAClusterNodeOffline
expr: ha_cluster_node_online == 0
for: 5m
labels:
severity: warning
annotations:
summary: "集群节点 {{ $labels.node }} 离线"
- alert: HAFailoverOccurred
expr: increase(ha_failover_total[10m]) > 0
for: 0m
labels:
severity: warning
annotations:
summary: "发生主备切换"
description: "近 10 分钟内发生切换,需核对切换原因与数据一致性"
设计要点:
- 双主是最高优先级告警,优先级应高于单点服务不可用,因其可能造成数据损坏
- 切换事件告警的持续时间应设为 0,切换是离散事件而非持续状态,延迟通知会拖长处置时间
- 心跳链路故障告警应早于业务告警,否则根因信息被大量业务告警覆盖
- 切换频次应作为长期观测指标,频繁切换说明存在未处理的链路或配置问题
3.7 常见故障与处置
1. 脑裂
现象:两台节点同时持有 VIP;或集群两侧各自启动资源并同时访问共享存储。
止损:立即在网络侧阻断其中一台节点,优先保留数据更新较新的一侧;对共享存储场景必须尽快确保只有一台在写。
恢复:依次核对心跳链路、防火墙与安全组规则、单播与组播配置、认证口令与 virtual_router_id 一致性;确认配置一致后先启动单侧,再恢复对端。
高危 在双主状态下直接停止服务或强制接管 VIP 会中断当前在途流量,且可能掩盖哪一侧数据更新的判断。兜底与回滚方式:先在上游入口摘除待停止节点的流量(负载均衡层摘除该节点或调整路由),确认无新流量进入后再停止服务;若无法判断哪一侧数据较新,不要启动共享存储挂载,先保持存储离线并做数据比对,比对结论明确后再决定启动方向。
2. 心跳网络故障
现象:节点在 Master 与 Backup 之间频繁切换,日志反复出现状态迁移;集群成员列表频繁抖动。
定位方式:
# 观察 VRRP 通告收发
sudo tcpdump -i ens192 -nn 'vrrp'
# 观察 corosync 通信
sudo tcpdump -i ens192 -nn 'udp port 5405'
# 网卡错误与丢包计数
ethtool -S ens192 | grep -Ei 'err|drop|discard'
ip -s link show ens192
处置:心跳链路应与业务链路分离,使用独立网卡与独立交换机,避免业务流量拥塞影响心跳;链路故障期间可临时改为单播并适当放大通告超时,降低误切换概率;恢复链路后核对通告是否双向可达。
3. VRRP 双主
常见成因:组播被接入设备拦截、认证口令不一致、virtual_router_id 冲突(两组不同业务在同一广播域使用相同 ID)、优先级配置相同。
处置步骤:
- 核对两节点的
virtual_router_id、认证方式、口令与优先级 - 为不同业务分配不同的
virtual_router_id - 在禁止组播的环境中改用单播,两端互指对端地址
- 用抓包确认通告在两侧均可见,且
tcpdump中无重复 ID 的报文
4. 资源无法启动
定位顺序:
pcs status查看资源失败原因与是否blocked- 手工执行资源代理的
monitor与start动作,绕过集群判断基础条件是否满足 - 核对共享存储可达性、挂载点是否被非集群方式占用、服务端口是否被占用
- 核对资源参数与约束是否与预期一致
# 手工验证资源代理动作,确认参数与前置条件
sudo /usr/lib/ocf/resource.d/heartbeat/Filesystem monitor
sudo /usr/lib/ocf/resource.d/heartbeat/IPaddr2 monitor
# 核对挂载与端口占用
findmnt /data
ss -lntp | grep ':80 '
# 清理失败计数后重新启动
sudo pcs resource cleanup ha_web
sudo pcs resource restart ha_web
常见原因:共享存储未就绪、挂载点被手工占用、端口被非集群管理的进程占用、资源代理参数错误、约束冲突导致无可行节点。
5. 切换后无法回切
成因:配置了 nopreempt、资源粘性过高、原节点仍处于 standby 或 offline、健康检查始终未通过、原节点未被 fencing 清除而留有失败计数。
处置:
# 清除资源失败计数
sudo pcs resource cleanup
# 取消节点待机状态
sudo pcs node unstandby node1
# 显式迁移资源到目标节点
sudo pcs resource move ha_web node1
sudo pcs resource clear ha_web
回切前必须确认原节点的数据与状态已同步,否则回切等同于一次新的切换,可能再次造成数据丢失。
6. 清空防火墙或安全组导致心跳中断
成因:为排障临时清空规则后未恢复;或在安全组变更中未放行心跳与 VRRP 所需流量。
需要放行的内容:
- VRRP:IP 协议号 112,或组播地址 224.0.0.18
- Corosync:UDP 5405(心跳与消息),部分配置下使用其他端口
- pcsd:TCP 2224,集群节点之间需互通
- 资源代理使用的端口:如数据库、共享存储与健康检查端口
# 放行 VRRP 与集群通信
sudo iptables -A INPUT -p vrrp -j ACCEPT
sudo iptables -A OUTPUT -p vrrp -j ACCEPT
sudo iptables -A INPUT -p udp --dport 5405 -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 2224 -j ACCEPT
# 变更前保存规则,变更后可恢复
sudo iptables-save | sudo tee /root/iptables-$(date +%F).bak >/dev/null
sudo ufw status verbose
高危 在集群节点上清空防火墙规则会中断心跳与 VRRP 通告,可能直接造成脑裂或服务中断,同时会暴露 pcsd 等管理端口。兜底与回滚方式:变更前保存当前规则并记录安全组配置;变更后立即用保存的文件恢复(sudo iptables-restore < /root/iptables-<日期>.bak);无法通过主机恢复时,从带外管理口登录并按本文的最小放行清单重建规则;规则恢复后必须在两侧用抓包确认 VRRP 与 Corosync 报文双向可达,再确认集群状态恢复。
7. 集群需要重置时的处置
高危 集群重置会删除集群配置、资源定义与约束,若资源仍在运行而配置被清除,将失去对共享存储的管理能力。执行前必须确认资源已按顺序停止、共享存储已卸载、数据已备份。兜底与回滚方式:重置前导出配置(sudo pcs config show > /root/pcs-config-<日期>.bak、备份 /etc/corosync/corosync.conf);重置后按导出的配置重建并逐项核对;若重置过程中出现资源失控,先在带外管理口隔离节点,再逐个上电并手工停止残留进程。
# 停止并销毁集群(仅在确认无业务运行时执行)
sudo pcs cluster stop --all
sudo pcs cluster destroy --all
故障定位的通用顺序、先止损后定位原则与证据保留要求参见 linux: 故障案例库。连通性测试、抓包分析与防火墙规则的详细命令参见 linux: Ubuntu 网络诊断与远程连接命令。
四、总结
- 单点故障按请求路径逐跳识别,判定标准是"实例数量为 1 且无接管机制",清单需随架构变化定期复核
- 可用性由 MTBF 与 MTTR 共同决定,
可用性 = MTBF / (MTBF + MTTR);缩短 MTTR 通常比提高 MTBF 的收益更高、成本更低 - 可用性目标的换算基准:99.9% 对应年停机约 8.76 小时,99.99% 对应年停机约 52.6 分钟,度量口径必须绑定测量点
- 高可用只包含故障检测与流量切换两个动作;检测方式从进程、端口、协议到应用探活逐级增强,误判与漏判主要来自检测方式与阈值选择
- VIP 接管依赖免费 ARP 刷新邻居缓存,因此受同一二层网段限制;跨网段切换需路由协议配合,收敛时间与故障点均增加
- VRRP 通过优先级与通告超时实现主备接管,脑裂的主因是心跳链路故障、防火墙拦截与配置不一致
- VRRP 只能解决入口地址的接管,服务进程、文件系统与共享存储的启停顺序需由资源管理器统一编排,依赖顺序、共置与位置约束描述
- 块级共享存储必须配置 fencing,原则是先隔离、再恢复;未配置 fencing 时集群拒绝启动资源属于保护机制,强行绕开会造成双写与数据损坏
- 共享数据的一致性由存储类型、复制方式与 quorum 共同决定;两节点集群需要仲裁设备打破平局,切换前必须记录复制位点
- 分层高可用需逐层核对冗余,任一层的单点都会抵消上层冗余;数据层切换代价最高,通常保留人工确认
- keepalived 配置的核心是优先级与健康检查权重的关系,负权重必须保证故障后优先级低于对端,否则不会触发切换
- 负载均衡层选型按需要区分:LVS 负责四层高性能转发,Nginx 兼顾 Web 服务与反向代理,HAProxy 侧重主动健康检查与丰富算法
- Pacemaker 与 Corosync 的配置顺序不可颠倒:主机名解析、时间同步、节点认证、集群创建、fencing、资源与约束
- 切换演练必须在计划、触发、验证、数据核对与记录五个环节形成闭环,未经验证的切换流程在真实故障中不可用
- 监控需覆盖主备状态、心跳链路、VIP 归属与切换事件,其中双主与心跳故障的告警优先级最高
- 高危操作(fencing 测试、停止运行中的资源、强制接管 VIP、清空防火墙、集群重置)执行前必须确认影响范围、准备回滚路径,并在完成后核对数据与集群状态