一、起源:告警的两类失效与优先级缺失
1.1 漏报:故障静默发生
漏报指已经影响用户的故障未产生通知。成因分布如下:
| 成因 | 表现 | 典型情形 |
|---|---|---|
| 未采集 | 故障维度没有对应指标 | 只采集主机资源,未采集业务成功率 |
| 阈值过松 | 指标已劣化但不越界 | 磁盘告警设在 95%,20% 时已无法写日志 |
| 持续时间过长 | 故障已结束或已造成损失才通知 | 突发的进程退出被 30 分钟持续时间过滤掉 |
| 静默与抑制过宽 | 真实故障被既有规则屏蔽 | 按服务名匹配的长期静默覆盖了新故障 |
| 通知通道故障 | 告警触发但无人收到 | 单一通道故障,无心跳规则发现 |
| 数据缺失被当作正常 | 抓取失败时段无告警 | 指标断点被查询函数忽略,曲线显示为空 |
漏报的后果是发现延迟由业务反馈决定,处置时间被压缩,影响面扩大。
1.2 噪声疲劳:真实告警被忽略
噪声指触发后无需任何处置动作的通知,成因分布如下:
| 成因 | 表现 | 典型情形 |
|---|---|---|
| 阈值过紧 | 正常业务波动即触发 | CPU 阈值设在 70%,业务存在天然波峰 |
| 无持续时间 | 瞬时抖动直接通知 | 网络带宽的秒级尖峰 |
| 同源重复 | 一个根因拆成多条通知 | 同一主机的磁盘、inode、日志同时告警 |
| 依赖连锁 | 上游故障导致下游全部告警 | 交换机故障引发全部主机与服务告警 |
| 无责任方 | 通知群发,无人确认 | 未按服务划分接收组 |
噪声疲劳的后果是值班人员对通知脱敏,处理顺序依赖个人经验,真实的高优先级告警被淹没在通知流中。
1.3 两类失效的互斥关系
漏报与噪声是一组取舍:
- 为降低噪声而放宽阈值、延长持续时间,会直接增加漏报
- 为减少漏报而收紧阈值、缩短持续时间,会放大噪声
因此单纯调整阈值无法同时解决两类问题。需要引入两个新的判断维度:
- 是否影响用户:以业务可感知的服务水平目标作为判定依据,而不是以主机资源是否越界作为唯一依据
- 是否还能承受:把"允许的失败量"量化为可比较的数值,据此决定处置优先级与变更节奏
1.4 指标齐全但无优先级
常见状态是采集了数百项主机指标与业务指标,配置了数百条告警规则,但仍无法回答"现在应该先处理哪一条"。具体表现:
- 告警按主机与指标平铺,缺少"影响了多少用户"的维度
- 同一时间集中推送大量通知,无法区分根因与表象
- 阈值来源不可追溯,无人知道为什么是这个数字
- 处置顺序依赖个人经验,换人则结论不同
解决路径是由 SLI 与 SLO 定义"什么是好",由错误预算定义"还剩多少余量",把优先级从主观判断转为可计算的结果。
本节讨论规则之上的一层:目标定义、优先级划分、治理手段与效果评估。指标类型、采集模型、规则构成、抑制与静默的具体配置语法参见同目录的 linux: 监控与告警,本节不重复。
二、原理:SLI、SLO 与告警治理
2.1 SLI 与 SLO 的定义与选取
三个概念的区别
| 概念 | 含义 | 示例 |
|---|---|---|
| SLI(Service Level Indicator) | 对服务质量的可测量描述,通常为比例或分位数 | 30 天内成功请求占比 |
| SLO(Service Level Objective) | SLI 的目标值与统计窗口的组合 | 30 天滚动窗口内成功请求占比不低于 99.9% |
| SLA(Service Level Agreement) | 对外承诺与赔付条款 | 月度可用性不低于 99.5%,未达标按比例补偿 |
SLA 通常比 SLO 宽松,为内部整改留出余量。SLO 过紧会造成预算永远消耗不完的假象,过松则失去约束力。
选取原则
- 从用户可感知的行为出发:请求成功率、请求延迟、数据新鲜度、任务完成时延,而不是主机 CPU 使用率
- 可测量:能从现有指标或日志中计算,不需要人工统计
- 分母明确:成功率的分母是全部请求还是有效请求,需要在定义中写明
- 数量少:每个服务 2 至 5 个核心 SLO,数量过多会互相牵制且无法同时满足
- 与依赖对齐:SLO 不应高于关键依赖的可用性上限,否则预算会被外部原因消耗
三类 SLI 与适用场景
| 类别 | 典型 SLI | 表达式形态 | 适用场景 |
|---|---|---|---|
| 可用性 | 成功请求占比、健康检查通过率 | 成功数 ÷ 总数 | 面向请求的服务 |
| 延迟 | 满足时延阈值的请求占比,或分位数延迟 | 直方图桶累计占比、histogram_quantile | 交互式服务,需同时约束典型值与长尾 |
| 饱和度 | 资源使用率、队列长度、连接池占用 | 使用量 ÷ 上限 | 有明确瓶颈的资源(连接池、队列、磁盘) |
分位数的选取
- P50 反映典型体验,P99 与 P99.9 反映最差体验,两者不可互相替代
- 平均值会被大量快请求拉低,不能作为延迟目标
- 长尾通常来自排队、锁竞争、下游抖动与运行时的暂停行为,需要单独设目标
- 分位数必须在同一数据源内计算,跨实例不可先求分位再取平均,聚合限制参见 linux: 监控与告警
2.2 错误预算的概念与用法
定义
错误预算(Error Budget)= 1 − SLO,即统计窗口内允许的失败量。它把"目标"转换为"可消耗的额度"。
换算关系(30 天窗口)
| SLO | 允许失败比例 | 30 天允许不可用时长 |
|---|---|---|
| 99% | 1% | 约 7 小时 12 分 |
| 99.9% | 0.1% | 约 43 分 12 秒 |
| 99.95% | 0.05% | 约 21 分 36 秒 |
| 99.99% | 0.01% | 约 4 分 19 秒 |
用途
- 预算未消耗完:发布与变更按正常节奏推进,不需要额外的稳定性审查
- 预算消耗过快:暂停非必要的变更,优先恢复与加固
- 预算长期消耗不完:说明目标过松,应收紧 SLO,否则告警失去约束
- 预算反复被同一原因耗尽:说明该原因需要工程投入整改,而不是继续靠人工处置
消耗速率
消耗速率(burn rate)= 当前错误率 ÷ 预算允许的错误率。含义是"按当前速度消耗预算的倍数":
- 取值为 1 表示按目标允许的速度消耗,统计窗口结束时预算刚好用完
- 取值为 14.4 表示按 14.4 倍速消耗,1 小时即可消耗掉 30 天预算的 2%
消耗速率的价值是把"还剩多少预算"转换为"按当前速度还能撑多久",从而支持分级告警:快速消耗触发紧急级,慢速持续消耗触发重要级。
2.3 告警分级与响应要求
| 级别 | 判定依据 | 响应要求 | 通知方式 |
|---|---|---|---|
| 紧急 | 错误预算消耗速率高(按当前速度将在数小时内耗尽),或服务已不可用、数据有损失风险 | 立即响应,值班人员接手,影响扩大时启动故障流程 | 电话与即时消息,重复提醒间隔 1 至 4 小时 |
| 重要 | 消耗速率中等,或关键资源接近上限、单实例异常 | 30 分钟内确认,当日处理 | 即时消息与工单,重复提醒间隔 12 小时以上 |
| 提示 | 趋势类、容量类、配置漂移类,服务整体可用 | 次工作日处理,纳入迭代计划 | 工单或日报汇总,不单独推送 |
分级的作用是让接收方对通知的紧急程度有稳定预期。级别的划分依据应写成可判定的条件,而不是"感觉严重"。
2.4 告警治理的四个手段
| 手段 | 作用对象 | 改变的内容 | 典型配置 |
|---|---|---|---|
| 阈值与持续时间 | 判定本身 | 什么算异常、异常需持续多久 | 表达式阈值、for |
| 聚合 | 通知形态 | 多少条通知合并为一条 | group_by、group_wait、group_interval |
| 抑制 | 通知形态 | 哪些告警在特定条件下不通知 | inhibit_rules |
| 静默 | 通知时机 | 在什么时间范围内不通知 | 标签匹配器与结束时间 |
四者的边界:
- 阈值与持续时间决定信噪比的下限,是治理的第一手段;噪声的根因应在阈值与持续时间上解决,不能靠静默掩盖
- 聚合与抑制处理"一个根因引发多条通知"的问题,不改变告警是否触发
- 静默只作用于计划内的已知窗口,必须有结束时间
- 四者都不能改变事实,只能改变是否被打扰
三、实现:SLI 计算、SLO 规则与治理流程
3.1 SLI 计算示例
请求成功率
sum(rate(http_requests_total{job="api",code!~"5.."}[5m])) by (job)
/
sum(rate(http_requests_total{job="api"}[5m])) by (job)
- 数据来源:应用埋点的请求计数计数器,标签包含状态码与服务标识
- 失败的定义需要明确写入 SLI 定义:只计 5xx,还是包含超时与连接重置;由客户端参数错误造成的 4xx 通常不计入失败
- 分母应覆盖全部请求入口,缺失入口会让成功率虚高
P95 与 P99 延迟
histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket{job="api"}[5m])) by (le, job))
- 数据来源:服务端埋点的耗时直方图,耗时口径是从收到请求到响应完成,不含客户端网络时间
- 桶边界需覆盖目标值邻域,否则分位数为桶内插值结果,误差偏大
- 需要"满足阈值的请求占比"这种形态时,直接使用桶:
sum(rate(http_request_duration_seconds_bucket{job="api",le="0.3"}[5m])) by (job)
/
sum(rate(http_request_duration_seconds_count{job="api"}[5m])) by (job)
资源饱和度
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"}
/
node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"}
连接池当前占用 / 连接池上限
队列当前长度 / 队列上限
- 饱和度类指标适合做容量预警与扩容触发,不适合直接作为可用性 SLI,理由是资源使用率高不等于用户受影响
- 饱和度的分母必须真实反映资源上限,否则换算出的余量无意义
计算的可靠性要求
- 埋点必须覆盖全部请求入口,包括健康检查是否需要排除需要事先约定
- 埋点上报失败时应表现为数据缺失,缺失需要单独告警,不能按成功计入
- 计算结果需与日志统计交叉验证,确认两者口径一致,日志侧方法参见 linux: 日志查询与审计命令
- 每次修改 SLI 定义(分母、失败判定)都需记录时间点,否则历史对比失去意义
3.2 SLO 设定与错误预算消耗
目标值选取步骤
- 取最近 30 至 90 天的实际 SLI 作为起点,先确认当前水平
- 设定略低于实测值的目标,例如实测 99.95%,目标定 99.9%,留出改进空间且可达成
- 按用户容忍度校正:用户能明显感知的中断时长低于目标换算值时,说明目标过松
- 与依赖方对齐:目标不应高于关键依赖的可用性上限,否则预算会被外部原因消耗
- 目标一旦确定,同步调整告警阈值中的常量,避免两处数值不一致
统计窗口选取
| 窗口 | 特点 | 适用 |
|---|---|---|
| 滚动 30 天 | 平滑,消耗与恢复都慢 | 多数服务的默认选择 |
| 滚动 7 天 | 更灵敏,受工作日与周末差异影响 | 快速迭代阶段 |
| 自然月 | 便于报表与结算 | 有对外承诺时 |
| 小时级 | 极灵敏,抖动大 | 不用于 SLO 判定,用于消耗速率告警 |
预算消耗的记录规则
groups:
- name: slo-budget
interval: 1m
rules:
- record: job:sli_error_ratio_30d
expr: |
sum(rate(http_requests_total{job="api",code=~"5.."}[30d])) by (job)
/
sum(rate(http_requests_total{job="api"}[30d])) by (job)
- record: job:error_budget_remaining_30d
expr: 1 - (job:sli_error_ratio_30d / 0.001)
0.001为 99.9% 目标对应的允许错误率,调整 SLO 时同步修改该常量- 记录规则负责计算,告警规则只做比较,便于复用与集中调参
- 30 天窗口需要足够的原始数据保留周期,保留策略参见 linux: 监控与告警
消耗速率告警思路
单窗口告警存在两个问题:窗口短则容易误报,窗口长则响应滞后。采用多窗口多消耗速率的方式,长窗口判定严重程度,短窗口确认问题仍在持续:
| 长窗口 | 短窗口 | 消耗速率阈值 | 长窗口内预算消耗 | 级别 |
|---|---|---|---|---|
| 1 小时 | 5 分钟 | 14.4 | 2% | 紧急 |
| 6 小时 | 30 分钟 | 6 | 5% | 紧急 |
| 3 天 | 6 小时 | 1 | 10% | 重要 |
- 阈值含义:以 99.9% 目标为例,1 小时内消耗 2% 预算等价于该小时错误率约为 1.44%
- 短窗口的作用是告警快速解除:问题停止后短窗口立即回落,通知随之关闭
- 长短窗口同时满足才触发,可以过滤只在某一个窗口出现的抖动
groups:
- name: slo-burn
rules:
- alert: SloErrorBudgetBurnFast
expr: |
(
sum(rate(http_requests_total{job="api",code=~"5.."}[1h])) by (job)
/ sum(rate(http_requests_total{job="api"}[1h])) by (job)
) > (14.4 * 0.001)
and
(
sum(rate(http_requests_total{job="api",code=~"5.."}[5m])) by (job)
/ sum(rate(http_requests_total{job="api"}[5m])) by (job)
) > (14.4 * 0.001)
for: 2m
labels:
severity: critical
owner: api-team
annotations:
summary: "{{ $labels.job }} 错误预算快速消耗"
description: "1 小时窗口错误率超过目标允许值的 14.4 倍,且 5 分钟窗口仍在持续,当前错误率 {{ printf \"%.4f\" $value }}"
- alert: SloErrorBudgetBurnSlow
expr: |
(
sum(rate(http_requests_total{job="api",code=~"5.."}[3d])) by (job)
/ sum(rate(http_requests_total{job="api"}[3d])) by (job)
) > (1 * 0.001)
for: 1h
labels:
severity: warning
owner: api-team
annotations:
summary: "{{ $labels.job }} 错误预算持续消耗"
description: "3 天窗口内错误率持续高于目标允许值,需排查是否存在长期劣化或依赖抖动"
规则设计的两个要点:
for的取值原则:紧急级尽量短(分钟级),重要级可放长;for与长窗口叠加后,实际延迟为两者之和,需要一并估算- 表达式只做比较,不在告警规则里做复杂计算,便于用记录规则提前算好并复用
3.3 告警规则设计检查清单
每条新规则上线前逐项确认,任一项无法回答时应先补齐再上线:
| 检查项 | 判定标准 | 不满足时的处理 |
|---|---|---|
| 是否有明确动作 | 能写出收到告警后的第一条命令或第一个判断 | 该规则不应存在,或改为提示级汇总 |
| 是否可自愈 | 会自行恢复的抖动已由 for 过滤;自愈但影响用户的事件仍保留告警 | 调整持续时间,或改为趋势类记录 |
| 是否会重复 | 与既有规则无重叠,或已定义合并与抑制关系 | 合并规则,或补充抑制关系 |
| 是否指向唯一责任方 | 带 owner 或 team 标签并路由到唯一接收组 | 补标签与路由,避免群发 |
| 是否可判定真伪 | 通知内容包含实例、当前值、阈值与持续时间 | 补齐注解字段 |
| 是否有恢复条件 | 故障消除后表达式自动恢复 | 修正表达式,避免长期处于触发状态 |
| 是否区分数据缺失与值为零 | up == 0、指标断点、值为 0 三种情况分别定义 | 为数据缺失单独设置规则 |
| 阈值是否有依据 | 阈值来自实测基线或明确的历史统计 | 标注为待校准,并安排复测 |
| 变更是否被记录 | 规则新增、阈值调整、关闭均记录时间与原因 | 补记变更记录,便于回溯 |
3.4 降噪实践
同源告警聚合
group_by按根因维度选择:同一主机的同类问题用['alertname', 'instance'],同一集群的同类问题用['alertname', 'cluster']group_wait给同批告警留出收集时间:紧急级 10 至 30 秒,重要级 30 至 60 秒group_interval控制同一分组内新增告警的通知频率;repeat_interval控制未恢复告警的重复提醒- 参数语义的完整说明参见 linux: 监控与告警
依赖关系导致的连锁告警抑制
- 典型链条:网络设备或网关故障 → 大量主机指标抓取失败 → 上层服务全部告警 → 业务监控全部告警
- 抑制方向必须是从底层到上层,即底层可用性告警抑制上层业务告警,禁止反向
- 抑制条件用
equal限定匹配维度,避免跨主机或跨集群误抑制 - 抑制关系数量应少而清晰,每新增一条需说明它对应的连锁场景
维护窗口静默
- 静默必须包含:匹配范围(精确到实例或服务)、结束时间、变更单号或工单号、操作人
- 变更完成后立即核对目标告警是否按预期恢复,而不是只关闭静默
- 静默创建与解除记录到变更记录,作为事后复盘的输入
抖动场景的持续时间设置
| 指标类型 | 建议持续时间 | 依据 |
|---|---|---|
| 缓变资源类(磁盘、inode、内存水位) | 30 分钟以上 | 短时波动不影响用户,需要排除临时写入与后台任务 |
| 比率类(错误率、成功率、延迟分位) | 至少覆盖一个业务周期,通常 10 分钟以上 | 业务本身存在周期性,需要区分正常波峰与真实劣化 |
| 突发故障类(进程退出、单元失败) | 5 分钟以内 | 自动重启通常在数分钟内完成,过长会掩盖真实故障 |
| 容量趋势类 | 小时级或按天评估 | 变化缓慢,不需要实时通知 |
持续时间的确定方法:统计该类指标在正常状态下的恢复时间分布,取覆盖绝大多数抖动的一个值。持续时间不是越长越好,过长会延长故障发现时间。
高危 提醒:静默与抑制都会使真实故障不再产生通知,是漏报最直接的来源。示例:为一次发布创建了按服务名匹配的静默且未设置结束时间,后续该服务真实故障时无任何通知;或抑制规则编写过宽,上游设备故障时下游业务告警被一并屏蔽,导致无人处置;或按整个环境匹配的静默在维护结束后被遗忘,长期屏蔽该环境全部告警。兜底方式:
- 静默必须设置结束时间,长度不超过一个变更窗口;禁止创建无结束时间的静默
- 匹配范围尽量精确到实例或服务,禁止按整个环境、整个集群匹配
- 静默与抑制规则的创建与解除登记到变更记录,包含创建人、原因、到期时间、影响的告警范围
- 每日检查一次活跃静默列表,对无变更单号、超过约定时长的静默立即解除
amtool silence query --alertmanager.url=http://127.0.0.1:9093
- 抑制规则只保留"底层可用性抑制上层业务"这一个方向,新增抑制规则需说明对应的连锁场景
- 维护窗口结束前设置提醒,窗口结束后核对目标告警的恢复情况,确认是真实恢复而非被屏蔽
- 关键服务保留少量不参与静默的核心告警(如端到端探测失败),作为兜底信号
3.5 on-call 与升级路径
值班轮换
- 轮换周期不低于一周,避免频繁切换上下文;交接需要固定时间点与书面清单
- 同一时段保证有一线值班与二线备份,避免单人不可用导致无人响应
- 值班期间以告警响应为主,不应与大量交付任务并行
- 新成员上岗前完成一次跟随值班与一次模拟演练,确认熟悉处置手册与升级路径
升级路径
| 阶段 | 时限(参考值) | 动作 |
|---|---|---|
| 一线响应 | 告警触发后 5 分钟内确认 | 确认影响面与级别,执行标准处置手册,记录已执行动作 |
| 二线升级 | 15 分钟未定位或影响扩大 | 通知二线负责人,同步现象、影响面与已执行动作 |
| 负责人介入 | 30 分钟未恢复或达到故障分级阈值 | 启动故障流程,处置与对外沟通分为两条线 |
| 外部协同 | 涉及供应商或外部依赖 | 按约定联系方式升级,同步内部已有结论 |
时限的具体数值需按业务容忍度调整,关键点是时限存在、被记录、被执行,而不是数值本身。
交接清单
- 当前未恢复的告警与已确认的临时处置
- 已执行但未验证的变更
- 处于静默或抑制状态的告警及其原因与到期时间
- 正在观察的容量与趋势问题
- 未归档的故障记录与待办改进项
故障分级与通报范围
| 级别 | 判定 | 通报范围 | 通报时机 |
|---|---|---|---|
| 一级 | 核心业务不可用,或存在数据损失风险 | 业务负责人、技术负责人、管理层 | 确认后立即 |
| 二级 | 核心功能降级,或部分用户受影响 | 业务负责人、技术负责人 | 确认后 30 分钟内 |
| 三级 | 单实例异常,服务整体可用 | 技术团队内部 | 处置完成后汇总 |
- 通报内容固定为:影响面、开始时间、当前状态、已采取措施、下一次更新时刻
- 对外沟通与内部处置由不同人负责,避免处置过程被沟通打断
- 通报与复盘记录归档,处置过程与结论写入案例库,参见 linux: 故障案例库
3.6 告警有效性评估
统计方法
| 指标 | 定义 | 数据来源 |
|---|---|---|
| 误报率 | 触发后未执行任何处置动作的告警占比 | 处置记录,而非主观感受 |
| 漏报数 | 事后复盘发现的、影响用户但未触发告警的事件数 | 每次复盘统计一次 |
| 有效率 | 触发后执行了处置并产生实际收敛作用的告警占比 | 处置记录 |
| 平均确认时长 | 从触发到被确认的时长中位数 | 告警系统与处置记录对比 |
| 平均恢复时长 | 从触发到恢复的时长中位数,按级别分别统计 | 告警系统 |
定期审查与清理
- 每周审查被静默与抑制覆盖的告警,确认覆盖范围仍然合理
- 每月统计告警数量排行,前 10 条通常占据大部分通知量,说明存在集中噪声源
- 每季度清理:连续 90 天未触发且无预期场景的规则可降级或删除;语义重复的规则合并
- 每次故障复盘后核对:该故障是否应被现有规则发现;未发现则补充规则,发现过晚则调整阈值或持续时间
趋势观察
- 每周期告警总条数与紧急级条数的变化
- 每条告警的平均处置时长
- 因同一根因重复触发的次数
- 阈值调整与规则新增、删除的次数,反映治理是否在进行
结果的使用
- 噪声排行前列的规则:先修根因,再调阈值。仅调阈值会在根因复现时再次爆发
- 漏报统计长期为零通常不是好消息,更可能是复盘未记录或影响面判定标准过松
- 误报率与漏报数同时偏高,说明阈值与持续时间未按实测分布设定,应重新采集基线
- 基线的采集方法参见 linux: 巡检与健康检查,巡检中的趋势项稳定后应下沉为告警规则
3.7 与巡检、日志、案例库的分工
| 手段 | 回答的问题 | 时间尺度 | 输出 | 文档 |
|---|---|---|---|---|
| 监控告警 | 当前是否偏离阈值,是否需要立即处置 | 秒级至分钟级 | 通知 | linux: 监控与告警 |
| SLO 与错误预算 | 偏离是否已影响用户,还能承受多少,优先级如何 | 小时级至 30 天 | 优先级与变更节奏 | 本篇 |
| 巡检 | 是否存在趋势问题与配置漂移 | 天级至周级 | 结构化记录与归档 | linux: 巡检与健康检查 |
| 日志查询与审计 | 具体发生了什么,谁在何时做了什么 | 事件级 | 事件明细与审计记录 | linux: 日志查询与审计命令 |
| 故障案例库 | 同类现象此前如何处理 | 按需检索 | 处置路径与复盘结论 | linux: 故障案例库 |
分工要点:
- SLO 决定优先级:告警只说明指标异常,是否影响用户、是否需要立即处置由 SLO 与错误预算判定
- 告警触发后用日志确定错误原文与影响范围,查询与审计命令参见 linux: 日志查询与审计命令
- 巡检保留无法用单一阈值表达的项目(配置漂移、备份结果、证书有效期),可量化的趋势项应下沉为告警规则,参见 linux: 巡检与健康检查
- 每次故障的处置路径与改进项写入案例库,作为告警规则新增与阈值调整的输入,参见 linux: 故障案例库
- 规则新增与阈值调整需与变更记录关联,保证任何一条阈值都能追溯到设定原因
四、总结
- 告警有两类失效:漏报让故障静默发生,噪声使真实告警被忽略;两者互为代价,仅调整阈值无法同时解决
- 指标的完整性与规则的数量不等于优先级,优先级需要由 SLO 与错误预算提供
- SLI 从用户可感知的行为选取,分为可用性、延迟、饱和度三类;延迟需同时约束典型值与长尾,分位数需在同一数据源内计算
- SLO 由目标值与统计窗口构成,目标应略低于实测水平并与依赖方对齐;SLA 应比 SLO 宽松
- 错误预算把目标转换为可消耗额度,消耗速率把剩余预算转换为"还能撑多久",多窗口多消耗速率是分级告警的基础
- 告警分级依据可判定的条件,紧急级对应快速消耗或服务已不可用,并规定响应时限与通知方式
- 治理的四个手段作用范围不同:阈值与持续时间改变判定,聚合与抑制改变通知形态,静默只改变通知时机
- 每条规则上线前用检查清单核对动作、自愈性、重复性、责任方、可判定性与恢复条件
- 降噪从同源聚合、依赖抑制、维护窗口静默、抖动持续时间四处入手,持续时间需按指标恢复时间分布确定
- 静默与抑制是漏报的主要来源,必须带结束时间、精确匹配范围与变更记录,并定期审计
- on-call 需要固定轮换、书面交接清单、明确升级时限与故障分级通报范围
- 治理效果以误报率、漏报数、有效率和处理时长趋势衡量;噪声应先修根因再调阈值
- SLO 负责优先级,告警负责触发,巡检负责趋势与漂移,日志负责明细,案例库负责处置路径,五者分工不可互相替代,配置基线参见 linux: 监控与告警