一、起源:告警的两类失效与优先级缺失

1.1 漏报:故障静默发生

漏报指已经影响用户的故障未产生通知。成因分布如下:

成因 表现 典型情形
未采集 故障维度没有对应指标 只采集主机资源,未采集业务成功率
阈值过松 指标已劣化但不越界 磁盘告警设在 95%,20% 时已无法写日志
持续时间过长 故障已结束或已造成损失才通知 突发的进程退出被 30 分钟持续时间过滤掉
静默与抑制过宽 真实故障被既有规则屏蔽 按服务名匹配的长期静默覆盖了新故障
通知通道故障 告警触发但无人收到 单一通道故障,无心跳规则发现
数据缺失被当作正常 抓取失败时段无告警 指标断点被查询函数忽略,曲线显示为空

漏报的后果是发现延迟由业务反馈决定,处置时间被压缩,影响面扩大。

1.2 噪声疲劳:真实告警被忽略

噪声指触发后无需任何处置动作的通知,成因分布如下:

成因 表现 典型情形
阈值过紧 正常业务波动即触发 CPU 阈值设在 70%,业务存在天然波峰
无持续时间 瞬时抖动直接通知 网络带宽的秒级尖峰
同源重复 一个根因拆成多条通知 同一主机的磁盘、inode、日志同时告警
依赖连锁 上游故障导致下游全部告警 交换机故障引发全部主机与服务告警
无责任方 通知群发,无人确认 未按服务划分接收组

噪声疲劳的后果是值班人员对通知脱敏,处理顺序依赖个人经验,真实的高优先级告警被淹没在通知流中。

1.3 两类失效的互斥关系

漏报与噪声是一组取舍:

  • 为降低噪声而放宽阈值、延长持续时间,会直接增加漏报
  • 为减少漏报而收紧阈值、缩短持续时间,会放大噪声

因此单纯调整阈值无法同时解决两类问题。需要引入两个新的判断维度:

  1. 是否影响用户:以业务可感知的服务水平目标作为判定依据,而不是以主机资源是否越界作为唯一依据
  2. 是否还能承受:把"允许的失败量"量化为可比较的数值,据此决定处置优先级与变更节奏

1.4 指标齐全但无优先级

常见状态是采集了数百项主机指标与业务指标,配置了数百条告警规则,但仍无法回答"现在应该先处理哪一条"。具体表现:

  • 告警按主机与指标平铺,缺少"影响了多少用户"的维度
  • 同一时间集中推送大量通知,无法区分根因与表象
  • 阈值来源不可追溯,无人知道为什么是这个数字
  • 处置顺序依赖个人经验,换人则结论不同

解决路径是由 SLI 与 SLO 定义"什么是好",由错误预算定义"还剩多少余量",把优先级从主观判断转为可计算的结果。

本节讨论规则之上的一层:目标定义、优先级划分、治理手段与效果评估。指标类型、采集模型、规则构成、抑制与静默的具体配置语法参见同目录的 linux: 监控与告警,本节不重复。

二、原理:SLI、SLO 与告警治理

2.1 SLI 与 SLO 的定义与选取

三个概念的区别

概念 含义 示例
SLI(Service Level Indicator) 对服务质量的可测量描述,通常为比例或分位数 30 天内成功请求占比
SLO(Service Level Objective) SLI 的目标值与统计窗口的组合 30 天滚动窗口内成功请求占比不低于 99.9%
SLA(Service Level Agreement) 对外承诺与赔付条款 月度可用性不低于 99.5%,未达标按比例补偿

SLA 通常比 SLO 宽松,为内部整改留出余量。SLO 过紧会造成预算永远消耗不完的假象,过松则失去约束力。

选取原则

  1. 从用户可感知的行为出发:请求成功率、请求延迟、数据新鲜度、任务完成时延,而不是主机 CPU 使用率
  2. 可测量:能从现有指标或日志中计算,不需要人工统计
  3. 分母明确:成功率的分母是全部请求还是有效请求,需要在定义中写明
  4. 数量少:每个服务 2 至 5 个核心 SLO,数量过多会互相牵制且无法同时满足
  5. 与依赖对齐:SLO 不应高于关键依赖的可用性上限,否则预算会被外部原因消耗

三类 SLI 与适用场景

类别 典型 SLI 表达式形态 适用场景
可用性 成功请求占比、健康检查通过率 成功数 ÷ 总数 面向请求的服务
延迟 满足时延阈值的请求占比,或分位数延迟 直方图桶累计占比、histogram_quantile 交互式服务,需同时约束典型值与长尾
饱和度 资源使用率、队列长度、连接池占用 使用量 ÷ 上限 有明确瓶颈的资源(连接池、队列、磁盘)

分位数的选取

  • P50 反映典型体验,P99 与 P99.9 反映最差体验,两者不可互相替代
  • 平均值会被大量快请求拉低,不能作为延迟目标
  • 长尾通常来自排队、锁竞争、下游抖动与运行时的暂停行为,需要单独设目标
  • 分位数必须在同一数据源内计算,跨实例不可先求分位再取平均,聚合限制参见 linux: 监控与告警

2.2 错误预算的概念与用法

定义

错误预算(Error Budget)= 1 − SLO,即统计窗口内允许的失败量。它把"目标"转换为"可消耗的额度"。

换算关系(30 天窗口)

SLO 允许失败比例 30 天允许不可用时长
99% 1% 约 7 小时 12 分
99.9% 0.1% 约 43 分 12 秒
99.95% 0.05% 约 21 分 36 秒
99.99% 0.01% 约 4 分 19 秒

用途

  1. 预算未消耗完:发布与变更按正常节奏推进,不需要额外的稳定性审查
  2. 预算消耗过快:暂停非必要的变更,优先恢复与加固
  3. 预算长期消耗不完:说明目标过松,应收紧 SLO,否则告警失去约束
  4. 预算反复被同一原因耗尽:说明该原因需要工程投入整改,而不是继续靠人工处置

消耗速率

消耗速率(burn rate)= 当前错误率 ÷ 预算允许的错误率。含义是"按当前速度消耗预算的倍数":

  • 取值为 1 表示按目标允许的速度消耗,统计窗口结束时预算刚好用完
  • 取值为 14.4 表示按 14.4 倍速消耗,1 小时即可消耗掉 30 天预算的 2%

消耗速率的价值是把"还剩多少预算"转换为"按当前速度还能撑多久",从而支持分级告警:快速消耗触发紧急级,慢速持续消耗触发重要级。

2.3 告警分级与响应要求

级别 判定依据 响应要求 通知方式
紧急 错误预算消耗速率高(按当前速度将在数小时内耗尽),或服务已不可用、数据有损失风险 立即响应,值班人员接手,影响扩大时启动故障流程 电话与即时消息,重复提醒间隔 1 至 4 小时
重要 消耗速率中等,或关键资源接近上限、单实例异常 30 分钟内确认,当日处理 即时消息与工单,重复提醒间隔 12 小时以上
提示 趋势类、容量类、配置漂移类,服务整体可用 次工作日处理,纳入迭代计划 工单或日报汇总,不单独推送

分级的作用是让接收方对通知的紧急程度有稳定预期。级别的划分依据应写成可判定的条件,而不是"感觉严重"。

2.4 告警治理的四个手段

手段 作用对象 改变的内容 典型配置
阈值与持续时间 判定本身 什么算异常、异常需持续多久 表达式阈值、for
聚合 通知形态 多少条通知合并为一条 group_by、group_wait、group_interval
抑制 通知形态 哪些告警在特定条件下不通知 inhibit_rules
静默 通知时机 在什么时间范围内不通知 标签匹配器与结束时间

四者的边界:

  1. 阈值与持续时间决定信噪比的下限,是治理的第一手段;噪声的根因应在阈值与持续时间上解决,不能靠静默掩盖
  2. 聚合与抑制处理"一个根因引发多条通知"的问题,不改变告警是否触发
  3. 静默只作用于计划内的已知窗口,必须有结束时间
  4. 四者都不能改变事实,只能改变是否被打扰

三、实现:SLI 计算、SLO 规则与治理流程

3.1 SLI 计算示例

请求成功率

sum(rate(http_requests_total{job="api",code!~"5.."}[5m])) by (job)
/
sum(rate(http_requests_total{job="api"}[5m])) by (job)
  • 数据来源:应用埋点的请求计数计数器,标签包含状态码与服务标识
  • 失败的定义需要明确写入 SLI 定义:只计 5xx,还是包含超时与连接重置;由客户端参数错误造成的 4xx 通常不计入失败
  • 分母应覆盖全部请求入口,缺失入口会让成功率虚高

P95 与 P99 延迟

histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket{job="api"}[5m])) by (le, job))
  • 数据来源:服务端埋点的耗时直方图,耗时口径是从收到请求到响应完成,不含客户端网络时间
  • 桶边界需覆盖目标值邻域,否则分位数为桶内插值结果,误差偏大
  • 需要"满足阈值的请求占比"这种形态时,直接使用桶:
sum(rate(http_request_duration_seconds_bucket{job="api",le="0.3"}[5m])) by (job)
/
sum(rate(http_request_duration_seconds_count{job="api"}[5m])) by (job)

资源饱和度

node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"}
/
node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"}
连接池当前占用 / 连接池上限
队列当前长度 / 队列上限
  • 饱和度类指标适合做容量预警与扩容触发,不适合直接作为可用性 SLI,理由是资源使用率高不等于用户受影响
  • 饱和度的分母必须真实反映资源上限,否则换算出的余量无意义

计算的可靠性要求

  1. 埋点必须覆盖全部请求入口,包括健康检查是否需要排除需要事先约定
  2. 埋点上报失败时应表现为数据缺失,缺失需要单独告警,不能按成功计入
  3. 计算结果需与日志统计交叉验证,确认两者口径一致,日志侧方法参见 linux: 日志查询与审计命令
  4. 每次修改 SLI 定义(分母、失败判定)都需记录时间点,否则历史对比失去意义

3.2 SLO 设定与错误预算消耗

目标值选取步骤

  1. 取最近 30 至 90 天的实际 SLI 作为起点,先确认当前水平
  2. 设定略低于实测值的目标,例如实测 99.95%,目标定 99.9%,留出改进空间且可达成
  3. 按用户容忍度校正:用户能明显感知的中断时长低于目标换算值时,说明目标过松
  4. 与依赖方对齐:目标不应高于关键依赖的可用性上限,否则预算会被外部原因消耗
  5. 目标一旦确定,同步调整告警阈值中的常量,避免两处数值不一致

统计窗口选取

窗口 特点 适用
滚动 30 天 平滑,消耗与恢复都慢 多数服务的默认选择
滚动 7 天 更灵敏,受工作日与周末差异影响 快速迭代阶段
自然月 便于报表与结算 有对外承诺时
小时级 极灵敏,抖动大 不用于 SLO 判定,用于消耗速率告警

预算消耗的记录规则

groups:
  - name: slo-budget
    interval: 1m
    rules:
      - record: job:sli_error_ratio_30d
        expr: |
          sum(rate(http_requests_total{job="api",code=~"5.."}[30d])) by (job)
          /
          sum(rate(http_requests_total{job="api"}[30d])) by (job)

      - record: job:error_budget_remaining_30d
        expr: 1 - (job:sli_error_ratio_30d / 0.001)
  • 0.001 为 99.9% 目标对应的允许错误率,调整 SLO 时同步修改该常量
  • 记录规则负责计算,告警规则只做比较,便于复用与集中调参
  • 30 天窗口需要足够的原始数据保留周期,保留策略参见 linux: 监控与告警

消耗速率告警思路

单窗口告警存在两个问题:窗口短则容易误报,窗口长则响应滞后。采用多窗口多消耗速率的方式,长窗口判定严重程度,短窗口确认问题仍在持续:

长窗口 短窗口 消耗速率阈值 长窗口内预算消耗 级别
1 小时 5 分钟 14.4 2% 紧急
6 小时 30 分钟 6 5% 紧急
3 天 6 小时 1 10% 重要
  • 阈值含义:以 99.9% 目标为例,1 小时内消耗 2% 预算等价于该小时错误率约为 1.44%
  • 短窗口的作用是告警快速解除:问题停止后短窗口立即回落,通知随之关闭
  • 长短窗口同时满足才触发,可以过滤只在某一个窗口出现的抖动
groups:
  - name: slo-burn
    rules:
      - alert: SloErrorBudgetBurnFast
        expr: |
          (
            sum(rate(http_requests_total{job="api",code=~"5.."}[1h])) by (job)
            / sum(rate(http_requests_total{job="api"}[1h])) by (job)
          ) > (14.4 * 0.001)
          and
          (
            sum(rate(http_requests_total{job="api",code=~"5.."}[5m])) by (job)
            / sum(rate(http_requests_total{job="api"}[5m])) by (job)
          ) > (14.4 * 0.001)
        for: 2m
        labels:
          severity: critical
          owner: api-team
        annotations:
          summary: "{{ $labels.job }} 错误预算快速消耗"
          description: "1 小时窗口错误率超过目标允许值的 14.4 倍,且 5 分钟窗口仍在持续,当前错误率 {{ printf \"%.4f\" $value }}"

      - alert: SloErrorBudgetBurnSlow
        expr: |
          (
            sum(rate(http_requests_total{job="api",code=~"5.."}[3d])) by (job)
            / sum(rate(http_requests_total{job="api"}[3d])) by (job)
          ) > (1 * 0.001)
        for: 1h
        labels:
          severity: warning
          owner: api-team
        annotations:
          summary: "{{ $labels.job }} 错误预算持续消耗"
          description: "3 天窗口内错误率持续高于目标允许值,需排查是否存在长期劣化或依赖抖动"

规则设计的两个要点:

  1. for 的取值原则:紧急级尽量短(分钟级),重要级可放长;for 与长窗口叠加后,实际延迟为两者之和,需要一并估算
  2. 表达式只做比较,不在告警规则里做复杂计算,便于用记录规则提前算好并复用

3.3 告警规则设计检查清单

每条新规则上线前逐项确认,任一项无法回答时应先补齐再上线:

检查项 判定标准 不满足时的处理
是否有明确动作 能写出收到告警后的第一条命令或第一个判断 该规则不应存在,或改为提示级汇总
是否可自愈 会自行恢复的抖动已由 for 过滤;自愈但影响用户的事件仍保留告警 调整持续时间,或改为趋势类记录
是否会重复 与既有规则无重叠,或已定义合并与抑制关系 合并规则,或补充抑制关系
是否指向唯一责任方 带 owner 或 team 标签并路由到唯一接收组 补标签与路由,避免群发
是否可判定真伪 通知内容包含实例、当前值、阈值与持续时间 补齐注解字段
是否有恢复条件 故障消除后表达式自动恢复 修正表达式,避免长期处于触发状态
是否区分数据缺失与值为零 up == 0、指标断点、值为 0 三种情况分别定义 为数据缺失单独设置规则
阈值是否有依据 阈值来自实测基线或明确的历史统计 标注为待校准,并安排复测
变更是否被记录 规则新增、阈值调整、关闭均记录时间与原因 补记变更记录,便于回溯

3.4 降噪实践

同源告警聚合

  • group_by 按根因维度选择:同一主机的同类问题用 ['alertname', 'instance'],同一集群的同类问题用 ['alertname', 'cluster']
  • group_wait 给同批告警留出收集时间:紧急级 10 至 30 秒,重要级 30 至 60 秒
  • group_interval 控制同一分组内新增告警的通知频率;repeat_interval 控制未恢复告警的重复提醒
  • 参数语义的完整说明参见 linux: 监控与告警

依赖关系导致的连锁告警抑制

  1. 典型链条:网络设备或网关故障 → 大量主机指标抓取失败 → 上层服务全部告警 → 业务监控全部告警
  2. 抑制方向必须是从底层到上层,即底层可用性告警抑制上层业务告警,禁止反向
  3. 抑制条件用 equal 限定匹配维度,避免跨主机或跨集群误抑制
  4. 抑制关系数量应少而清晰,每新增一条需说明它对应的连锁场景

维护窗口静默

  • 静默必须包含:匹配范围(精确到实例或服务)、结束时间、变更单号或工单号、操作人
  • 变更完成后立即核对目标告警是否按预期恢复,而不是只关闭静默
  • 静默创建与解除记录到变更记录,作为事后复盘的输入

抖动场景的持续时间设置

指标类型 建议持续时间 依据
缓变资源类(磁盘、inode、内存水位) 30 分钟以上 短时波动不影响用户,需要排除临时写入与后台任务
比率类(错误率、成功率、延迟分位) 至少覆盖一个业务周期,通常 10 分钟以上 业务本身存在周期性,需要区分正常波峰与真实劣化
突发故障类(进程退出、单元失败) 5 分钟以内 自动重启通常在数分钟内完成,过长会掩盖真实故障
容量趋势类 小时级或按天评估 变化缓慢,不需要实时通知

持续时间的确定方法:统计该类指标在正常状态下的恢复时间分布,取覆盖绝大多数抖动的一个值。持续时间不是越长越好,过长会延长故障发现时间。

高危 提醒:静默与抑制都会使真实故障不再产生通知,是漏报最直接的来源。示例:为一次发布创建了按服务名匹配的静默且未设置结束时间,后续该服务真实故障时无任何通知;或抑制规则编写过宽,上游设备故障时下游业务告警被一并屏蔽,导致无人处置;或按整个环境匹配的静默在维护结束后被遗忘,长期屏蔽该环境全部告警。兜底方式:

  1. 静默必须设置结束时间,长度不超过一个变更窗口;禁止创建无结束时间的静默
  2. 匹配范围尽量精确到实例或服务,禁止按整个环境、整个集群匹配
  3. 静默与抑制规则的创建与解除登记到变更记录,包含创建人、原因、到期时间、影响的告警范围
  4. 每日检查一次活跃静默列表,对无变更单号、超过约定时长的静默立即解除
amtool silence query --alertmanager.url=http://127.0.0.1:9093
  1. 抑制规则只保留"底层可用性抑制上层业务"这一个方向,新增抑制规则需说明对应的连锁场景
  2. 维护窗口结束前设置提醒,窗口结束后核对目标告警的恢复情况,确认是真实恢复而非被屏蔽
  3. 关键服务保留少量不参与静默的核心告警(如端到端探测失败),作为兜底信号

3.5 on-call 与升级路径

值班轮换

  1. 轮换周期不低于一周,避免频繁切换上下文;交接需要固定时间点与书面清单
  2. 同一时段保证有一线值班与二线备份,避免单人不可用导致无人响应
  3. 值班期间以告警响应为主,不应与大量交付任务并行
  4. 新成员上岗前完成一次跟随值班与一次模拟演练,确认熟悉处置手册与升级路径

升级路径

阶段 时限(参考值) 动作
一线响应 告警触发后 5 分钟内确认 确认影响面与级别,执行标准处置手册,记录已执行动作
二线升级 15 分钟未定位或影响扩大 通知二线负责人,同步现象、影响面与已执行动作
负责人介入 30 分钟未恢复或达到故障分级阈值 启动故障流程,处置与对外沟通分为两条线
外部协同 涉及供应商或外部依赖 按约定联系方式升级,同步内部已有结论

时限的具体数值需按业务容忍度调整,关键点是时限存在、被记录、被执行,而不是数值本身。

交接清单

  1. 当前未恢复的告警与已确认的临时处置
  2. 已执行但未验证的变更
  3. 处于静默或抑制状态的告警及其原因与到期时间
  4. 正在观察的容量与趋势问题
  5. 未归档的故障记录与待办改进项

故障分级与通报范围

级别 判定 通报范围 通报时机
一级 核心业务不可用,或存在数据损失风险 业务负责人、技术负责人、管理层 确认后立即
二级 核心功能降级,或部分用户受影响 业务负责人、技术负责人 确认后 30 分钟内
三级 单实例异常,服务整体可用 技术团队内部 处置完成后汇总
  • 通报内容固定为:影响面、开始时间、当前状态、已采取措施、下一次更新时刻
  • 对外沟通与内部处置由不同人负责,避免处置过程被沟通打断
  • 通报与复盘记录归档,处置过程与结论写入案例库,参见 linux: 故障案例库

3.6 告警有效性评估

统计方法

指标 定义 数据来源
误报率 触发后未执行任何处置动作的告警占比 处置记录,而非主观感受
漏报数 事后复盘发现的、影响用户但未触发告警的事件数 每次复盘统计一次
有效率 触发后执行了处置并产生实际收敛作用的告警占比 处置记录
平均确认时长 从触发到被确认的时长中位数 告警系统与处置记录对比
平均恢复时长 从触发到恢复的时长中位数,按级别分别统计 告警系统

定期审查与清理

  1. 每周审查被静默与抑制覆盖的告警,确认覆盖范围仍然合理
  2. 每月统计告警数量排行,前 10 条通常占据大部分通知量,说明存在集中噪声源
  3. 每季度清理:连续 90 天未触发且无预期场景的规则可降级或删除;语义重复的规则合并
  4. 每次故障复盘后核对:该故障是否应被现有规则发现;未发现则补充规则,发现过晚则调整阈值或持续时间

趋势观察

  • 每周期告警总条数与紧急级条数的变化
  • 每条告警的平均处置时长
  • 因同一根因重复触发的次数
  • 阈值调整与规则新增、删除的次数,反映治理是否在进行

结果的使用

  1. 噪声排行前列的规则:先修根因,再调阈值。仅调阈值会在根因复现时再次爆发
  2. 漏报统计长期为零通常不是好消息,更可能是复盘未记录或影响面判定标准过松
  3. 误报率与漏报数同时偏高,说明阈值与持续时间未按实测分布设定,应重新采集基线
  4. 基线的采集方法参见 linux: 巡检与健康检查,巡检中的趋势项稳定后应下沉为告警规则

3.7 与巡检、日志、案例库的分工

手段 回答的问题 时间尺度 输出 文档
监控告警 当前是否偏离阈值,是否需要立即处置 秒级至分钟级 通知 linux: 监控与告警
SLO 与错误预算 偏离是否已影响用户,还能承受多少,优先级如何 小时级至 30 天 优先级与变更节奏 本篇
巡检 是否存在趋势问题与配置漂移 天级至周级 结构化记录与归档 linux: 巡检与健康检查
日志查询与审计 具体发生了什么,谁在何时做了什么 事件级 事件明细与审计记录 linux: 日志查询与审计命令
故障案例库 同类现象此前如何处理 按需检索 处置路径与复盘结论 linux: 故障案例库

分工要点:

  1. SLO 决定优先级:告警只说明指标异常,是否影响用户、是否需要立即处置由 SLO 与错误预算判定
  2. 告警触发后用日志确定错误原文与影响范围,查询与审计命令参见 linux: 日志查询与审计命令
  3. 巡检保留无法用单一阈值表达的项目(配置漂移、备份结果、证书有效期),可量化的趋势项应下沉为告警规则,参见 linux: 巡检与健康检查
  4. 每次故障的处置路径与改进项写入案例库,作为告警规则新增与阈值调整的输入,参见 linux: 故障案例库
  5. 规则新增与阈值调整需与变更记录关联,保证任何一条阈值都能追溯到设定原因

四、总结

  • 告警有两类失效:漏报让故障静默发生,噪声使真实告警被忽略;两者互为代价,仅调整阈值无法同时解决
  • 指标的完整性与规则的数量不等于优先级,优先级需要由 SLO 与错误预算提供
  • SLI 从用户可感知的行为选取,分为可用性、延迟、饱和度三类;延迟需同时约束典型值与长尾,分位数需在同一数据源内计算
  • SLO 由目标值与统计窗口构成,目标应略低于实测水平并与依赖方对齐;SLA 应比 SLO 宽松
  • 错误预算把目标转换为可消耗额度,消耗速率把剩余预算转换为"还能撑多久",多窗口多消耗速率是分级告警的基础
  • 告警分级依据可判定的条件,紧急级对应快速消耗或服务已不可用,并规定响应时限与通知方式
  • 治理的四个手段作用范围不同:阈值与持续时间改变判定,聚合与抑制改变通知形态,静默只改变通知时机
  • 每条规则上线前用检查清单核对动作、自愈性、重复性、责任方、可判定性与恢复条件
  • 降噪从同源聚合、依赖抑制、维护窗口静默、抖动持续时间四处入手,持续时间需按指标恢复时间分布确定
  • 静默与抑制是漏报的主要来源,必须带结束时间、精确匹配范围与变更记录,并定期审计
  • on-call 需要固定轮换、书面交接清单、明确升级时限与故障分级通报范围
  • 治理效果以误报率、漏报数、有效率和处理时长趋势衡量;噪声应先修根因再调阈值
  • SLO 负责优先级,告警负责触发,巡检负责趋势与漂移,日志负责明细,案例库负责处置路径,五者分工不可互相替代,配置基线参见 linux: 监控与告警