内容总览

linux: 监控与告警 思维导图

一、起源:为什么需要监控

1.1 故障发现依赖告警而非人工巡检

服务器故障的发现路径有两种:

  1. 人工巡检:按固定周期登录主机检查资源与日志,周期通常为天级
  2. 监控告警:按秒级或分钟级周期自动采集,条件满足即推送通知

两者的时间尺度差异决定了故障发现时间。磁盘写满、内存耗尽、进程被 OOM Killer 终止、证书过期导致认证失败等故障,往往在数分钟内即造成服务不可用;依赖天级巡检的发现延迟通常在数小时以上,业务损失已实际发生。

监控的作用是把故障发现时间从"下一个巡检周期"压缩到"指标越过阈值后的告警窗口"。

1.2 容量趋势与容量规划

单次巡检只能给出当前快照,无法回答以下问题:

  • 磁盘当前剩余 20%,按近期增速何时耗尽
  • 内存使用率逐月上升,是业务增长还是存在泄漏
  • 文件描述符、连接数、inode 的增长斜率是否超过业务增速

监控把指标按时间保存,形成趋势曲线。趋势数据是容量规划的依据:基线值用于判断当前是否异常,斜率用于判断资源何时耗尽,两者结合才能给出扩容时间点与扩容幅度。

1.3 变更后验证

发布、扩容、配置调整、内核参数修改均属于变更。变更的影响需要通过变更前后的指标对比确认:

  • 变更后错误率、响应时间、资源占用是否出现阶跃
  • 变更是否在非预期的主机上生效

监控数据是变更回滚判断的客观依据。没有监控的变更只能依赖业务反馈,发现滞后且缺乏对比基准。

二、原理:指标、采集与告警

2.1 指标类型

时序监控中的指标按数值语义分为三类:

计数器(Counter)

  • 特征:只增不减,进程重启时归零
  • 典型示例:node_cpu_seconds_total、node_network_receive_bytes_total、node_disk_io_time_seconds_total
  • 用法:必须用 rate() 或 increase() 转换为单位时间增量,直接查看原始值无意义
  • 注意:进程重启造成的归零会被 rate() 识别为计数器重置,不会产生负值尖峰

仪表(Gauge)

  • 特征:可增可减,表示某一时刻的瞬时值
  • 典型示例:node_memory_MemAvailable_bytes、node_load1、node_filesystem_avail_bytes、node_filefd_allocated
  • 用法:直接比较、求差、求比例,不参与 rate()
  • 注意:仪表值抖动明显,告警必须加持续时间条件

直方图(Histogram)

  • 特征:由一组桶(bucket)计数器累积构成,用于描述分布
  • 典型示例:请求耗时分布、node_disk_io_time_weighted_seconds_total 衍生的延迟分布
  • 用法:通过桶边界计算分位数,如 histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[5m]))
  • 注意:分位数由桶边界插值得到,桶划分不合理时精度下降;跨实例求分位数不可直接对分位数值做平均

三类指标的换算关系:

类型 是否可直接取值 常用函数 告警表达重点
计数器 否 rate、increase、irate 单位时间增量超过阈值
仪表 是 比较、比例、导数(deriv) 绝对值或比例越界且持续
直方图 否 histogram_quantile、rate 分位数超过服务水平目标

2.2 采集模型:pull 与 push

pull 模型

  • 采集端主动按周期请求被监控对象的指标端口
  • 优点:目标清单集中管理;采集端可判断目标是否失联(up == 0);被监控端无需知晓采集端地址
  • 缺点:采集端需能网络直达目标;短生命周期任务(秒级退出的批处理)不易被稳定抓取
  • 典型实现:Prometheus 抓取 node_exporter 的 9100 端口

push 模型

  • 被监控端主动把指标推送给接收端
  • 优点:适合短生命周期任务与跨网络区域场景;无需采集端直连
  • 缺点:采集端无法区分"无数据"与"目标已消失";推送失败时静默丢数据;需要接收端做防滥用限制
  • 典型实现:Pushgateway 中转、部分 Agent 上报型监控

选择依据:

  1. 常驻服务与主机指标优先 pull,便于统一管理与失联检测
  2. 批处理任务、边缘网络、无法被直连的场景使用 push
  3. push 场景需额外配置"数据过期"机制,避免任务结束后旧指标长期驻留并持续触发告警

2.3 时序数据与采样间隔

  • 采样间隔:相邻两个数据点的时间差,常见取值为 15 秒(主机指标)、30 至 60 秒(低频指标)
  • 间隔选择需权衡:间隔越小,分辨率越高,存储与查询压力越大;间隔越大,短时尖峰越容易被平均掉
  • 采样偏差(scrape jitter)会导致 rate() 计算出现小幅波动,短窗口计算时更明显
  • 抓取超时(scrape_timeout)应小于抓取间隔,通常取间隔的三分之二,避免抓取任务叠加

短窗口与长窗口的取舍:

窗口 特征 适用场景
1 至 5 分钟 灵敏,抖动大 快速变化的错误率、延迟
15 至 60 分钟 平滑,滞后 容量类指标、磁盘使用率
数天 极平滑 容量趋势拟合与预测

2.4 聚合与保留周期

聚合维度

  • 常用聚合:sum、avg、max、min、count、quantile
  • 聚合前需明确丢失哪些标签:by (instance) 保留主机维度,without (cpu) 合并不需要的维度
  • 求平均使用率时不可直接对多核使用 avg,应先用 rate() 逐核计算再按主机聚合

保留周期与降采样

  • 原始分辨率数据(15 秒)通常保留 15 至 30 天
  • 降采样数据(5 分钟、1 小时)保留数月至数年,用于容量趋势分析
  • 保留策略需与磁盘容量匹配:数据量估算公式为"每秒样本数 × 保留秒数 × 每样本字节数",标签基数过高时存储增长远超线性预期
  • 高基数来源:容器 ID、URL 路径、用户 ID 作为标签;应在采集阶段丢弃或聚合

2.5 告警规则的构成

一条告警规则由四部分组成:

  1. 条件(expr):PromQL 表达式,返回非空结果即视为触发
  2. 持续时间(for):条件需连续满足的时长,用于过滤瞬时尖峰
  3. 标签(labels):至少包含 severity,供路由与抑制使用
  4. 注解(annotations):summary 与 description,说明现象与建议动作

持续时间的取值原则:

  • 突发的、影响面大的故障(进程退出、单元失败):持续时间短,5 分钟以内
  • 缓变的、可通过一次操作处理的资源类问题(磁盘、inode):持续时间长,30 分钟以上
  • 抖动明显的比率类指标(CPU、网络带宽):至少覆盖一个业务周期,通常 10 分钟以上

持续时间过短会带来大量瞬时告警,持续时间过长会延长故障发现时间,取值需结合业务容忍度。

2.6 告警抑制与静默

抑制(inhibit)

  • 定义:当某条高优先级告警已触发时,自动屏蔽由它引起的低优先级告警
  • 典型配置:同一主机上 severity=critical 触发时抑制同主机的 severity=warning;主机整体不可达时抑制其上的全部服务告警
  • 作用:避免一个根因引发数十条告警,减少处置干扰

静默(silence)

  • 定义:按标签匹配器在指定时间范围内屏蔽符合条件的告警通知
  • 典型场景:计划内维护窗口、发布窗口、已知问题的临时容忍
  • 注意:静默只屏蔽通知,不阻止告警状态变化;静默必须设置明确的结束时间,长期静默等同于关闭监控

2.7 日志与指标的分工

维度 指标 日志
数据结构 数值加标签,结构固定 自由文本或结构化字段
存储开销 与时间点数量成正比 与事件数量成正比,通常远大于指标
主要用途 趋势、阈值判断、容量规划 根因定位、事件明细、审计
告警适用性 适合作为告警条件 适合作为告警上下文的补充

分工原则:

  1. 阈值型、趋势型判断用指标,告警消息中附带指标当前值
  2. 指标告警触发后,用日志确定具体错误与影响范围
  3. 日志查询与审计的具体命令参见 linux: 日志查询与审计命令
  4. 日志自身的容量治理参见 logrotate 日志轮转

三、实现:指标、配置与告警规则

3.1 node_exporter 常用指标

node_exporter 以 HTTP 方式暴露主机指标,默认端口 9100,采集入口为 /metrics。

CPU

  • 指标:node_cpu_seconds_total{mode="..."},按 CPU 编号与模式分组的计数器
  • 模式取值:user、system、nice、idle、iowait、irq、softirq、steal
  • 空闲占比表达式:
avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))
  • 使用率(百分比):
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
  • 判读要点:iowait 偏高说明 CPU 在等待磁盘 I/O,属于 I/O 瓶颈的表现而非计算瓶颈;steal 偏高说明虚拟化宿主抢占,需从宿主机侧处理

内存

  • 指标:node_memory_MemTotal_bytes、node_memory_MemFree_bytes、node_memory_MemAvailable_bytes、node_memory_Cached_bytes、node_memory_Buffers_bytes、node_memory_SwapTotal_bytes、node_memory_SwapFree_bytes
  • 可用内存占比:
node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100
  • 判读要点:MemFree 偏低属于正常现象,页缓存会主动占用空闲内存;判断内存是否紧张应使用 MemAvailable,该值已扣除可回收的缓存部分;swap 持续被换入换出(node_vmstat_pswpin、pswpout)说明物理内存不足

磁盘空间

  • 指标:node_filesystem_size_bytes、node_filesystem_avail_bytes、node_filesystem_free_bytes、node_filesystem_device_error
  • 区别:
  • avail:普通用户可用空间,已扣除 root 预留块,与 df 输出一致
  • free:含 root 预留块的总剩余空间
  • 剩余占比(需过滤虚拟文件系统):
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} * 100
  • 判读要点:必须按 fstype 与 mountpoint 过滤,否则 tmpfs、容器 overlay 层会造成误报;容量类指标不适用于 tmpfs,tmpfs 占用的是内存

inode

  • 指标:node_filesystem_files、node_filesystem_files_free
  • 剩余占比:
node_filesystem_files_free{fstype!~"tmpfs|overlay"} / node_filesystem_files{fstype!~"tmpfs|overlay"} * 100
  • 判读要点:inode 耗尽时 df -h 显示空间充足但仍报 No space left on device,小型文件或缓存文件目录是常见来源

磁盘 I/O

  • 指标:node_disk_io_time_seconds_total、node_disk_read_time_seconds_total、node_disk_write_time_seconds_total、node_disk_reads_completed_total、node_disk_writes_completed_total、node_disk_io_now
  • 设备繁忙度(近似利用率):
rate(node_disk_io_time_seconds_total{device=~"sd.*|nvme.*"}[5m])
  • 平均等待时间(await)需由计数器组合得到,node_exporter 不直接暴露该指标:
rate(node_disk_read_time_seconds_total[5m] + node_disk_write_time_seconds_total[5m])
/
rate(node_disk_reads_completed_total[5m] + node_disk_writes_completed_total[5m])
  • 判读要点:繁忙度接近 1 表示设备持续排队;await 为毫秒级(写入 10 毫秒以内、读取 20 毫秒以内)属正常范围,机械盘显著高于 SSD;node_disk_io_now 持续大于 0 表示始终有请求在排队

网络

  • 指标:node_network_receive_bytes_total、node_network_transmit_bytes_total、node_network_receive_errs_total、node_network_receive_drop_total、node_network_transmit_drop_total、node_network_speed_bytes、node_network_carrier
  • 接收速率:
rate(node_network_receive_bytes_total{device!="lo"}[5m])
  • 判读要点:需排除 lo 回环设备;drops 增长说明内核缓冲区不足或队列溢出,errs 增长通常指向链路或网卡问题;带宽利用率需与 node_network_speed_bytes 比较

负载

  • 指标:node_load1、node_load5、node_load15、node_procs_blocked、node_procs_running
  • 单核负载(每核平均):
node_load1 / count by (instance) (node_cpu_seconds_total{mode="idle"})
  • 判读要点:负载包含处于可运行与不可中断睡眠(D 状态,等待 I/O)的进程,负载高不一定等于 CPU 繁忙;node_procs_blocked 持续大于 0 时,负载上升通常来自 I/O 等待;单核负载大于 1 表示存在排队

文件描述符

  • 指标:node_filefd_allocated、node_filefd_maximum
  • 占用比例:
node_filefd_allocated / node_filefd_maximum * 100
  • 判读要点:maximum 为系统级上限(/proc/sys/fs/file-nr 与 file-max),单进程上限由 ulimit -n 单独控制,该指标无法反映单进程限制;连接失败报 Too many open files 时需同时核对进程级限制

时间同步

  • 指标:node_timex_offset_seconds、node_timex_sync_status、node_timex_maxerror_seconds、node_timex_estimated_error_seconds
  • 判读要点:offset 为内核相对参考源的偏移量,正负均表示偏差;sync_status 为 1 表示已与参考源同步,为 0 表示未同步;时间偏移会导致证书校验失败、集群认证失败、日志时间线错乱

进程与端口存活

  • 单元状态指标:node_systemd_unit_state{name="...",state="..."},state 取值包括 active、failed、activating、inactive
  • 判断指定单元是否处于运行状态:
node_systemd_unit_state{name="nginx.service",state="active"} == 1
  • 判断是否存在失败单元:
node_systemd_unit_state{state="failed"} == 1
  • 判读要点:启用收集器时需在启动参数中显式打开 --collector.systemd,并通过 --collector.systemd.unit-include 限定单元范围,避免指标基数膨胀
  • 端口存活:node_exporter 不提供 TCP 端口探测,端口级可用性使用 blackbox_exporter,探测结果为 probe_success(1 成功、0 失败),配置示例:
scrape_configs:
  - job_name: blackbox-tcp
    metrics_path: /probe
    params:
      module: [tcp_connect]
    static_configs:
      - targets: ['10.0.0.11:3306', '10.0.0.12:6379']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115

3.2 抓取配置与告警规则示例

抓取配置片段

global:
  scrape_interval: 15s
  scrape_timeout: 10s
  evaluation_interval: 15s

rule_files:
  - /etc/prometheus/rules/host-basic.yml

alerting:
  alertmanagers:
    - static_configs:
        - targets: ['127.0.0.1:9093']

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['10.0.0.11:9100', '10.0.0.12:9100']
        labels:
          env: prod
          role: app
  - job_name: blackbox-tcp
    metrics_path: /probe
    params:
      module: [tcp_connect]
    static_configs:
      - targets: ['10.0.0.11:3306']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115

说明:

  • scrape_interval 与 evaluation_interval 保持一致,避免规则评估频率与数据点频率错位
  • scrape_timeout 小于 scrape_interval,防止抓取任务堆积
  • 目标标签通过 labels 注入,用于后续聚合与路由
  • 目标清单规模扩大后改用文件发现或服务发现,避免静态清单漂移

告警规则文件

groups:
  - name: host-basic
    rules:
      - alert: HostHighCpuUsage
        expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} CPU 使用率持续偏高"
          description: "CPU 使用率连续 10 分钟高于 85%,当前值 {{ printf \"%.1f\" $value }}%"

      - alert: HostLowMemoryAvailable
        expr: node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100 < 10
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 可用内存不足"
          description: "MemAvailable 连续 10 分钟低于总内存的 10%,存在触发 OOM Killer 的风险"

      - alert: HostDiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} * 100 < 20
        for: 30m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 分区 {{ $labels.mountpoint }} 空间不足"
          description: "可用空间低于 20%,当前值 {{ printf \"%.1f\" $value }}%"

      - alert: HostInodeLow
        expr: node_filesystem_files_free{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} / node_filesystem_files{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} * 100 < 10
        for: 30m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 分区 {{ $labels.mountpoint }} inode 不足"

      - alert: HostSystemdUnitFailed
        expr: node_systemd_unit_state{state="failed"} == 1
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 单元 {{ $labels.name }} 处于 failed 状态"

      - alert: HostClockSkew
        expr: abs(node_timex_offset_seconds) > 0.5
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 系统时间偏移过大"
          description: "时间偏移连续 10 分钟超过 0.5 秒,当前值 {{ printf \"%.3f\" $value }} 秒"

      - alert: HostDown
        expr: up{job="node"} == 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 指标抓取失败"
          description: "连续 5 分钟无法抓取指标,可能是主机故障或 node_exporter 异常"

阈值与持续时间的选择依据:

告警项 阈值 持续时间 选择依据
CPU 使用率 85% 10 分钟 短时突发属正常业务波动,持续 10 分钟以上说明计算资源不足;阈值留出余量供突发流量使用
可用内存 10% 10 分钟 目标是把处置时间留在 OOM Killer 触发之前;MemAvailable 已扣除可回收缓存,比例低即真实紧张
磁盘空间 剩余 20% 30 分钟 磁盘增长缓慢,30 分钟足以排除临时写入;保留 20% 余量用于日志轮转与临时文件
inode 剩余 10% 30 分钟 inode 无法扩容,需预留处置窗口;小型文件场景下 inode 耗尽早于空间耗尽
单元状态 非 active 5 分钟 服务失败通常已完成自动重启尝试,5 分钟可排除启动过程中的瞬时状态
时间偏移 0.5 秒 10 分钟 超过 0.5 秒会影响证书校验与集群认证;NTP 正常同步时偏移在毫秒级
抓取失败 up 为 0 5 分钟 短时抓取失败常因网络抖动,5 分钟可区分抖动与真实失联

规则校验与生效:

promtool check rules /etc/prometheus/rules/host-basic.yml
curl -s http://127.0.0.1:9090/api/v1/rules | grep -o '"name":"[^"]*"'

3.3 告警级别划分与通知路由

级别划分

级别 含义 典型场景 通知方式
critical 服务已不可用或即将不可用 主机失联、单元 failed、可用内存低于 10% 立即通知,电话或即时消息
warning 指标越界,短期内不影响服务 磁盘剩余低于 20%、CPU 持续偏高、时间偏移 汇总通知,工单或群消息
info 仅记录,不需要即时处置 变更完成、扩缩容事件 写入事件记录,不主动推送

路由思路

route:
  receiver: default
  group_by: ['alertname', 'instance']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers:
        - severity="critical"
      receiver: oncall-critical
      group_wait: 10s
      repeat_interval: 1h
    - matchers:
        - severity="warning"
      receiver: ops-ticket
      repeat_interval: 12h
inhibit_rules:
  - source_matchers:
      - severity="critical"
    target_matchers:
      - severity="warning"
    equal: ['instance']

参数含义:

  • group_by:按告警名与实例合并,避免同一故障拆成多条通知
  • group_wait:首次分组的等待时间,用于收集同一批次的告警
  • group_interval:同一分组内新增告警的通知间隔
  • repeat_interval:未恢复告警的重复提醒间隔,避免持续刷屏
  • inhibit_rules:同实例上 critical 触发时抑制 warning

路由设计原则

  1. 按影响面分级:主机级、服务级、业务级分别对应不同接收人
  2. 通知内容必须包含实例、指标当前值、持续时间,避免收到通知后仍需人工查询
  3. 告警数量需要治理:长期无人处置的告警应调整阈值或降级,否则会降低对 critical 的敏感度

抑制与静默的使用场景

  • 抑制:主机失联导致其上百个采集目标同时异常,用 up == 0 的 critical 抑制同实例全部 warning
  • 抑制:数据库主库切换期间,主从延迟告警应被切换事件抑制
  • 静默:内核升级与重启窗口,按 instance 匹配器静默 30 分钟
  • 静默:已知磁盘扩容申请中,对特定 mountpoint 静默至扩容完成
  • 静默管理:
amtool silence add --alertmanager.url=http://127.0.0.1:9093 --duration=30m --comment="内核升级窗口" instance="10.0.0.11:9100"
amtool silence query --alertmanager.url=http://127.0.0.1:9093

3.4 监控自身的可靠性

监控失效时故障会静默发生,因此监控系统本身需要被监控。

采集端可靠性

  • 抓取失败告警:up{job="node"} == 0,这是所有主机告警的前提条件
  • 采集端冗余:部署两个 Prometheus 实例分别抓取同一批目标,任一副本即可提供数据
  • 采集端自身资源:采集端的磁盘写入量与内存占用需纳入监控,标签基数膨胀会先打满采集端磁盘
  • 时间同步:采集端与被监控端时间偏移会造成数据点时间戳错位,查询出现空洞

告警通道可靠性

  • 通道探测:配置一条始终处于触发状态的规则(心跳或 Watchdog),接收端在固定周期内未收到该通知即判定通道故障
  • 多通道冗余:即时消息与邮件等不同通道并行,避免单一通道故障导致告警丢失
  • 通道验证:新增路由后使用 amtool alert add 或直接调用 Alertmanager API 发送测试告警,确认接收端可达
amtool alert add alertname=Watchdog severity=critical --alertmanager.url=http://127.0.0.1:9093

避免单点

  • 采集端、存储、告警接收端分别独立部署,避免同一主机承载全部角色
  • 采集端与被监控业务不共用同一块磁盘与同一份资源配额
  • 服务端与采集端跨机架部署,避免同一网络故障同时影响两者

维护窗口与静默期

  • 计划内变更提前创建静默,并在变更完成后核对告警是否恢复
  • 维护窗口结束必须关闭静默,避免遗留静默掩盖后续真实故障
  • 静默期间产生的告警状态变化仍需保留记录,用于变更后复盘

3.5 容量规划方法

步骤一:确定基线

  • 取最近 30 天同类时段的指标作为基线,排除发布与压测时段
  • 关注指标:磁盘使用量、inode 使用量、可用内存、文件描述符占用、连接数、网络带宽
  • 记录基线值与日增长量:
deriv(node_filesystem_avail_bytes{mountpoint="/"}[6h]) * 86400

步骤二:计算增长速率

  • 用线性回归拟合增长趋势,排除阶跃点(一次性数据导入、日志清理)
  • 增长速率取值应以中位数为准,峰值仅用于评估风险上限
  • 内存类指标需区分缓存增长与真实占用增长,缓存增长不构成容量压力

步骤三:估算耗尽时间

  • 耗尽天数 = 剩余可用量 ÷ 每日净增长量
  • 每日净增长需扣除周期性清理量(日志轮转、临时文件清理)
  • 对不可扩容的资源(inode、单机内存上限),耗尽时间即为扩容触发点

步骤四:确定扩容触发点与幅度

  • 触发点:预计耗尽时间小于采购与变更周期之和时启动扩容
  • 幅度:按当前增速满足未来一个规划周期(通常为 6 至 12 个月),同时预留余量系数
  • 磁盘预留:为日志轮转、核心转储、临时文件预留不低于 20% 空间
  • 内存预留:为页缓存与突发请求预留不低于 20% 空间

步骤五:验证与回归

  • 扩容完成后核对指标阶跃是否符合预期
  • 更新基线与阈值,避免沿用旧阈值继续触发告警
  • 将本次容量数据与结论归档,作为下次规划的对照

四、总结

  • 监控解决两个问题:把故障发现时间从巡检周期压缩到告警窗口,把当前快照扩展为可外推的趋势数据
  • 指标分三类:计数器用 rate() 转换,仪表直接比较,直方图用于分位数计算
  • 采集模型分 pull 与 push:常驻主机指标用 pull 便于失联检测,短生命周期任务用 push 配合数据过期机制
  • 告警规则由条件、持续时间、级别标签与注解四项构成,持续时间用于过滤瞬时抖动
  • 阈值取值需留出处置窗口:磁盘剩余 20%、可用内存 10%、时间偏移 0.5 秒
  • 抑制解决一个根因引发多条告警的问题,静默用于计划内维护窗口,两者都不应长期存在
  • 指标负责判断与趋势,日志负责根因,日志查询命令参见 linux: 日志查询与审计命令
  • 监控自身需要被监控:抓取失败告警与心跳规则是全部告警的前提
  • 容量规划按基线、增速、耗尽时间、触发点与幅度五步执行,不可扩容资源需优先安排
  • 巡检类检查项与巡检脚本参见同目录的 linux: 巡检与健康检查