内容总览
一、起源:为什么需要监控
1.1 故障发现依赖告警而非人工巡检
服务器故障的发现路径有两种:
- 人工巡检:按固定周期登录主机检查资源与日志,周期通常为天级
- 监控告警:按秒级或分钟级周期自动采集,条件满足即推送通知
两者的时间尺度差异决定了故障发现时间。磁盘写满、内存耗尽、进程被 OOM Killer 终止、证书过期导致认证失败等故障,往往在数分钟内即造成服务不可用;依赖天级巡检的发现延迟通常在数小时以上,业务损失已实际发生。
监控的作用是把故障发现时间从"下一个巡检周期"压缩到"指标越过阈值后的告警窗口"。
1.2 容量趋势与容量规划
单次巡检只能给出当前快照,无法回答以下问题:
- 磁盘当前剩余 20%,按近期增速何时耗尽
- 内存使用率逐月上升,是业务增长还是存在泄漏
- 文件描述符、连接数、inode 的增长斜率是否超过业务增速
监控把指标按时间保存,形成趋势曲线。趋势数据是容量规划的依据:基线值用于判断当前是否异常,斜率用于判断资源何时耗尽,两者结合才能给出扩容时间点与扩容幅度。
1.3 变更后验证
发布、扩容、配置调整、内核参数修改均属于变更。变更的影响需要通过变更前后的指标对比确认:
- 变更后错误率、响应时间、资源占用是否出现阶跃
- 变更是否在非预期的主机上生效
监控数据是变更回滚判断的客观依据。没有监控的变更只能依赖业务反馈,发现滞后且缺乏对比基准。
二、原理:指标、采集与告警
2.1 指标类型
时序监控中的指标按数值语义分为三类:
计数器(Counter)
- 特征:只增不减,进程重启时归零
- 典型示例:
node_cpu_seconds_total、node_network_receive_bytes_total、node_disk_io_time_seconds_total - 用法:必须用
rate()或increase()转换为单位时间增量,直接查看原始值无意义 - 注意:进程重启造成的归零会被
rate()识别为计数器重置,不会产生负值尖峰
仪表(Gauge)
- 特征:可增可减,表示某一时刻的瞬时值
- 典型示例:
node_memory_MemAvailable_bytes、node_load1、node_filesystem_avail_bytes、node_filefd_allocated - 用法:直接比较、求差、求比例,不参与
rate() - 注意:仪表值抖动明显,告警必须加持续时间条件
直方图(Histogram)
- 特征:由一组桶(bucket)计数器累积构成,用于描述分布
- 典型示例:请求耗时分布、
node_disk_io_time_weighted_seconds_total衍生的延迟分布 - 用法:通过桶边界计算分位数,如
histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[5m])) - 注意:分位数由桶边界插值得到,桶划分不合理时精度下降;跨实例求分位数不可直接对分位数值做平均
三类指标的换算关系:
| 类型 | 是否可直接取值 | 常用函数 | 告警表达重点 |
|---|---|---|---|
| 计数器 | 否 | rate、increase、irate | 单位时间增量超过阈值 |
| 仪表 | 是 | 比较、比例、导数(deriv) | 绝对值或比例越界且持续 |
| 直方图 | 否 | histogram_quantile、rate | 分位数超过服务水平目标 |
2.2 采集模型:pull 与 push
pull 模型
- 采集端主动按周期请求被监控对象的指标端口
- 优点:目标清单集中管理;采集端可判断目标是否失联(
up == 0);被监控端无需知晓采集端地址 - 缺点:采集端需能网络直达目标;短生命周期任务(秒级退出的批处理)不易被稳定抓取
- 典型实现:Prometheus 抓取 node_exporter 的 9100 端口
push 模型
- 被监控端主动把指标推送给接收端
- 优点:适合短生命周期任务与跨网络区域场景;无需采集端直连
- 缺点:采集端无法区分"无数据"与"目标已消失";推送失败时静默丢数据;需要接收端做防滥用限制
- 典型实现:Pushgateway 中转、部分 Agent 上报型监控
选择依据:
- 常驻服务与主机指标优先 pull,便于统一管理与失联检测
- 批处理任务、边缘网络、无法被直连的场景使用 push
- push 场景需额外配置"数据过期"机制,避免任务结束后旧指标长期驻留并持续触发告警
2.3 时序数据与采样间隔
- 采样间隔:相邻两个数据点的时间差,常见取值为 15 秒(主机指标)、30 至 60 秒(低频指标)
- 间隔选择需权衡:间隔越小,分辨率越高,存储与查询压力越大;间隔越大,短时尖峰越容易被平均掉
- 采样偏差(scrape jitter)会导致
rate()计算出现小幅波动,短窗口计算时更明显 - 抓取超时(scrape_timeout)应小于抓取间隔,通常取间隔的三分之二,避免抓取任务叠加
短窗口与长窗口的取舍:
| 窗口 | 特征 | 适用场景 |
|---|---|---|
| 1 至 5 分钟 | 灵敏,抖动大 | 快速变化的错误率、延迟 |
| 15 至 60 分钟 | 平滑,滞后 | 容量类指标、磁盘使用率 |
| 数天 | 极平滑 | 容量趋势拟合与预测 |
2.4 聚合与保留周期
聚合维度
- 常用聚合:
sum、avg、max、min、count、quantile - 聚合前需明确丢失哪些标签:
by (instance)保留主机维度,without (cpu)合并不需要的维度 - 求平均使用率时不可直接对多核使用
avg,应先用rate()逐核计算再按主机聚合
保留周期与降采样
- 原始分辨率数据(15 秒)通常保留 15 至 30 天
- 降采样数据(5 分钟、1 小时)保留数月至数年,用于容量趋势分析
- 保留策略需与磁盘容量匹配:数据量估算公式为"每秒样本数 × 保留秒数 × 每样本字节数",标签基数过高时存储增长远超线性预期
- 高基数来源:容器 ID、URL 路径、用户 ID 作为标签;应在采集阶段丢弃或聚合
2.5 告警规则的构成
一条告警规则由四部分组成:
- 条件(expr):PromQL 表达式,返回非空结果即视为触发
- 持续时间(for):条件需连续满足的时长,用于过滤瞬时尖峰
- 标签(labels):至少包含
severity,供路由与抑制使用 - 注解(annotations):
summary与description,说明现象与建议动作
持续时间的取值原则:
- 突发的、影响面大的故障(进程退出、单元失败):持续时间短,5 分钟以内
- 缓变的、可通过一次操作处理的资源类问题(磁盘、inode):持续时间长,30 分钟以上
- 抖动明显的比率类指标(CPU、网络带宽):至少覆盖一个业务周期,通常 10 分钟以上
持续时间过短会带来大量瞬时告警,持续时间过长会延长故障发现时间,取值需结合业务容忍度。
2.6 告警抑制与静默
抑制(inhibit)
- 定义:当某条高优先级告警已触发时,自动屏蔽由它引起的低优先级告警
- 典型配置:同一主机上
severity=critical触发时抑制同主机的severity=warning;主机整体不可达时抑制其上的全部服务告警 - 作用:避免一个根因引发数十条告警,减少处置干扰
静默(silence)
- 定义:按标签匹配器在指定时间范围内屏蔽符合条件的告警通知
- 典型场景:计划内维护窗口、发布窗口、已知问题的临时容忍
- 注意:静默只屏蔽通知,不阻止告警状态变化;静默必须设置明确的结束时间,长期静默等同于关闭监控
2.7 日志与指标的分工
| 维度 | 指标 | 日志 |
|---|---|---|
| 数据结构 | 数值加标签,结构固定 | 自由文本或结构化字段 |
| 存储开销 | 与时间点数量成正比 | 与事件数量成正比,通常远大于指标 |
| 主要用途 | 趋势、阈值判断、容量规划 | 根因定位、事件明细、审计 |
| 告警适用性 | 适合作为告警条件 | 适合作为告警上下文的补充 |
分工原则:
- 阈值型、趋势型判断用指标,告警消息中附带指标当前值
- 指标告警触发后,用日志确定具体错误与影响范围
- 日志查询与审计的具体命令参见 linux: 日志查询与审计命令
- 日志自身的容量治理参见 logrotate 日志轮转
三、实现:指标、配置与告警规则
3.1 node_exporter 常用指标
node_exporter 以 HTTP 方式暴露主机指标,默认端口 9100,采集入口为 /metrics。
CPU
- 指标:
node_cpu_seconds_total{mode="..."},按 CPU 编号与模式分组的计数器 - 模式取值:
user、system、nice、idle、iowait、irq、softirq、steal - 空闲占比表达式:
avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))
- 使用率(百分比):
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
- 判读要点:
iowait偏高说明 CPU 在等待磁盘 I/O,属于 I/O 瓶颈的表现而非计算瓶颈;steal偏高说明虚拟化宿主抢占,需从宿主机侧处理
内存
- 指标:
node_memory_MemTotal_bytes、node_memory_MemFree_bytes、node_memory_MemAvailable_bytes、node_memory_Cached_bytes、node_memory_Buffers_bytes、node_memory_SwapTotal_bytes、node_memory_SwapFree_bytes - 可用内存占比:
node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100
- 判读要点:
MemFree偏低属于正常现象,页缓存会主动占用空闲内存;判断内存是否紧张应使用MemAvailable,该值已扣除可回收的缓存部分;swap 持续被换入换出(node_vmstat_pswpin、pswpout)说明物理内存不足
磁盘空间
- 指标:
node_filesystem_size_bytes、node_filesystem_avail_bytes、node_filesystem_free_bytes、node_filesystem_device_error - 区别:
avail:普通用户可用空间,已扣除 root 预留块,与df输出一致free:含 root 预留块的总剩余空间- 剩余占比(需过滤虚拟文件系统):
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} * 100
- 判读要点:必须按
fstype与mountpoint过滤,否则 tmpfs、容器 overlay 层会造成误报;容量类指标不适用于 tmpfs,tmpfs 占用的是内存
inode
- 指标:
node_filesystem_files、node_filesystem_files_free - 剩余占比:
node_filesystem_files_free{fstype!~"tmpfs|overlay"} / node_filesystem_files{fstype!~"tmpfs|overlay"} * 100
- 判读要点:inode 耗尽时
df -h显示空间充足但仍报No space left on device,小型文件或缓存文件目录是常见来源
磁盘 I/O
- 指标:
node_disk_io_time_seconds_total、node_disk_read_time_seconds_total、node_disk_write_time_seconds_total、node_disk_reads_completed_total、node_disk_writes_completed_total、node_disk_io_now - 设备繁忙度(近似利用率):
rate(node_disk_io_time_seconds_total{device=~"sd.*|nvme.*"}[5m])
- 平均等待时间(await)需由计数器组合得到,node_exporter 不直接暴露该指标:
rate(node_disk_read_time_seconds_total[5m] + node_disk_write_time_seconds_total[5m])
/
rate(node_disk_reads_completed_total[5m] + node_disk_writes_completed_total[5m])
- 判读要点:繁忙度接近 1 表示设备持续排队;await 为毫秒级(写入 10 毫秒以内、读取 20 毫秒以内)属正常范围,机械盘显著高于 SSD;
node_disk_io_now持续大于 0 表示始终有请求在排队
网络
- 指标:
node_network_receive_bytes_total、node_network_transmit_bytes_total、node_network_receive_errs_total、node_network_receive_drop_total、node_network_transmit_drop_total、node_network_speed_bytes、node_network_carrier - 接收速率:
rate(node_network_receive_bytes_total{device!="lo"}[5m])
- 判读要点:需排除
lo回环设备;drops增长说明内核缓冲区不足或队列溢出,errs增长通常指向链路或网卡问题;带宽利用率需与node_network_speed_bytes比较
负载
- 指标:
node_load1、node_load5、node_load15、node_procs_blocked、node_procs_running - 单核负载(每核平均):
node_load1 / count by (instance) (node_cpu_seconds_total{mode="idle"})
- 判读要点:负载包含处于可运行与不可中断睡眠(D 状态,等待 I/O)的进程,负载高不一定等于 CPU 繁忙;
node_procs_blocked持续大于 0 时,负载上升通常来自 I/O 等待;单核负载大于 1 表示存在排队
文件描述符
- 指标:
node_filefd_allocated、node_filefd_maximum - 占用比例:
node_filefd_allocated / node_filefd_maximum * 100
- 判读要点:
maximum为系统级上限(/proc/sys/fs/file-nr与file-max),单进程上限由ulimit -n单独控制,该指标无法反映单进程限制;连接失败报Too many open files时需同时核对进程级限制
时间同步
- 指标:
node_timex_offset_seconds、node_timex_sync_status、node_timex_maxerror_seconds、node_timex_estimated_error_seconds - 判读要点:
offset为内核相对参考源的偏移量,正负均表示偏差;sync_status为 1 表示已与参考源同步,为 0 表示未同步;时间偏移会导致证书校验失败、集群认证失败、日志时间线错乱
进程与端口存活
- 单元状态指标:
node_systemd_unit_state{name="...",state="..."},state取值包括active、failed、activating、inactive - 判断指定单元是否处于运行状态:
node_systemd_unit_state{name="nginx.service",state="active"} == 1
- 判断是否存在失败单元:
node_systemd_unit_state{state="failed"} == 1
- 判读要点:启用收集器时需在启动参数中显式打开
--collector.systemd,并通过--collector.systemd.unit-include限定单元范围,避免指标基数膨胀 - 端口存活:node_exporter 不提供 TCP 端口探测,端口级可用性使用 blackbox_exporter,探测结果为
probe_success(1 成功、0 失败),配置示例:
scrape_configs:
- job_name: blackbox-tcp
metrics_path: /probe
params:
module: [tcp_connect]
static_configs:
- targets: ['10.0.0.11:3306', '10.0.0.12:6379']
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9115
3.2 抓取配置与告警规则示例
抓取配置片段
global:
scrape_interval: 15s
scrape_timeout: 10s
evaluation_interval: 15s
rule_files:
- /etc/prometheus/rules/host-basic.yml
alerting:
alertmanagers:
- static_configs:
- targets: ['127.0.0.1:9093']
scrape_configs:
- job_name: node
static_configs:
- targets: ['10.0.0.11:9100', '10.0.0.12:9100']
labels:
env: prod
role: app
- job_name: blackbox-tcp
metrics_path: /probe
params:
module: [tcp_connect]
static_configs:
- targets: ['10.0.0.11:3306']
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9115
说明:
scrape_interval与evaluation_interval保持一致,避免规则评估频率与数据点频率错位scrape_timeout小于scrape_interval,防止抓取任务堆积- 目标标签通过
labels注入,用于后续聚合与路由 - 目标清单规模扩大后改用文件发现或服务发现,避免静态清单漂移
告警规则文件
groups:
- name: host-basic
rules:
- alert: HostHighCpuUsage
expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85
for: 10m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} CPU 使用率持续偏高"
description: "CPU 使用率连续 10 分钟高于 85%,当前值 {{ printf \"%.1f\" $value }}%"
- alert: HostLowMemoryAvailable
expr: node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100 < 10
for: 10m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 可用内存不足"
description: "MemAvailable 连续 10 分钟低于总内存的 10%,存在触发 OOM Killer 的风险"
- alert: HostDiskSpaceLow
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} * 100 < 20
for: 30m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 分区 {{ $labels.mountpoint }} 空间不足"
description: "可用空间低于 20%,当前值 {{ printf \"%.1f\" $value }}%"
- alert: HostInodeLow
expr: node_filesystem_files_free{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} / node_filesystem_files{fstype!~"tmpfs|overlay|squashfs|devtmpfs"} * 100 < 10
for: 30m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 分区 {{ $labels.mountpoint }} inode 不足"
- alert: HostSystemdUnitFailed
expr: node_systemd_unit_state{state="failed"} == 1
for: 5m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 单元 {{ $labels.name }} 处于 failed 状态"
- alert: HostClockSkew
expr: abs(node_timex_offset_seconds) > 0.5
for: 10m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 系统时间偏移过大"
description: "时间偏移连续 10 分钟超过 0.5 秒,当前值 {{ printf \"%.3f\" $value }} 秒"
- alert: HostDown
expr: up{job="node"} == 0
for: 5m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 指标抓取失败"
description: "连续 5 分钟无法抓取指标,可能是主机故障或 node_exporter 异常"
阈值与持续时间的选择依据:
| 告警项 | 阈值 | 持续时间 | 选择依据 |
|---|---|---|---|
| CPU 使用率 | 85% | 10 分钟 | 短时突发属正常业务波动,持续 10 分钟以上说明计算资源不足;阈值留出余量供突发流量使用 |
| 可用内存 | 10% | 10 分钟 | 目标是把处置时间留在 OOM Killer 触发之前;MemAvailable 已扣除可回收缓存,比例低即真实紧张 |
| 磁盘空间 | 剩余 20% | 30 分钟 | 磁盘增长缓慢,30 分钟足以排除临时写入;保留 20% 余量用于日志轮转与临时文件 |
| inode | 剩余 10% | 30 分钟 | inode 无法扩容,需预留处置窗口;小型文件场景下 inode 耗尽早于空间耗尽 |
| 单元状态 | 非 active | 5 分钟 | 服务失败通常已完成自动重启尝试,5 分钟可排除启动过程中的瞬时状态 |
| 时间偏移 | 0.5 秒 | 10 分钟 | 超过 0.5 秒会影响证书校验与集群认证;NTP 正常同步时偏移在毫秒级 |
| 抓取失败 | up 为 0 | 5 分钟 | 短时抓取失败常因网络抖动,5 分钟可区分抖动与真实失联 |
规则校验与生效:
promtool check rules /etc/prometheus/rules/host-basic.yml
curl -s http://127.0.0.1:9090/api/v1/rules | grep -o '"name":"[^"]*"'
3.3 告警级别划分与通知路由
级别划分
| 级别 | 含义 | 典型场景 | 通知方式 |
|---|---|---|---|
| critical | 服务已不可用或即将不可用 | 主机失联、单元 failed、可用内存低于 10% | 立即通知,电话或即时消息 |
| warning | 指标越界,短期内不影响服务 | 磁盘剩余低于 20%、CPU 持续偏高、时间偏移 | 汇总通知,工单或群消息 |
| info | 仅记录,不需要即时处置 | 变更完成、扩缩容事件 | 写入事件记录,不主动推送 |
路由思路
route:
receiver: default
group_by: ['alertname', 'instance']
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers:
- severity="critical"
receiver: oncall-critical
group_wait: 10s
repeat_interval: 1h
- matchers:
- severity="warning"
receiver: ops-ticket
repeat_interval: 12h
inhibit_rules:
- source_matchers:
- severity="critical"
target_matchers:
- severity="warning"
equal: ['instance']
参数含义:
group_by:按告警名与实例合并,避免同一故障拆成多条通知group_wait:首次分组的等待时间,用于收集同一批次的告警group_interval:同一分组内新增告警的通知间隔repeat_interval:未恢复告警的重复提醒间隔,避免持续刷屏inhibit_rules:同实例上 critical 触发时抑制 warning
路由设计原则
- 按影响面分级:主机级、服务级、业务级分别对应不同接收人
- 通知内容必须包含实例、指标当前值、持续时间,避免收到通知后仍需人工查询
- 告警数量需要治理:长期无人处置的告警应调整阈值或降级,否则会降低对 critical 的敏感度
抑制与静默的使用场景
- 抑制:主机失联导致其上百个采集目标同时异常,用
up == 0的 critical 抑制同实例全部 warning - 抑制:数据库主库切换期间,主从延迟告警应被切换事件抑制
- 静默:内核升级与重启窗口,按
instance匹配器静默 30 分钟 - 静默:已知磁盘扩容申请中,对特定
mountpoint静默至扩容完成 - 静默管理:
amtool silence add --alertmanager.url=http://127.0.0.1:9093 --duration=30m --comment="内核升级窗口" instance="10.0.0.11:9100"
amtool silence query --alertmanager.url=http://127.0.0.1:9093
3.4 监控自身的可靠性
监控失效时故障会静默发生,因此监控系统本身需要被监控。
采集端可靠性
- 抓取失败告警:
up{job="node"} == 0,这是所有主机告警的前提条件 - 采集端冗余:部署两个 Prometheus 实例分别抓取同一批目标,任一副本即可提供数据
- 采集端自身资源:采集端的磁盘写入量与内存占用需纳入监控,标签基数膨胀会先打满采集端磁盘
- 时间同步:采集端与被监控端时间偏移会造成数据点时间戳错位,查询出现空洞
告警通道可靠性
- 通道探测:配置一条始终处于触发状态的规则(心跳或 Watchdog),接收端在固定周期内未收到该通知即判定通道故障
- 多通道冗余:即时消息与邮件等不同通道并行,避免单一通道故障导致告警丢失
- 通道验证:新增路由后使用
amtool alert add或直接调用 Alertmanager API 发送测试告警,确认接收端可达
amtool alert add alertname=Watchdog severity=critical --alertmanager.url=http://127.0.0.1:9093
避免单点
- 采集端、存储、告警接收端分别独立部署,避免同一主机承载全部角色
- 采集端与被监控业务不共用同一块磁盘与同一份资源配额
- 服务端与采集端跨机架部署,避免同一网络故障同时影响两者
维护窗口与静默期
- 计划内变更提前创建静默,并在变更完成后核对告警是否恢复
- 维护窗口结束必须关闭静默,避免遗留静默掩盖后续真实故障
- 静默期间产生的告警状态变化仍需保留记录,用于变更后复盘
3.5 容量规划方法
步骤一:确定基线
- 取最近 30 天同类时段的指标作为基线,排除发布与压测时段
- 关注指标:磁盘使用量、inode 使用量、可用内存、文件描述符占用、连接数、网络带宽
- 记录基线值与日增长量:
deriv(node_filesystem_avail_bytes{mountpoint="/"}[6h]) * 86400
步骤二:计算增长速率
- 用线性回归拟合增长趋势,排除阶跃点(一次性数据导入、日志清理)
- 增长速率取值应以中位数为准,峰值仅用于评估风险上限
- 内存类指标需区分缓存增长与真实占用增长,缓存增长不构成容量压力
步骤三:估算耗尽时间
- 耗尽天数 = 剩余可用量 ÷ 每日净增长量
- 每日净增长需扣除周期性清理量(日志轮转、临时文件清理)
- 对不可扩容的资源(inode、单机内存上限),耗尽时间即为扩容触发点
步骤四:确定扩容触发点与幅度
- 触发点:预计耗尽时间小于采购与变更周期之和时启动扩容
- 幅度:按当前增速满足未来一个规划周期(通常为 6 至 12 个月),同时预留余量系数
- 磁盘预留:为日志轮转、核心转储、临时文件预留不低于 20% 空间
- 内存预留:为页缓存与突发请求预留不低于 20% 空间
步骤五:验证与回归
- 扩容完成后核对指标阶跃是否符合预期
- 更新基线与阈值,避免沿用旧阈值继续触发告警
- 将本次容量数据与结论归档,作为下次规划的对照
四、总结
- 监控解决两个问题:把故障发现时间从巡检周期压缩到告警窗口,把当前快照扩展为可外推的趋势数据
- 指标分三类:计数器用
rate()转换,仪表直接比较,直方图用于分位数计算 - 采集模型分 pull 与 push:常驻主机指标用 pull 便于失联检测,短生命周期任务用 push 配合数据过期机制
- 告警规则由条件、持续时间、级别标签与注解四项构成,持续时间用于过滤瞬时抖动
- 阈值取值需留出处置窗口:磁盘剩余 20%、可用内存 10%、时间偏移 0.5 秒
- 抑制解决一个根因引发多条告警的问题,静默用于计划内维护窗口,两者都不应长期存在
- 指标负责判断与趋势,日志负责根因,日志查询命令参见 linux: 日志查询与审计命令
- 监控自身需要被监控:抓取失败告警与心跳规则是全部告警的前提
- 容量规划按基线、增速、耗尽时间、触发点与幅度五步执行,不可扩容资源需优先安排
- 巡检类检查项与巡检脚本参见同目录的 linux: 巡检与健康检查