内容总览

linux: 系统日志管理 思维导图

一、起源:系统事件的记录需求

系统运行时持续产生大量事件:内核消息、服务启停、用户登录认证、程序错误、配置变更。这些事件需要被记录,以支撑故障排查、安全审计与责任追溯。

若各程序自行记录日志,则格式不一、位置散乱,无法统一查询、轮转与转发。由此产生统一日志机制的需求:由专门的收集器按标准格式捕获事件,按规则路由到统一位置存储,并配套轮转与查询工具。Linux 现代日志体系即围绕这一需求构建。

二、原理:日志收集与路由机制

1. syslog 标准:facility 与 severity

syslog 标准定义日志的两个核心维度:

facility(来源分类)

标识日志由哪类来源产生:

  • kern:内核
  • user:用户进程
  • mail:邮件
  • daemon:系统守护进程
  • auth / authpriv:认证与安全
  • cron:定时任务
  • local0 ~ local7:本地自定义

severity(严重级别,由高到低)

  • emerg:系统不可用、内核挂死
  • alert:必须立即处理(如磁盘满、数据库崩溃)
  • crit:严重错误(如硬盘故障)
  • err:一般错误(如服务启动失败)
  • warning:警告
  • notice:正常但值得注意
  • info:普通运行信息(默认级别)
  • debug:调试信息

优先级编码为 facility × 8 + severity,便于日志系统按数值过滤。

2. rsyslog:文本日志与 selector 路由

rsyslog 是传统 syslog 协议的实现,负责收集事件并按 selector 规则路由到文本文件。

  • 配置文件:/etc/rsyslog.conf 与 /etc/rsyslog.d/*
  • selector 语法:facility.severity 目标,按来源与级别决定日志去向
  • auth.info /var/log/auth.log:认证类 info 及以上写入 auth.log
  • *.info;mail.none;authpriv.none /var/log/messages:所有 info 以上、排除 mail 与 authpriv,写入 messages
  • 作用:收集、分类、写入 /var/log/*.log 文本
  • 可转发到远程服务器或数据库,实现集中收集

3. systemd-journald:二进制结构化日志

journald 是 systemd 提供的日志收集器,以结构化二进制格式存储,附带丰富元数据。

  • 配置文件:/etc/systemd/journald.conf
  • 存储位置:
  • 临时:/run/log/journal(内存,重启丢失)
  • 持久:/var/log/journal(磁盘,重启保留)
  • 捕获来源:syslog 调用、内核日志、服务 stdout/stderr
  • 结构化元数据:每条日志附带 _PID、_UID、_SYSTEMD_UNIT、_COMM 等字段,故 journalctl 可按字段过滤查询

4. journald 与 rsyslog 的协作关系

二者并非替代关系,多数发行版同时启用:

  • journald 默认将捕获的日志转发给 rsyslog
  • journald 提供结构化查询能力(journalctl 字段过滤、索引检索)
  • rsyslog 提供持久文本日志与远程转发能力
  • 二者互补:journald 强于查询,rsyslog 强于持久化与转发

5. 日志轮转机制(logrotate)

日志持续写入会无限增长,不轮转将撑爆磁盘。logrotate 负责自动切割、压缩、删除旧日志。

工作机制:

  1. 由 cron(通常 /etc/cron.daily/logrotate)定时触发
  2. rotate:将当前日志重命名为带时间戳或编号的归档文件
  3. create:新建同名空文件供继续写入
  4. compress:压缩归档文件
  5. 保留指定份数后删除最旧归档
  • 主配置:/etc/logrotate.conf
  • 服务自定义配置:/etc/logrotate.d/*(如 nginx、syslog、auth.log)

6. 集中式日志转发

rsyslog 除写入本地文本日志外,还可通过 @ 与 @@ 语法把日志转发到远程接收端,实现多主机日志集中存放。

协议语法差异

  • *.* @host:514:单个 @ 表示 UDP 传输,无连接、无重传,接收端未监听或网络丢包时日志直接丢失,开销小
  • *.* @@host:514:双 @@ 表示 TCP 传输,有连接与重传机制,接收端不可达时按队列策略重试
  • 两者默认端口均为 514,接收端需加载 imudp 或 imtcp 模块并放开对应监听

按 facility 与 severity 分流

selector 语法与本地写入一致,可把不同来源转发到不同目标:

authpriv.*        @@log-collector:514
*.info;mail.none  @@log-collector:514
local0.err        @log-collector:514
  • 一个 selector 只指向一个目标,需要多路分发时编写多条规则
  • 同一 facility 的多条规则会分别命中并可能重复写入,需要互斥时用 stop 结束该消息的后续匹配

RELP 可靠性

  • RELP(Reliable Event Logging Protocol)在 TCP 之上增加应用层确认与重传,接收端落盘后才回执,解决 TCP 连接正常但接收端进程异常时丢日志的问题
  • 需要两端分别加载 omrelp 与 imrelp 模块,接收端配置监听端口与 TLS 参数
  • 配置要点:发送端使用 action(type="omrelp" target="host" port="20514"),接收端使用 input(type="imrelp" port="20514");可靠性依赖队列在接收端不可用期间保持消息,队列参数需一并设置

TLS 传输要点

  • 可在转发动作上启用 TLS,关键参数为 StreamDriver="gtls"、StreamDriverMode="1" 与 StreamDriverAuthMode
  • StreamDriverAuthMode="x509/name" 对接收端证书做校验,仅加密不校验的 anon 模式无法防止伪造接收端
  • CA、证书与私钥需放在 rsyslog 可读路径下,可用 StreamDriverPermittedPeers 限定允许的对端

目标不可达时的队列策略

  • main queue(主队列):默认在内存中暂存,处理线程跟不上输入速度或输出阻塞时堆积,达到 queue.highwatermark、queue.lowwatermark、queue.discardMark 阈值后按策略丢弃
  • 磁盘辅助队列:短时中断用内存队列即可,长时间中断需用 queue.type="LinkedList" 配合 queue.filename、queue.maxdiskspace、queue.saveonshutdown="on" 把消息落盘,接收端恢复后继续发送
  • 关键参数:queue.size(内存队列条数)、queue.maxdiskspace(磁盘队列上限)、queue.spoolDirectory(溢出文件目录)、queue.timeoutShutdown(停止时等待刷盘的时间)
  • 队列属于输出 action 级别,应写在转发动作上,只改全局队列无法保证单个动作的可靠性

日志源标识

  • 默认情况下发送端以短主机名上报,接收端出现同名主机时无法区分,应在发送端设置 $PreserveFQDN on,或在模板中显式写入主机标识
  • 用模板控制转发格式,保留结构化字段:
template(name="fwd" type="string" string="%TIMESTAMP% %HOSTNAME% %syslogfacility-text%.%syslogseverity-text% %syslogtag%%msg%\n")
*.* @@log-collector:514;fwd

带宽与磁盘占用估算

  • 带宽:单条 syslog 消息约 200 至 500 字节,按每秒消息数估算,如 200 条/秒 × 400 字节 ≈ 80KB/s ≈ 0.65Mbps,链路规划按峰值消息量的 2 倍留余量
  • 磁盘:接收端按“单机每日日志量 × 主机数 × 保留天数”估算,单机日增量可直接取发送端本地日志的增量作为参考

集中收集后的本地保留策略调整

  • 本地留存的目的由长期归档转为排障缓冲后,可下调 rotate 份数与 maxsize 阈值,减小本地占用
  • 接收端需单独配置轮转与容量上限,并按来源主机与 facility 分文件存放,便于按主机检索
  • 关键审计类日志(authpriv)建议本地与集中双份保留,集中端保留期长于本地
  • 本地保留参数的含义与写法见 logrotate 日志轮转

三、实现:位置、命令与排查

1. 核心日志文件位置

所有系统日志默认位于 /var/log/,不同发行版文件命名有差异:

Ubuntu / Debian

  • /var/log/syslog:系统全局日志(内核、服务、启动)
  • /var/log/auth.log:认证/安全日志(SSH、sudo、登录失败)
  • /var/log/kern.log:内核日志
  • /var/log/dmesg:硬件启动日志(也可用 dmesg 命令查看)

CentOS / RHEL

  • /var/log/messages:全局系统日志
  • /var/log/secure:安全认证日志(对应 Ubuntu 的 auth.log)

2. journalctl 命令

journalctl -f                       # 实时刷新(tail -f 的增强版)
journalctl -u sshd                  # 只看 sshd 服务日志
journalctl --since "10 minutes ago" # 查看近 10 分钟日志
journalctl _PID=1234                # 按进程 PID 过滤
journalctl _SYSTEMD_UNIT=sshd.service  # 按服务单元过滤
journalctl | grep "sudo"            # 结合 grep 检索

字段过滤(如 _PID、_SYSTEMD_UNIT)依赖 journald 的结构化元数据。

3. logrotate 配置示例

以 /etc/logrotate.d/auth.log 为例:

/var/log/auth.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
}
  • daily:每天切割一次
  • rotate 7:保留 7 份归档
  • compress:压缩归档文件
  • missingok:日志不存在时不报错
  • notifempty:空文件不轮转

4. 安全日志排查

登录与暴力破解排查

grep "Failed password" /var/log/auth.log   # Ubuntu
grep "Failed password" /var/log/secure      # CentOS

sudo 操作审计

grep "sudo" /var/log/auth.log

可追溯:执行 sudo 的用户、执行的命令、是否成功。越权的 sudo 尝试也会被记录于此。

用户增删改日志

grep "useradd\|userdel\|usermod" /var/log/auth.log

5. 企业级集中化日志(ELK / EFK)

多服务器场景下,通常将各机器日志集中到统一平台:

  • Filebeat / Fluentd:在各机器采集日志并发送
  • Elasticsearch:存储与索引
  • Kibana:Web 界面查询与可视化

集中化使跨机器日志检索、告警与长期留存成为可能,是单机 rsyslog/journald 之上的扩展层。

6. ELK 与 EFK 最小落地链路

一条可用的最小链路为:采集端 → 缓冲与解析 → 存储与索引 → 查询界面,各段的选型依据如下。

采集端定位

  • Filebeat:以文件为输入源,自带读取偏移记录(registry),支持 multiline 合并,资源占用低,适合物理机与虚拟机
  • Fluent Bit:C 实现、内存占用更小,插件体系覆盖容器运行时,适合容器与 Kubernetes 环境
  • 两者只做采集与转发,字段解析与富化交由 Logstash 或 Elasticsearch ingest pipeline 完成
  • 采集端需按日志类型配置多路输入,access.log 与 error.log 的解析规则不同,混用同一输入会导致字段错位

缓冲与输出

  • 直接写 Elasticsearch:链路短、组件少,适合日志量小、解析简单的场景,采集端自身的输出队列与重试是唯一缓冲
  • 经 Logstash 中转:可在写入前完成 grok 解析、字段改名与噪声丢弃,代价是额外的 JVM 资源与一跳延迟
  • 采集端队列要点:Filebeat 侧关注 queue.mem.events(内存队列条数)、bulk_max_size(单次批量条数)与 filebeat.registry.path;输出端长时间不可用时需要落盘队列承接

索引与生命周期管理

  • 日志按日或按周写入滚动索引(如 filebeat-2026.09.21),便于按时间范围检索与整体删除
  • ILM(Index Lifecycle Management)用策略描述索引阶段:hot 负责写入与查询,warm 转为只读,cold 进一步降低资源占用,delete 到期删除,阶段切换由索引大小或年龄触发
  • 作用:过期数据自动删除,磁盘占用被限制在策略设定范围内,无需人工清理索引
  • 策略需与磁盘容量匹配,日志量增长后应同步调整 rollover 体积与 delete 保留期

Kibana 查询与可视化

  • Discover 按索引模式与时间范围检索,支持 KQL 与 Lucene 语法,可对字段做筛选与排序
  • 常用面板:按时间的日志量趋势、按主机名或服务的聚合计数、按 severity 的占比
  • 排障切入点:先按主机与 service 字段过滤,再按 level 与关键字收窄,避免全量检索

资源估算

  • 磁盘:Elasticsearch 中单副本的占用约为原始日志体积的 1.1 倍,字段数量多的结构化日志更高,副本数每增加 1 份占用相应翻倍,磁盘使用率应控制在 85% 以内
  • 堆内存:JVM 堆不超过物理内存的 50%,且不超过 31G(压缩指针上限);堆过大反而拖长 GC 停顿
  • Logstash 堆按解析复杂度设置,grok 规则越多所需堆与 CPU 越大,弹性伸缩前先压测解析吞吐
  • 上述比例为经验参考值,实际以压测结果为准

常见坑

  • 字段类型冲突:同一字段名在不同日志中分别被解析为数字与字符串,写入时触发 mapping conflict 导致整条记录被拒,解决方式是统一索引模板中的字段类型,或给冲突字段改名
  • 时间戳解析:日志自身时间与采集时间不一致,需在解析阶段显式指定 @timestamp 的来源与格式,否则按时间检索的结果与事实不符
  • 采集端磁盘打满:落盘队列未设上限时,输出端长期不可达会导致队列文件持续增长,应将队列目录纳入磁盘监控
  • 索引数量膨胀:按服务或容器 ID 拆分索引会产生大量小索引,增加集群元数据压力,应按时间滚动而非按实例拆分

四、总结

  • 日志机制源于系统事件需统一记录、查询、轮转与转发的需求
  • syslog 标准用 facility(来源)与 severity(级别)两个维度刻画日志
  • rsyslog 按 selector 规则路由到文本文件,journald 以结构化二进制存储并提供字段查询
  • journald 与 rsyslog 协作而非替代:journald 默认转发给 rsyslog
  • logrotate 由 cron 触发,执行 rotate/create/compress/删除流程防止磁盘撑爆
  • 核心审计点为 auth.log(Ubuntu)与 secure(CentOS),记录登录、sudo、用户变更
  • ELK/EFK 是单机日志之上的集中化扩展层