内容总览
一、起源:系统事件的记录需求
系统运行时持续产生大量事件:内核消息、服务启停、用户登录认证、程序错误、配置变更。这些事件需要被记录,以支撑故障排查、安全审计与责任追溯。
若各程序自行记录日志,则格式不一、位置散乱,无法统一查询、轮转与转发。由此产生统一日志机制的需求:由专门的收集器按标准格式捕获事件,按规则路由到统一位置存储,并配套轮转与查询工具。Linux 现代日志体系即围绕这一需求构建。
二、原理:日志收集与路由机制
1. syslog 标准:facility 与 severity
syslog 标准定义日志的两个核心维度:
facility(来源分类)
标识日志由哪类来源产生:
- kern:内核
- user:用户进程
- mail:邮件
- daemon:系统守护进程
- auth / authpriv:认证与安全
- cron:定时任务
- local0 ~ local7:本地自定义
severity(严重级别,由高到低)
- emerg:系统不可用、内核挂死
- alert:必须立即处理(如磁盘满、数据库崩溃)
- crit:严重错误(如硬盘故障)
- err:一般错误(如服务启动失败)
- warning:警告
- notice:正常但值得注意
- info:普通运行信息(默认级别)
- debug:调试信息
优先级编码为 facility × 8 + severity,便于日志系统按数值过滤。
2. rsyslog:文本日志与 selector 路由
rsyslog 是传统 syslog 协议的实现,负责收集事件并按 selector 规则路由到文本文件。
- 配置文件:
/etc/rsyslog.conf与/etc/rsyslog.d/* - selector 语法:
facility.severity 目标,按来源与级别决定日志去向 auth.info /var/log/auth.log:认证类 info 及以上写入 auth.log*.info;mail.none;authpriv.none /var/log/messages:所有 info 以上、排除 mail 与 authpriv,写入 messages- 作用:收集、分类、写入 /var/log/*.log 文本
- 可转发到远程服务器或数据库,实现集中收集
3. systemd-journald:二进制结构化日志
journald 是 systemd 提供的日志收集器,以结构化二进制格式存储,附带丰富元数据。
- 配置文件:
/etc/systemd/journald.conf - 存储位置:
- 临时:
/run/log/journal(内存,重启丢失) - 持久:
/var/log/journal(磁盘,重启保留) - 捕获来源:syslog 调用、内核日志、服务 stdout/stderr
- 结构化元数据:每条日志附带
_PID、_UID、_SYSTEMD_UNIT、_COMM等字段,故 journalctl 可按字段过滤查询
4. journald 与 rsyslog 的协作关系
二者并非替代关系,多数发行版同时启用:
- journald 默认将捕获的日志转发给 rsyslog
- journald 提供结构化查询能力(journalctl 字段过滤、索引检索)
- rsyslog 提供持久文本日志与远程转发能力
- 二者互补:journald 强于查询,rsyslog 强于持久化与转发
5. 日志轮转机制(logrotate)
日志持续写入会无限增长,不轮转将撑爆磁盘。logrotate 负责自动切割、压缩、删除旧日志。
工作机制:
- 由 cron(通常
/etc/cron.daily/logrotate)定时触发 - rotate:将当前日志重命名为带时间戳或编号的归档文件
- create:新建同名空文件供继续写入
- compress:压缩归档文件
- 保留指定份数后删除最旧归档
- 主配置:
/etc/logrotate.conf - 服务自定义配置:
/etc/logrotate.d/*(如 nginx、syslog、auth.log)
6. 集中式日志转发
rsyslog 除写入本地文本日志外,还可通过 @ 与 @@ 语法把日志转发到远程接收端,实现多主机日志集中存放。
协议语法差异
*.* @host:514:单个@表示 UDP 传输,无连接、无重传,接收端未监听或网络丢包时日志直接丢失,开销小*.* @@host:514:双@@表示 TCP 传输,有连接与重传机制,接收端不可达时按队列策略重试- 两者默认端口均为 514,接收端需加载
imudp或imtcp模块并放开对应监听
按 facility 与 severity 分流
selector 语法与本地写入一致,可把不同来源转发到不同目标:
authpriv.* @@log-collector:514
*.info;mail.none @@log-collector:514
local0.err @log-collector:514
- 一个 selector 只指向一个目标,需要多路分发时编写多条规则
- 同一 facility 的多条规则会分别命中并可能重复写入,需要互斥时用
stop结束该消息的后续匹配
RELP 可靠性
- RELP(Reliable Event Logging Protocol)在 TCP 之上增加应用层确认与重传,接收端落盘后才回执,解决 TCP 连接正常但接收端进程异常时丢日志的问题
- 需要两端分别加载
omrelp与imrelp模块,接收端配置监听端口与 TLS 参数 - 配置要点:发送端使用
action(type="omrelp" target="host" port="20514"),接收端使用input(type="imrelp" port="20514");可靠性依赖队列在接收端不可用期间保持消息,队列参数需一并设置
TLS 传输要点
- 可在转发动作上启用 TLS,关键参数为
StreamDriver="gtls"、StreamDriverMode="1"与StreamDriverAuthMode StreamDriverAuthMode="x509/name"对接收端证书做校验,仅加密不校验的anon模式无法防止伪造接收端- CA、证书与私钥需放在 rsyslog 可读路径下,可用
StreamDriverPermittedPeers限定允许的对端
目标不可达时的队列策略
- main queue(主队列):默认在内存中暂存,处理线程跟不上输入速度或输出阻塞时堆积,达到
queue.highwatermark、queue.lowwatermark、queue.discardMark阈值后按策略丢弃 - 磁盘辅助队列:短时中断用内存队列即可,长时间中断需用
queue.type="LinkedList"配合queue.filename、queue.maxdiskspace、queue.saveonshutdown="on"把消息落盘,接收端恢复后继续发送 - 关键参数:
queue.size(内存队列条数)、queue.maxdiskspace(磁盘队列上限)、queue.spoolDirectory(溢出文件目录)、queue.timeoutShutdown(停止时等待刷盘的时间) - 队列属于输出 action 级别,应写在转发动作上,只改全局队列无法保证单个动作的可靠性
日志源标识
- 默认情况下发送端以短主机名上报,接收端出现同名主机时无法区分,应在发送端设置
$PreserveFQDN on,或在模板中显式写入主机标识 - 用模板控制转发格式,保留结构化字段:
template(name="fwd" type="string" string="%TIMESTAMP% %HOSTNAME% %syslogfacility-text%.%syslogseverity-text% %syslogtag%%msg%\n")
*.* @@log-collector:514;fwd
带宽与磁盘占用估算
- 带宽:单条 syslog 消息约 200 至 500 字节,按每秒消息数估算,如 200 条/秒 × 400 字节 ≈ 80KB/s ≈ 0.65Mbps,链路规划按峰值消息量的 2 倍留余量
- 磁盘:接收端按“单机每日日志量 × 主机数 × 保留天数”估算,单机日增量可直接取发送端本地日志的增量作为参考
集中收集后的本地保留策略调整
- 本地留存的目的由长期归档转为排障缓冲后,可下调
rotate份数与maxsize阈值,减小本地占用 - 接收端需单独配置轮转与容量上限,并按来源主机与 facility 分文件存放,便于按主机检索
- 关键审计类日志(authpriv)建议本地与集中双份保留,集中端保留期长于本地
- 本地保留参数的含义与写法见 logrotate 日志轮转
三、实现:位置、命令与排查
1. 核心日志文件位置
所有系统日志默认位于 /var/log/,不同发行版文件命名有差异:
Ubuntu / Debian
/var/log/syslog:系统全局日志(内核、服务、启动)/var/log/auth.log:认证/安全日志(SSH、sudo、登录失败)/var/log/kern.log:内核日志/var/log/dmesg:硬件启动日志(也可用 dmesg 命令查看)
CentOS / RHEL
/var/log/messages:全局系统日志/var/log/secure:安全认证日志(对应 Ubuntu 的 auth.log)
2. journalctl 命令
journalctl -f # 实时刷新(tail -f 的增强版)
journalctl -u sshd # 只看 sshd 服务日志
journalctl --since "10 minutes ago" # 查看近 10 分钟日志
journalctl _PID=1234 # 按进程 PID 过滤
journalctl _SYSTEMD_UNIT=sshd.service # 按服务单元过滤
journalctl | grep "sudo" # 结合 grep 检索
字段过滤(如 _PID、_SYSTEMD_UNIT)依赖 journald 的结构化元数据。
3. logrotate 配置示例
以 /etc/logrotate.d/auth.log 为例:
/var/log/auth.log {
daily
rotate 7
compress
missingok
notifempty
}
- daily:每天切割一次
- rotate 7:保留 7 份归档
- compress:压缩归档文件
- missingok:日志不存在时不报错
- notifempty:空文件不轮转
4. 安全日志排查
登录与暴力破解排查
grep "Failed password" /var/log/auth.log # Ubuntu
grep "Failed password" /var/log/secure # CentOS
sudo 操作审计
grep "sudo" /var/log/auth.log
可追溯:执行 sudo 的用户、执行的命令、是否成功。越权的 sudo 尝试也会被记录于此。
用户增删改日志
grep "useradd\|userdel\|usermod" /var/log/auth.log
5. 企业级集中化日志(ELK / EFK)
多服务器场景下,通常将各机器日志集中到统一平台:
- Filebeat / Fluentd:在各机器采集日志并发送
- Elasticsearch:存储与索引
- Kibana:Web 界面查询与可视化
集中化使跨机器日志检索、告警与长期留存成为可能,是单机 rsyslog/journald 之上的扩展层。
6. ELK 与 EFK 最小落地链路
一条可用的最小链路为:采集端 → 缓冲与解析 → 存储与索引 → 查询界面,各段的选型依据如下。
采集端定位
- Filebeat:以文件为输入源,自带读取偏移记录(registry),支持 multiline 合并,资源占用低,适合物理机与虚拟机
- Fluent Bit:C 实现、内存占用更小,插件体系覆盖容器运行时,适合容器与 Kubernetes 环境
- 两者只做采集与转发,字段解析与富化交由 Logstash 或 Elasticsearch ingest pipeline 完成
- 采集端需按日志类型配置多路输入,access.log 与 error.log 的解析规则不同,混用同一输入会导致字段错位
缓冲与输出
- 直接写 Elasticsearch:链路短、组件少,适合日志量小、解析简单的场景,采集端自身的输出队列与重试是唯一缓冲
- 经 Logstash 中转:可在写入前完成 grok 解析、字段改名与噪声丢弃,代价是额外的 JVM 资源与一跳延迟
- 采集端队列要点:Filebeat 侧关注
queue.mem.events(内存队列条数)、bulk_max_size(单次批量条数)与filebeat.registry.path;输出端长时间不可用时需要落盘队列承接
索引与生命周期管理
- 日志按日或按周写入滚动索引(如 filebeat-2026.09.21),便于按时间范围检索与整体删除
- ILM(Index Lifecycle Management)用策略描述索引阶段:hot 负责写入与查询,warm 转为只读,cold 进一步降低资源占用,delete 到期删除,阶段切换由索引大小或年龄触发
- 作用:过期数据自动删除,磁盘占用被限制在策略设定范围内,无需人工清理索引
- 策略需与磁盘容量匹配,日志量增长后应同步调整 rollover 体积与 delete 保留期
Kibana 查询与可视化
- Discover 按索引模式与时间范围检索,支持 KQL 与 Lucene 语法,可对字段做筛选与排序
- 常用面板:按时间的日志量趋势、按主机名或服务的聚合计数、按 severity 的占比
- 排障切入点:先按主机与 service 字段过滤,再按 level 与关键字收窄,避免全量检索
资源估算
- 磁盘:Elasticsearch 中单副本的占用约为原始日志体积的 1.1 倍,字段数量多的结构化日志更高,副本数每增加 1 份占用相应翻倍,磁盘使用率应控制在 85% 以内
- 堆内存:JVM 堆不超过物理内存的 50%,且不超过 31G(压缩指针上限);堆过大反而拖长 GC 停顿
- Logstash 堆按解析复杂度设置,grok 规则越多所需堆与 CPU 越大,弹性伸缩前先压测解析吞吐
- 上述比例为经验参考值,实际以压测结果为准
常见坑
- 字段类型冲突:同一字段名在不同日志中分别被解析为数字与字符串,写入时触发 mapping conflict 导致整条记录被拒,解决方式是统一索引模板中的字段类型,或给冲突字段改名
- 时间戳解析:日志自身时间与采集时间不一致,需在解析阶段显式指定
@timestamp的来源与格式,否则按时间检索的结果与事实不符 - 采集端磁盘打满:落盘队列未设上限时,输出端长期不可达会导致队列文件持续增长,应将队列目录纳入磁盘监控
- 索引数量膨胀:按服务或容器 ID 拆分索引会产生大量小索引,增加集群元数据压力,应按时间滚动而非按实例拆分
四、总结
- 日志机制源于系统事件需统一记录、查询、轮转与转发的需求
- syslog 标准用 facility(来源)与 severity(级别)两个维度刻画日志
- rsyslog 按 selector 规则路由到文本文件,journald 以结构化二进制存储并提供字段查询
- journald 与 rsyslog 协作而非替代:journald 默认转发给 rsyslog
- logrotate 由 cron 触发,执行 rotate/create/compress/删除流程防止磁盘撑爆
- 核心审计点为 auth.log(Ubuntu)与 secure(CentOS),记录登录、sudo、用户变更
- ELK/EFK 是单机日志之上的集中化扩展层