内容总览

linux: 日志查询与审计 思维导图

一、systemd 日志查询

1.1 journalctl

  • 全称:journal control(日志控制)
  • 作用:查询 systemd-journald 收集的系统与应用日志
  • 常用参数:
    • -n:显示最后若干行
    • -u:按 systemd 单元过滤
    • -f:实时跟踪新增日志
    • -o:指定输出格式
  • 示例:
journalctl -n 20
journalctl --no-pager -n 20
  • 坑点:普通用户只能查看自身日志,查看系统日志需使用 sudo 或将用户加入 systemd-journal 组;默认输出进入分页器,脚本中使用需加 --no-pager。

1.2 journalctl -u

  • 全称:journal control(日志控制),-u 取自 unit(单元)
  • 作用:按 systemd 单元(服务)过滤日志
  • 常用参数:-u <单元名>,可重复指定多个 -u 表示并列显示
  • 示例:
journalctl -u ssh -n 20
journalctl -u ssh -u cron --since today
  • 说明:单元名可用 systemctl list-units --type=service 确认,Ubuntu 中 SSH 服务单元名为 ssh,日志服务单元名为 systemd-journald。
  • 坑点:单元名写错时命令返回空结果而不报错,排障前先用 systemctl status <服务名> 核对单元名。

1.3 journalctl -b 与 -b -1

  • 全称:journal control(日志控制),-b 取自 boot(启动会话)
  • 作用:按系统启动会话查看日志,-b 为本次启动,-b -1 为上一次启动
  • 常用参数:-b、-b -1、-b -2、--list-boots
  • 示例:
journalctl -b -p err
journalctl -b -1 -n 50
journalctl --list-boots
  • 说明:--list-boots 列出各启动会话的编号与起止时间,负数为历史启动,正数或 0 为本次启动。
  • 坑点:未开启日志持久化时只有本次启动的记录,历史启动日志不存在,需先配置 /etc/systemd/journald.conf 中的 Storage。

1.4 journalctl --since 与 --until

  • 全称:since(自某时间起)、until(至某时间止)
  • 作用:按时间范围过滤日志
  • 常用参数:
    • --since "2026-09-01 08:00:00"
    • --since today、--since yesterday
    • --since "1 hour ago"
    • --until "2026-09-16 12:00:00"
  • 示例:
journalctl --since today --until "2026-09-16 12:00:00"
journalctl -u cron --since "2 hours ago"
  • 坑点:包含空格的时间字符串必须加引号,否则会被拆分为多个参数。

1.5 journalctl -p

  • 全称:journal control(日志控制),-p 取自 priority(优先级)
  • 作用:按日志优先级过滤
  • 常用参数:-p err、-p warning、-p debug,也可写数字
  • 级别对照:0 emerg、1 alert、2 crit、3 err、4 warning、5 notice、6 info、7 debug
  • 示例:
journalctl -p err -b
journalctl -p 3 -n 50
  • 坑点:-p 过滤的是该级别及更严重的消息,-p err 会同时输出 crit、alert、emerg 级别的记录。

1.6 journalctl -f

  • 全称:journal control(日志控制),-f 取自 follow(跟随)
  • 作用:实时跟踪新增日志
  • 示例:
journalctl -f
journalctl -u nginx -f
  • 坑点:-f 持续占用前台终端,退出需按 Ctrl+C;长期跟踪服务日志时可与 -n 组合,例如 journalctl -u nginx -fn 20。

1.7 journalctl -k

  • 全称:journal control(日志控制),-k 取自 kernel(内核)
  • 作用:只显示内核消息,等价于 --dmesg
  • 示例:
journalctl -k -b
journalctl -k -p warning -b
  • 说明:与 dmesg 输出来源一致,dmesg -T 输出可读时间戳,journalctl -k 自带时间戳。

1.8 journalctl -xe

  • 全称:journal control(日志控制),-x 取自 explanations(附加解释),-e 取自 end(跳至末尾)
  • 作用:显示日志末尾内容并为内核与部分服务的消息附加解释说明
  • 示例:
journalctl -xe
journalctl -xe -u nginx
  • 坑点:-e 只定位到日志末尾,定位完整过程需配合 --since 或直接用 -u 查看该单元全量日志。

1.9 journalctl -n

  • 全称:journal control(日志控制),-n 取自 number(行数)
  • 作用:指定输出行数,默认从最新记录向前取
  • 常用参数:-n 50,与 -r 组合可倒序输出最新优先
  • 示例:
journalctl -n 50
journalctl -n 100 --no-pager
journalctl -r -n 30
  • 说明:不使用 -n 时输出从最早的日志开始并按时间正序分页显示。

1.10 journalctl --no-pager

  • 全称:no pager(不分页)
  • 作用:输出内容不经过分页器,直接打印
  • 示例:
journalctl --no-pager -n 20
journalctl --no-pager | grep -i failed
  • 坑点:脚本、管道或重定向场景必须加 --no-pager,否则命令可能因等待翻页而长时间挂起。

1.11 journalctl -o

  • 全称:journal control(日志控制),-o 取自 output(输出格式)
  • 作用:指定日志的输出格式
  • 常用格式:
    • -o short:默认格式,含时间、主机、单元与消息
    • -o short-precise:时间精确到微秒
    • -o cat:只输出消息正文
    • -o json:单行 JSON,便于程序解析
    • -o json-pretty:缩进 JSON,便于人工阅读
  • -o verbose:输出记录的全部字段
  • 示例:
journalctl -u ssh -o cat -n 20
journalctl -u ssh -o json-pretty -n 1
journalctl -o json -n 1 | python3 -m json.tool
  • 说明:-o cat 便于与其他文本处理命令组合,-o verbose 可查看单条记录包含哪些可用字段。

1.12 journalctl 字段过滤(_PID 与 _COMM)

  • 全称:字段名取自进程属性,_PID 为 process ID(进程号),_COMM 为 command(进程名)
  • 作用:按日志记录的字段值精确过滤
  • 常用字段:_PID、_COMM、_EXE、_UID、_SYSTEMD_UNIT、_SYSTEMD_CGROUP
  • 示例:
journalctl _COMM=sshd -n 20
journalctl _PID=1234
journalctl _SYSTEMD_UNIT=ssh.service -n 20
  • 坑点:字段名区分大小写,字段匹配为精确匹配而非模糊匹配;字段名可通过 journalctl -o verbose -n 1 查看。

1.13 journalctl --disk-usage

  • 全称:disk usage(磁盘占用)
  • 作用:显示 journald 日志占用的磁盘空间
  • 示例:
journalctl --disk-usage
ls /var/log/journal
  • 说明:目录 /var/log/journal 存在时日志持久化保存,不存在时日志仅存放在内存文件系统 /run/log/journal 中。

1.14 journalctl --vacuum-size 与 --vacuum-time

  • 全称:vacuum(清理、抽空)
  • 作用:按体积或时间清理已归档的日志文件
  • 常用参数:--vacuum-size=200M、--vacuum-time=7d、--vacuum-time=2weeks、--vacuum-files=5
  • 示例:
journalctl --disk-usage
sudo journalctl --rotate
sudo journalctl --vacuum-size=200M
sudo journalctl --vacuum-time=7d
  • 坑点:清理只作用于已轮转的归档文件,当前活动日志不受影响;清理前建议先执行 journalctl --rotate,否则刚归档的内容不会被计入清理范围。
  • 高危 提醒:journalctl --vacuum-size 与 --vacuum-time 会删除仍需保留的历史日志,用于事后审计的记录将无法恢复。防护建议为先执行 journalctl --disk-usage 评估现状,把需要留存的区间导出为文本(如 journalctl --since "2026-09-01" --no-pager > /root/journal_backup_20260901.log),确认保留范围后再清理,生产环境优先通过 SystemMaxUse 设置上限而不是手工清理。

1.15 journalctl --rotate

  • 全称:rotate(轮转)
  • 作用:立即触发一次日志轮转,把当前活动日志归档
  • 示例:
sudo journalctl --rotate
sudo journalctl --rotate && sudo journalctl --vacuum-time=7d
  • 说明:轮转不删除任何内容,只把当前活动文件封存,使后续清理动作能够作用到最新的日志。

1.16 journalctl -g

  • 全称:journal control(日志控制),-g 取自 grep(正则搜索)
  • 作用:按关键字或正则表达式搜索日志消息正文
  • 示例:
journalctl -g "Failed password" --since today
journalctl -u nginx -g "error" -n 50
  • 坑点:-g 需要 systemd 237 及以上版本,匹配对象是消息正文,不含单元名等字段内容;低版本系统可用 journalctl --no-pager -u <服务名> | grep 关键字 代替。

1.17 /etc/systemd/journald.conf(日志持久化配置)

  • 全称:journal daemon configuration(journal 守护进程配置)
  • 作用:控制 systemd-journald 的存储位置与容量上限
  • 关键项:
    • Storage=auto:默认值,存在 /var/log/journal 目录时持久化,否则仅存放在内存
    • Storage=persistent:持久化保存到 /var/log/journal
    • Storage=volatile:仅保存在 /run/log/journal,重启后丢失
    • Storage=none:不保存日志,仅做转发
    • SystemMaxUse=500M:持久化日志的总占用上限
    • RuntimeMaxUse=100M:内存日志的占用上限
    • SystemMaxFileSize:单个日志文件的大小上限
  • 示例:
sudo mkdir -p /var/log/journal
sudo systemctl restart systemd-journald
grep -E "^(Storage|SystemMaxUse|RuntimeMaxUse)" /etc/systemd/journald.conf
journalctl --disk-usage
  • 坑点:修改配置后需重启 systemd-journald 生效,重启会短暂中断日志接收;设置为 Storage=none 后 journalctl 无法查询历史日志。

1.18 rsyslog 与 journald 的分工

  • 全称:rsyslog 为 rocket-fast system for log(高速日志系统)的缩写,journald 取自 journal daemon(日志守护进程)
  • 作用:说明两套日志机制的关系与选用依据
  • 分工说明:
    • systemd-journald 由 systemd 管理,接收内核消息、服务标准输出与 syslog 协议消息,使用二进制格式存储,通过 journalctl 查询
    • rsyslog 为传统 syslog 守护进程,从 journald 提供的套接字(/run/systemd/journal/syslog)读取消息,按设施与级别规则写入 /var/log/syslog、/var/log/auth.log 等文本文件
  • 示例:
systemctl status systemd-journald
systemctl status rsyslog
grep -E "imuxsock|imjournal" /etc/rsyslog.conf /etc/rsyslog.d/*.conf
  • 说明:文本日志便于 grep、awk 处理与长期归档,journald 便于按单元、优先级与字段精确检索,两者互补;机制细节与写入规则见系统日志管理。

1.19 journald 持久化与容量治理

  • 全称:journal daemon configuration(journal 守护进程配置)
  • 作用:为日志设定单文件与总量上限,按保留天数反算磁盘占用,避免日志无限增长
  • 两种存储位置的容量参数分工:
    • /run/log/journal:内存文件系统,由 RuntimeMaxUse、RuntimeMaxFileSize、RuntimeMaxFiles 控制,重启后内容清空
    • /var/log/journal:磁盘目录,由 SystemMaxUse、SystemMaxFileSize、SystemMaxFiles 控制,重启后仍保留
    • 写入位置的判定规则与 Storage 取值见 1.17,目录是否存在决定实际落点
  • Storage 取值取舍:
    • Storage=persistent:始终写入 /var/log/journal,目标目录不可写时降级为 volatile 并在自身日志中给出告警
    • Storage=volatile:只写内存,适合日志已集中转发的节点,本地不留历史
    • Storage=auto:按 /var/log/journal 是否存在自动选择,兼顾兼容性与磁盘占用,为发行版默认值
  • 未在 1.17 列出的容量项:
    • SystemMaxFiles:/var/log/journal 中归档文件个数上限,默认 100,用于限制文件碎片化
    • RuntimeMaxFiles:内存文件系统的归档个数上限,默认 100
    • MaxRetentionSec:归档日志的最长保留时间,超期即删,默认 0 表示不按时间限制
    • MaxFileSec:单个日志文件的最长覆盖时间,默认 1month,控制单个文件的轮转节奏
  • 生效方式:写入 /etc/systemd/journald.conf 后执行 sudo systemctl restart systemd-journald 生效;该重启只替换写入进程,已落盘的 .journal 文件不会被删除,因此重启 journald 不会丢失历史日志,与 --vacuum-* 的删除行为不同。
  • 清理动作的差异:
    • --vacuum-size:按总量收敛,从最旧的归档开始删除,直到不超过给定值
    • --vacuum-time:按时间边界删除,早于给定时间点的归档全部删除
    • --vacuum-files:按个数收敛,只保留最新的指定个数归档文件
    • --rotate:不删除任何内容,只把当前活动文件封存,使上述三种清理能覆盖到最新日志
    • 同时给出多个条件时,实际保留范围为各条件中最严格者
  • 保留证据的注意事项:清理前先导出需要留存的区间到文本或外部存储,导出文件不受 journald 容量参数约束;需要长期留存的记录应通过 rsyslog 转发或集中采集保存,不依赖本地 journald。
  • 容量规划:持久化日志的原始体积可用“单日日志量 × 保留天数”估算,journald 对 .journal 文件做压缩存储,实际占用通常为原始体积的 0.3 至 0.6,设置上限时留出约 20% 余量。
  • 估算示例:某主机 journald 单日新增日志约 120M,要求本地保留 14 天。原始总量约 120M × 14 ≈ 1.7G,按 0.5 的压缩比估算实际占用约 850M,可设 SystemMaxUse=1G、SystemMaxFileSize=100M、SystemMaxFiles=20。
  • 示例:
grep -E "^(Storage|SystemMaxUse|SystemMaxFileSize|SystemMaxFiles|RuntimeMaxUse|MaxRetentionSec)" /etc/systemd/journald.conf
journalctl --disk-usage
sudo journalctl --rotate
sudo journalctl --vacuum-files=20
  • 坑点:SystemMaxFileSize 过小会产生大量归档文件,SystemMaxFiles 应不小于 SystemMaxUse 与 SystemMaxFileSize 的比值;只设置 SystemMaxUse 而不设 MaxRetentionSec 时,保留时间完全由日志量决定,日志量下降后保留期会相应变长。

二、传统日志文件

2.1 /var/log/syslog【Debian/Ubuntu 特有】

  • 全称:system log(系统日志)
  • 作用:rsyslog 写入的通用系统日志,记录服务启停、计划任务触发等消息
  • 示例:
sudo tail -n 30 /var/log/syslog
sudo grep -i "error" /var/log/syslog | tail -n 20
  • 坑点:文件属组为 adm,权限为 640,普通用户无读取权限,需 sudo 或加入 adm 组;RHEL 系对应文件为 /var/log/messages。

2.2 /var/log/auth.log【Debian/Ubuntu 特有】

  • 全称:authentication log(认证日志)
  • 作用:记录登录、认证、sudo 提权、SSH 会话等安全事件,由 rsyslog 的 authpriv 设施写入
  • 示例:
sudo tail -n 30 /var/log/auth.log
sudo grep "Failed password" /var/log/auth.log | tail -n 20
  • 说明:fail2ban 的 sshd 防护默认监控该文件;RHEL 系对应文件为 /var/log/secure。

2.3 /var/log/kern.log

  • 全称:kernel log(内核日志)
  • 作用:记录内核消息,与 dmesg、journalctl -k 来源相同
  • 示例:
sudo grep -i "I/O error" /var/log/kern.log | tail -n 20
sudo grep -iE "EXT4-fs error|read-only" /var/log/kern.log | tail -n 20
  • 坑点:rsyslog 未运行时该文件不更新,内核消息只存在于 journald 中,排查时两处都要确认。

2.4 /var/log/dpkg.log

  • 全称:Debian package log(Debian 软件包日志)
  • 作用:记录 dpkg 层面的软件包安装、升级、卸载动作
  • 示例:
grep " install " /var/log/dpkg.log | tail -n 20
grep "2026-09-16" /var/log/dpkg.log | head -n 20
  • 说明:只记录包动作摘要,命令执行的完整输出在 /var/log/apt/term.log;历史文件由 logrotate 轮转并以 .gz 结尾。

2.5 /var/log/apt/history.log

  • 全称:APT history log(APT 历史日志)
  • 作用:记录 apt 命令的执行时间、执行用户、命令行参数与本次变更的软件包清单
  • 示例:
tail -n 40 /var/log/apt/history.log
zgrep "Commandline" /var/log/apt/history.log.*.gz | tail -n 10
  • 说明:回滚或审计软件变更时以该文件的 Start-Date、Commandline、Install、Upgrade、Remove 字段为准。

2.6 /var/log/btmp 与 lastb

  • 全称:btmp 取自 bad temporary(失败登录记录);lastb 取自 last bad(列出失败登录)
  • 作用:btmp 为二进制文件,记录失败登录尝试,使用 lastb 读取
  • 示例:
sudo lastb | head -n 20
sudo lastb -n 20
  • 坑点:btmp 为二进制格式,直接 cat 无法阅读;默认权限为 660 root:utmp,需 sudo;文件持续增长会影响登录速度,应确认 logrotate 的 /etc/logrotate.d/btmp 配置存在。

2.7 /var/log/wtmp 与 last

  • 全称:wtmp 取自 who temporary(登录记录);last 取自 last logged in(列出登录历史)
  • 作用:wtmp 为二进制文件,记录登录、注销、关机与重启事件,使用 last 读取
  • 示例:
last -n 20
last -x reboot
who
w
  • 说明:当前在线用户的记录在 /var/run/utmp,用 who 或 w 查看;last -x 会额外显示关机与运行级别切换事件,字段含义与普通登录行不同。

2.8 lastlog

  • 全称:last login log(最近登录记录)
  • 作用:读取 /var/log/lastlog,显示每个账户最近一次登录的时间与来源
  • 常用参数:-u 指定用户
  • 示例:
lastlog | head -n 20
lastlog -u <用户>
  • 说明:该文件为稀疏文件,ls -l 显示的体积远大于实际占用;账户维度的判定标准(系统账户与普通用户的差异)见主机加固与登录安全。

2.9 tail -f 与 tail -F

  • 全称:tail 非缩写,取"尾部"之意;-f 取自 follow(跟随),-F 为跟随并重试
  • 作用:实时跟踪日志文件新增内容
  • 示例:
tail -f /var/log/syslog
tail -F /var/log/nginx/access.log
tail -Fn 50 /var/log/auth.log
  • 坑点:-f 依据文件描述符跟踪,日志轮转后原文件被重命名会导致跟踪失效;-F 按文件名重新打开,轮转后仍能继续跟踪,长期跟踪应使用 -F。

2.10 grep 与 awk 组合过滤日志

  • 全称:grep 取自 global regular expression print(全局正则表达式打印);awk 取自三位作者姓氏 Aho、Weinberger、Kernighan
  • 作用:从文本日志中提取、统计关键信息
  • 常用参数:
    • grep -i:忽略大小写
    • grep -c:统计匹配行数
    • grep -v:反向选择不匹配的行
    • grep -E:使用扩展正则表达式
    • grep -oE:只输出匹配的片段
    • awk -F:指定字段分隔符
  • 示例:
sudo grep -c "Failed password" /var/log/auth.log
sudo grep "Failed password" /var/log/auth.log | head -n 2
sudo grep "Failed password" /var/log/auth.log | awk '{print $(NF-3)}' | sort | uniq -c | sort -nr | head
sudo grep -oE "([0-9]{1,3}\.){3}[0-9]{1,3}" /var/log/auth.log | sort | uniq -c | sort -nr | head
  • 坑点:awk 按位置取字段依赖日志格式,取列前先用 head 查看原始行确认字段位置;grep 按行匹配,正则元字符需转义,统计类输出先 uniq -c 再排序可避免信息过载。

2.11 zgrep

  • 全称:非缩写,取"gzip 压缩文件的 grep"之意
  • 作用:直接在 gzip 压缩的日志文件上执行匹配,无需先解压
  • 常用参数:-i、-c、-l(只列出文件名)、-h(不输出文件名)
  • 示例:
zgrep -i "error" /var/log/syslog.2.gz
zgrep -c "Failed password" /var/log/auth.log.*.gz
zcat /var/log/syslog.1.gz | tail -n 20
  • 说明:同类工具还有 zcat、zless,bzip2 压缩文件使用 bzgrep,xz 压缩文件使用 xzgrep。
  • 坑点:归档文件的扩展名取决于 logrotate 的 compress 与 delaycompress 配置,可能是 .gz,也可能是 .1 等未压缩编号文件,处理前先用 ls /var/log 确认。

2.12 journalctl 与文本日志的取舍

  • 全称:journal control(日志控制)
  • 作用:说明排障时选择日志来源的依据
  • 对比说明:
    • journalctl:按单元、优先级、时间与字段过滤,查询精确;依赖 systemd-journald 运行,二进制格式不便于外部采集
    • 文本日志:可用 grep、awk、zgrep 处理,便于长期归档与跨主机比对;依赖 rsyslog 运行,格式由各服务自行定义
  • 示例:
journalctl -u ssh --since today --no-pager
sudo grep "sshd" /var/log/auth.log | tail -n 20
  • 说明:同一事件通常在两处都有记录,定位单个服务故障优先用 journalctl -u,做批量统计或历史比对时用文本日志更直接。

三、日志写入与轮转

3.1 logger

  • 全称:非缩写,"记录日志"之意
  • 作用:向系统日志写入自定义消息,常用于脚本与日志链路测试
  • 常用参数:
    • -p:指定设施与级别
    • -t:指定标签,作为消息前缀
    • -i:附带进程号
    • -s:同时输出到标准错误
    • -f:从文件读取内容写入日志
  • 示例:
logger -t backup "备份任务开始"
logger -p local0.info -t myapp "服务启动完成"
logger -i -t deploy "发布流程结束"
  • 说明:消息交给 syslog 套接字,由 systemd-journald 接收,再经 rsyslog 按设施写入对应文本日志;写入后可用 journalctl -t myapp -n 5 与 sudo grep myapp /var/log/syslog 验证。

3.2 logger -p(设施与级别)

  • 全称:priority(优先级)
  • 作用:控制消息归属的设施与严重级别,决定消息写入哪个文本日志
  • 常用设施:auth、authpriv、cron、daemon、kern、lpr、mail、news、syslog、user、local0 至 local7
  • 常用级别:emerg、alert、crit、err、warning、notice、info、debug
  • 示例:
logger -p cron.info -t job "定时任务手动触发"
logger -p local3.err -t app "写入失败"
logger -p authpriv.warning -t security "检测到异常登录尝试"
sudo grep security /var/log/auth.log | tail -n 5
  • 坑点:设施或级别名写错时 logger 直接报错;自定义应用的日志建议使用 local0 至 local7,避免占用系统设施;authpriv 设施的消息进入 /var/log/auth.log。

3.3 systemd-cat

  • 全称:systemd concatenate(把输出连接到 journal)
  • 作用:把命令的标准输出与标准错误写入 journald,不经过 rsyslog
  • 常用参数:-t 指定标签,-p 指定优先级
  • 示例:
echo "构建完成" | systemd-cat -t build
systemd-cat -t myapp -p err /usr/local/bin/check.sh
journalctl -t myapp -n 20
  • 说明:systemd-cat 写入的消息只在 journald 中,按标签用 journalctl -t 查询;需要文本日志时改用 logger 或将输出重定向到文件。

3.4 logrotate 配置文件结构

  • 全称:log rotate(日志轮转)
  • 作用:按周期归档、压缩与清理日志文件
  • 结构说明:
    • 主配置 /etc/logrotate.conf:定义全局默认值,并通过 include /etc/logrotate.d 引入子配置
    • 子配置 /etc/logrotate.d/:每个应用一个文件,子配置中的参数覆盖主配置同名参数
    • 状态文件 /var/lib/logrotate/status:记录各日志上次轮转时间
    • 触发方式:由 logrotate.timer 定时执行,也可由 /etc/cron.daily/logrotate 触发
  • 示例:
cat /etc/logrotate.conf
ls /etc/logrotate.d/
systemctl list-timers logrotate.timer
  • 坑点:未在子配置中定义的参数继承主配置;同一路径出现在多个配置文件时后加载者生效,自定义文件建议使用可辨识的文件名,避免与软件包自带文件冲突。

3.5 logrotate 常用指令

  • 全称:log rotate(日志轮转)
  • 作用:在配置块中定义轮转策略
  • 常用指令:
    • daily:每天轮转,另有 weekly、monthly、yearly
    • rotate 7:保留 7 份归档,超出部分删除
    • size 100M:日志超过该体积时轮转
    • compress:归档文件使用 gzip 压缩
    • delaycompress:最近一份归档暂不压缩,下次轮转时再压缩
    • missingok:日志文件不存在时不报错
    • notifempty:日志为空时不轮转
    • create 0640 root adm:轮转后创建新文件并指定权限与属主属组
    • copytruncate:先复制内容为归档再截断原文件,进程无需重新打开文件
    • postrotate ... endscript:轮转后执行的命令,通常用于通知服务重新打开日志
    • dateext:归档文件名使用日期后缀
    • su root adm:以指定用户和组执行轮转
  • 示例:
/var/log/myapp/app.log {
    daily
    rotate 7
    compress
    delaycompress
    missingok
    notifempty
    create 0640 root adm
    postrotate
        systemctl reload myapp > /dev/null 2>&1 || true
    endscript
}
  • 说明:系统日志的轮转由 /etc/logrotate.d/rsyslog 定义,postrotate 中调用 rsyslog 自带的轮转脚本通知服务重新打开文件;参数取舍与场景分析见logrotate 日志轮转。
  • 坑点:create 与 copytruncate 应二选一,同时配置时行为不确定;create 指定的属主属组必须与写入日志的进程一致,否则轮转后进程无法写日志。

3.6 logrotate -d

  • 全称:debug(调试)
  • 作用:模拟执行并输出将要进行的动作,不实际修改日志文件
  • 示例:
sudo logrotate -d /etc/logrotate.conf
sudo logrotate -d /etc/logrotate.d/nginx 2>&1 | head -n 40
  • 坑点:-d 输出内容较多,建议配合 head、grep 查看;输出中出现 error、skipping、not rotated 等关键字说明该配置未按预期生效,需要针对性排查。

3.7 logrotate -f

  • 全称:force(强制)
  • 作用:忽略时间间隔与状态文件记录,立即执行一次轮转
  • 常用参数:-f 强制,-v 显示详细过程
  • 示例:
sudo logrotate -vf /etc/logrotate.d/nginx
ls -l /var/log/nginx/
  • 坑点:强制轮转会改变归档编号并更新状态文件,连续执行会快速消耗保留份数;验证配置正确性应先用 -d。
  • 高危 提醒:logrotate 配置错误会导致日志停止写入。常见错误包括 create 的属主属组与进程运行用户不一致、copytruncate 与 create 同时配置、postrotate 中的命令失败未加容错、路径写错导致文件被跳过。防护建议为修改后先执行 sudo logrotate -d <配置文件> 检查,再对单个文件 sudo logrotate -vf <配置文件> 验证,并立即用 tail -n 5 <日志路径> 与 systemctl status <服务名> 确认进程仍在正常写入。

3.8 日志轮转不生效的常见原因

  • 全称:log rotate(日志轮转)
  • 作用:排查日志未按预期轮转的问题
  • 常见原因:
      1. 配置文件存在语法错误,logrotate 直接跳过整个文件
      1. 配置中的日志路径与实际路径不一致,或上级目录不存在
      1. 未满足触发条件,如日志为空且配置了 notifempty、日志体积未达到 size 设定值
      1. 状态文件 /var/lib/logrotate/status 中的上次轮转时间未到下一个周期
      1. 定时触发未运行,如 logrotate.timer 未启用或 /etc/cron.daily 未被执行
      1. create 指定的属主属组错误,轮转后新文件创建失败
      1. 服务未重新打开日志文件,日志继续写入已归档的文件
  • 示例:
sudo logrotate -d /etc/logrotate.conf 2>&1 | grep -i error
cat /var/lib/logrotate/status | head
systemctl list-timers logrotate.timer
sudo tail -n 20 /var/log/syslog

四、审计 auditd

4.1 auditctl

  • 全称:audit control(审计控制)
  • 作用:管理与查看内核审计规则
  • 常用参数:
    • -w:监控文件或目录
    • -p:指定监控的访问类型
    • -a:向指定链表追加规则
    • -k:为规则设置关键字,便于检索
    • -l:列出当前规则
    • -D:删除全部规则
    • -s:查看审计子系统状态
  • 示例:
sudo auditctl -s
sudo auditctl -l
  • 说明:auditctl 添加的规则只存在于内存,重启后失效,持久化需写入 /etc/audit/rules.d/。

4.2 auditctl -w 监控文件

  • 全称:watch(监视)
  • 作用:对指定文件或目录的访问行为生成审计记录
  • 示例:
sudo auditctl -w /etc/passwd -p wa -k passwd_change
sudo auditctl -w /etc/sudoers -p wa -k sudoers_change
sudo auditctl -w /etc/ssh/sshd_config -p wa -k ssh_config
sudo auditctl -l
  • 坑点:-w 作用于目录时只覆盖该目录层级内的对象,需要精确监控时逐文件添加;监控项过多会显著增加审计日志量与磁盘写入。

4.3 auditctl -p 权限过滤

  • 全称:permissions(权限)
  • 作用:限定监控的访问类型,取值可组合
  • 取值说明:
    • r:读取
    • w:写入
    • x:执行
    • a:修改属性,如权限、属主、时间戳
  • 示例:
sudo auditctl -w /etc/hosts -p wa -k hosts_change
sudo auditctl -w /usr/bin/curl -p x -k curl_exec
  • 说明:监控文件内容与属性变动用 wa,监控命令执行用 x;不写 -p 时默认监控所有访问类型。

4.4 auditctl -a always,exit 系统调用审计

  • 全称:append(追加),always 与 exit 为动作与时机参数
  • 作用:按系统调用添加审计规则,常用于记录命令执行与文件删除行为
  • 语法说明:-a 动作,时机 -F 过滤条件 -S 系统调用名 -k 关键字,动作常用 always,时机常用 exit 表示系统调用退出时记录
  • 示例:
sudo auditctl -a always,exit -F arch=b64 -S execve -F auid>=1000 -k exec_cmd
sudo auditctl -a always,exit -F arch=b64 -S unlink,unlinkat -F auid>=1000 -k file_delete
sudo auditctl -l | tail -n 5
  • 坑点:execve 审计会产生大量记录,影响磁盘占用与性能,应通过 -F 条件收窄范围;-F auid>=1000 用于排除系统服务自身产生的记录。

4.5 auditctl -l

  • 全称:list(列出)
  • 作用:列出当前生效的全部审计规则
  • 示例:
sudo auditctl -l
sudo auditctl -l | grep passwd
  • 说明:-l 显示的是运行时规则,不含 /etc/audit/rules.d/ 中尚未加载的内容。

4.6 auditctl -D

  • 全称:delete(删除)
  • 作用:删除当前全部审计规则
  • 示例:
sudo auditctl -l > /root/audit_rules_backup_$(date +%F).txt
sudo auditctl -D
sudo auditctl -l
  • 高危 提醒:auditctl -D 清空审计规则后,文件改动、命令执行等行为不再产生审计记录,安全事件无法追溯。防护建议为执行前先导出当前规则(sudo auditctl -l > /root/audit_rules_backup_$(date +%F).txt),确认无并行审计需求,并记住恢复方式为 sudo augenrules --load 重新加载 /etc/audit/rules.d/ 中的规则。

4.7 ausearch

  • 全称:audit search(审计检索)
  • 作用:检索审计日志中的记录
  • 常用参数:
    • -k:按规则关键字检索
    • -m:按消息类型检索,如 USER_LOGIN、USER_AUTH、EXECVE、CONFIG_CHANGE、SYSCALL
    • -ts 与 -te:指定起止时间,支持 now、recent、today、yesterday、boot 或 mm/dd/yyyy HH:MM:SS
    • -i:把数值型字段解释为可读文本
    • -f:按文件路径检索
  • 示例:
sudo ausearch -k passwd_change -i
sudo ausearch -m USER_LOGIN -ts today
sudo ausearch -k exec_cmd -ts recent | head -n 40
  • 坑点:-ts today 等相对时间的解释依赖系统时区,跨天范围或需要精确时间点时显式写出日期;记录中的 uid、gid、arch 默认是数值,加 -i 便于阅读。

4.8 aureport

  • 全称:audit report(审计报告)
  • 作用:把审计记录汇总为统计报告
  • 常用参数:
    • --summary:总体概览
    • -au:认证事件报告
    • -l:登录事件报告
    • -x:可执行命令报告
    • -f:文件访问报告
    • -ts、-te:限定时间范围
  • 示例:
sudo aureport --summary
sudo aureport -au -ts today
sudo aureport -f -i | head -n 20
  • 说明:aureport 适合快速判断是否存在异常登录与异常文件访问,具体细节仍需用 ausearch 查看原始记录。

4.9 /etc/audit/rules.d/ 规则持久化

  • 全称:audit rules directory(审计规则目录)
  • 作用:保存开机自动加载的审计规则,避免重启后规则丢失
  • 使用方式:
    1. 把规则写入 /etc/audit/rules.d/ 下的 .rules 文件,例如 audit.rules
    2. 执行 sudo augenrules --load 合并并加载规则
    3. 用 sudo auditctl -l 确认规则已生效
  • 示例:
sudo tee /etc/audit/rules.d/audit.rules <<'EOF'
-w /etc/passwd -p wa -k passwd_change
-w /etc/sudoers -p wa -k sudoers_change
-a always,exit -F arch=b64 -S execve -F auid>=1000 -k exec_cmd
EOF
sudo augenrules --load
sudo auditctl -l | tail -n 10
  • 说明:augenrules 会把目录下的多个规则文件按名称顺序合并到 /etc/audit/audit.rules,因此规则文件不应手工改名后再单独编辑合并结果;如需启用规则不可变模式,可在规则末尾加入 -e 2,此后修改规则必须重启。
  • 坑点:-e 2 会使运行时无法再通过 auditctl 增删规则,调试阶段不建议启用。

4.10 auditd 与 journald 的关系及日志位置

  • 全称:audit daemon(审计守护进程)
  • 作用:说明审计日志的存放位置与查询方式
  • 要点说明:
    • auditd 运行时的记录写入 /var/log/audit/audit.log,路径由 /etc/audit/auditd.conf 中的 log_file 指定
    • 审计记录同时以内核消息形式进入 journald,可用 journalctl -k --since today | grep -i audit 查看部分内容,完整内容以 audit.log 为准
    • 日志轮转由 /etc/audit/auditd.conf 中的 max_log_file、num_logs、max_log_file_action 控制,不由 logrotate 管理
    • 服务状态用 systemctl status auditd 查看,Ubuntu 需 sudo apt install auditd 安装
  • 示例:
sudo systemctl status auditd
sudo tail -n 20 /var/log/audit/audit.log
sudo grep -E "max_log_file|num_logs|max_log_file_action" /etc/audit/auditd.conf
  • 说明:未安装或未运行 auditd 时,内核审计消息由 journald 记录,检索方式与 audit.log 不同。

4.11 auditd 生产规则与容量治理

  • 全称:audit daemon(审计守护进程)
  • 作用:把常用监控规则固化为永久规则,并为审计日志设置缓冲、轮转与阈值策略,避免规则过宽导致日志暴涨
  • 规则永久化流程:
    1. 规则按用途拆分为多个文件写入 /etc/audit/rules.d/,文件名加数字前缀控制加载顺序,例如 10-identity.rules、20-privileged.rules、30-exec.rules
    2. 文件内使用与 auditctl 相同的规则语法,去掉 auditctl 命令前缀,逐行书写
    3. 执行 sudo augenrules --load 合并到 /etc/audit/audit.rules 并加载
    4. 用 sudo auditctl -l 确认运行时规则与文件内容一致
    5. 用 sudo ausearch -k <关键字> -ts recent 验证记录可检索
  • 规则示例(身份与提权文件监控):
sudo tee /etc/audit/rules.d/10-identity.rules <<'EOF'
-w /etc/passwd -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/group -p wa -k identity
EOF
sudo tee /etc/audit/rules.d/20-privileged.rules <<'EOF'
-w /etc/sudoers -p wa -k privileged
-w /etc/sudoers.d/ -p wa -k privileged
-a always,exit -F arch=b64 -S setuid,setgid -F auid>=1000 -k privileged
EOF
sudo augenrules --load
sudo auditctl -l
  • 命中授权的规则会影响所有用户,-F 条件的组合方式与系统调用规则的写法见 4.4,规则范围决定日志量,收窄条件是控制容量最直接的手段。
  • 缓冲区与失败模式:
    • auditctl -b <数量>:设置内核审计缓冲区的最大积压数量,缓冲区用尽后事件按失败模式处理,当前值可用 auditctl -s 查看 backlog_limit 字段
    • auditctl -f <模式>:缓冲区溢出时的动作,0 为 silent(静默丢弃)、1 为 printk(打印告警到内核日志)、2 为 panic(触发内核 panic),生产环境常用 1
    • 高并发主机开启 execve 审计时,事件产生速度可能超过磁盘写入速度,应同时提高缓冲区上限并放宽秒级处理量阈值
  • /etc/audit/auditd.conf 的容量与阈值项:
    • max_log_file:单个 audit.log 的体积上限,单位 MB
    • num_logs:归档份数,总占用约为 max_log_file × (num_logs + 1)
    • max_log_file_action:达到上限的动作,rotate 为轮转并删除最旧归档,keep_logs 为轮转但不删除,suspend 为停止写日志,生产环境常用 rotate
    • space_left 与 space_left_action:剩余空间降至该阈值(MB)时执行的动作,常用 syslog 或 email,属于预警层
    • admin_space_left 与 admin_space_left_action:更低的阈值与动作,常用 single 或 halt,属于最后防线
    • disk_full_action:磁盘写满时的动作,常用 single 或 halt,避免审计记录静默丢失
  • 规则过多导致日志暴涨与性能下降的处理:用 aureport --summary 与 ausearch -m SYSCALL -ts today 统计各规则的命中量,定位高产规则;对高产规则增加 -F 条件(auid、uid、exe、path、key)收窄范围,或改为按目录监控;只读挂载路径与高频临时目录应排除,不必逐文件监控。
  • 审计日志集中转发的思路:通过 /etc/audit/plugins.d/ 下的 audisp 插件把记录转发到远程 syslog 或采集端,也可由 rsyslog 读取 /var/log/audit/audit.log 后转发;集中侧负责长期留存与跨主机关联,本地 num_logs 可相应减少,但本地仍需保留满足事后即时排查的份数。
  • 重启后的加载顺序与验证:开机由 auditd 服务调用 augenrules 按文件名字典序加载 /etc/audit/rules.d/ 内容,因此前缀数字决定优先级;验证顺序为 systemctl status auditd、sudo auditctl -l、sudo ausearch -k <关键字> -ts recent。
  • 示例:
sudo systemctl status auditd
sudo auditctl -s
sudo grep -E "max_log_file|num_logs|max_log_file_action|space_left_action" /etc/audit/auditd.conf
sudo ausearch -k identity -ts recent | head -n 20
  • 坑点:规则文件中的路径不存在时加载不会报错,但内核匹配不到该对象,容易误判为规则未生效;max_log_file_action 设为 keep_logs 时归档不会删除,需另行监控磁盘;admin_space_left_action=halt 与 -f 2 都会造成服务或主机中断,仅在合规要求强制留存全部审计记录时使用。
  • 高危 提醒:审计规则范围过宽会同时导致磁盘占满与系统性能下降,主机进入不可写状态后业务日志与审计记录一并丢失。防护建议为规则上线前在测试机估算日志增量,配置 max_log_file 与 num_logs 控制总量,并用 space_left_action 设置提前预警,避免依赖 disk_full_action 被动止损。

五、高危命令与常见坑点汇总

5.1 高危命令

以下命令或操作影响范围大且多数不可逆,执行前必须确认目标与影响面:

命令 风险 防护建议
journalctl --vacuum-size、--vacuum-time 清掉仍需保留的历史日志,审计线索丢失 先 --disk-usage 评估并导出关键区间,再执行清理
logrotate 配置错误 日志停止写入或停止轮转,服务排障依据缺失 先 logrotate -d 检查,再单文件 -f 验证并确认进程仍可写
auditctl -D 清空全部审计规则,文件改动与命令执行无法追溯 先 auditctl -l 导出;事后用 augenrules --load 恢复
auditctl -a ... -S execve 规则范围过宽导致审计日志暴涨、磁盘占满 用 -F 收窄范围;配置 auditd 的 max_log_file 与 num_logs
rm 删除正在写入的日志文件 空间不释放且日志内容丢失,事后排障依据缺失 先 lsof +L1 确认占用来源,改用 truncate -s 0 或由 logrotate 切割

5.2 常见坑点

  • journalctl 默认进入分页器,脚本与管道场景需加 --no-pager
  • 普通用户无法读取 /var/log/syslog 与 /var/log/auth.log,需 sudo 或加入 adm 组
  • journalctl -p err 输出的是该级别及更严重的记录,容易误判数量
  • journald 历史日志需要 /var/log/journal 目录存在才会持久化
  • journalctl -g 依赖 systemd 版本,老版本需改用 grep
  • tail -f 在日志轮转后失效,长期跟踪应使用 tail -F
  • btmp、wtmp、lastlog 为二进制文件,不能直接用 cat 查看
  • awk 按字段位置取列依赖日志格式,取列前先查看原始行
  • 轮转后的日志可能是 .gz,也可能是 .1 等未压缩编号文件,排查前先确认
  • logrotate 子配置未定义的参数继承主配置
  • create 与 copytruncate 不应同时配置
  • 服务未重新打开日志文件时,日志会继续写入已归档文件
  • size、notifempty 与状态文件中的时间都会影响轮转是否触发
  • auditctl 添加的规则重启后失效,需写入 /etc/audit/rules.d/
  • ausearch -ts 的相对时间解释依赖系统时区
  • audit 规则过多会显著增加日志量与磁盘写入
  • 内核与磁盘报错需对比时间点,dmesg、kern.log 与 journald 内容一致
  • df 显示仍有剩余空间但 df -i 的 inode 已耗尽时,同样无法创建新文件
  • 已删除但仍被进程持有的文件不释放空间,需重启或 reload 对应进程
  • 直接 rm 正在写入的日志文件既不释放空间,也会丢失日志内容

5.3 日志暴涨导致磁盘打满的止损流程

按以下顺序执行,每步先判断再动手,避免误删仍需留存的日志。

第一步:判断耗尽的是空间还是 inode

df -hT
df -i
  • df -hT 显示各文件系统的类型、容量与使用率,Use% 达到 100 说明空间耗尽
  • df -i 显示 inode 使用率,IUse% 达到 100 时即使仍有剩余空间也无法创建新文件,此时清理方向是减少文件数量而非腾出字节
  • 两种情况的后续动作不同:inode 耗尽多来自大量小文件与过细的轮转粒度,需要调整轮转参数而非单纯删除内容

第二步:定位占用目录

sudo du -xh --max-depth=1 / 2>/dev/null | sort -h | tail -n 10
sudo du -xh --max-depth=1 /var/log | sort -h | tail -n 10
sudo ncdu -x /var/log
  • du 逐层下钻,-x 限制在同一文件系统内,避免统计到挂载点
  • ncdu 提供交互式浏览,未安装时可用 du 逐层代替
  • 定位到具体服务目录后,比较各日志文件的体积与最近修改时间,判断增长最快的一方

第三步:找出已删除但仍被进程占用的文件

sudo lsof +L1
sudo lsof +L1 | awk '{print $1, $2, $7, $9}'
  • lsof +L1 列出链接数为 0、即已被删除但句柄仍被进程持有的文件
  • 这类文件的空间只有进程退出或重新打开句柄后才会释放,df 与 du 统计值的差异常源于此
  • 处理方式为重启或 reload 对应服务,不是再次删除文件

第四步:选择清理方式

  • journald 日志:先用 journalctl --disk-usage 评估,再按 1.19 中的清理动作处理
  • 文本日志:用 sudo logrotate -vf <配置文件> 触发一次轮转,配合 compress 释放空间,强制轮转的影响见 3.7
  • 取舍原则:先处理体积大且可再生成的一方(访问类日志),保留审计类日志,auth.log 与 auditd 的 audit.log 需按合规要求留存
  • 轮转与清理只作用于归档与文件边界,不改变正在写入的内容;需要立即腾空文件时应确认该文件可安全截断

第五步:临时止损与容量治理的先后

  1. 临时止损:在占用最大的目录上清理或轮转,释放空间使服务恢复写入,属于分钟级动作
  2. 恢复服务:确认相关进程仍在写入,必要时 reload 使其重新打开日志文件
  3. 长期治理:补齐轮转参数与容量上限,属于配置变更,应在服务恢复后执行
  4. 顺序不可颠倒:磁盘已满时修改配置并重启服务,进程可能因无法写入日志而启动失败,放大故障范围

第六步:不要直接删除正在写入的日志文件

  • 进程持有文件描述符,rm 只删除目录项,空间不会释放,df 的结果不变
  • 直接删除同时丢掉日志内容,事后无法追溯故障过程
  • 需要立即腾空文件时用 truncate -s 0 <文件>,或按第三步定位后重启对应进程;正规方式是由 logrotate 完成切割
  • 高危 提醒:rm 或 truncate -s 0 作用于正在写入的日志文件会造成记录不可恢复地丢失,作用于数据库或服务的内部存储文件还可能造成数据损坏。防护建议为先导出需要留存的区间,确认目标为纯文本追加写入的日志后再处理,涉及数据库文件与 journal 二进制文件时交由对应服务自身管理。

第七步:止损后补齐的配置

  • 文本日志:补齐 rotate 份数、compress、maxsize,按写入量与保留天数估算,配置写法见logrotate 日志轮转
  • journald:设置 SystemMaxUse、SystemMaxFileSize 与 MaxRetentionSec,见 1.19
  • auditd:设置 max_log_file、num_logs 与 max_log_file_action,见 4.11
  • 监控:增加磁盘空间与 inode 使用率告警,阈值参考 80%,告警内容包含占用最大的目录清单

六、命令全称对照表

命令 全称 含义
journalctl journal control 查询 systemd 日志
logger 非缩写 向系统日志写入自定义消息
systemd-cat systemd concatenate 把命令输出写入 journald
logrotate log rotate 日志轮转
dmesg display message 显示内核环形缓冲区消息
tail 非缩写 查看文件末尾、跟踪新增内容
grep global regular expression print 全局正则表达式打印
awk Aho、Weinberger、Kernighan 文本字段处理
zgrep z + grep 在压缩日志上执行匹配
auditctl audit control 管理审计规则
ausearch audit search 检索审计记录
aureport audit report 生成审计报告
augenrules audit generate rules 合并并加载审计规则
df disk free 查看文件系统空间与 inode 使用率
du disk usage 统计目录与文件占用空间
ncdu NCurses disk usage 交互式分析磁盘占用
lsof list open files 列出进程打开的文件与网络连接

七、快速检索清单

目标 命令
查看某服务最近日志 journalctl -u <服务名> -n 20
实时跟踪服务日志 journalctl -u <服务名> -f
查看本次启动的错误日志 journalctl -b -p err
查看上次启动日志 journalctl -b -1 -n 50
查看内核日志 journalctl -k -b
按关键字搜索日志 journalctl -g "关键字" --since today
查看日志占用空间 journalctl --disk-usage
按体积清理日志 sudo journalctl --vacuum-size=200M
开启日志持久化 sudo mkdir -p /var/log/journal 后重启 systemd-journald
查看通用系统日志 sudo tail -n 30 /var/log/syslog
查看认证与登录日志 sudo tail -n 30 /var/log/auth.log
统计失败登录来源 sudo grep "Failed password" /var/log/auth.log \| awk '{print $(NF-3)}' \| sort \| uniq -c \| sort -nr \| head
查看压缩日志内容 zgrep -i "error" /var/log/syslog.2.gz
实时跟踪并兼容轮转 tail -F /var/log/syslog
写入一条测试日志 logger -p local0.info -t test "hello"
查看 logrotate 配置 cat /etc/logrotate.conf 与 ls /etc/logrotate.d/
调试日志轮转 sudo logrotate -d /etc/logrotate.conf
强制轮转单个日志 sudo logrotate -vf /etc/logrotate.d/<配置文件名>
监控文件改动 sudo auditctl -w /etc/passwd -p wa -k passwd_change
检索审计记录 sudo ausearch -k passwd_change -i
查看审计规则 sudo auditctl -l
持久化审计规则 写入 /etc/audit/rules.d/ 后执行 sudo augenrules --load
定位服务启动失败原因 systemctl status <服务名> --no-pager 与 journalctl -u <服务名> -b
排查磁盘与文件系统报错 sudo dmesg -T \| grep -Ei "I/O error\|EXT4-fs error"
判断空间与 inode 是否耗尽 df -hT 与 df -i
定位占用最大的目录 sudo du -xh --max-depth=1 /var/log \| sort -h \| tail
查找已删除但仍被占用的文件 sudo lsof +L1
按保留时间清理 journald 日志 sudo journalctl --vacuum-time=14d
查看审计缓冲区与失败模式 sudo auditctl -s