内容总览
一、systemd 日志查询
1.1 journalctl
- 全称:journal control(日志控制)
- 作用:查询 systemd-journald 收集的系统与应用日志
- 常用参数:
-n:显示最后若干行-u:按 systemd 单元过滤-f:实时跟踪新增日志-o:指定输出格式
- 示例:
journalctl -n 20
journalctl --no-pager -n 20
- 坑点:普通用户只能查看自身日志,查看系统日志需使用
sudo或将用户加入 systemd-journal 组;默认输出进入分页器,脚本中使用需加--no-pager。
1.2 journalctl -u
- 全称:journal control(日志控制),
-u取自 unit(单元) - 作用:按 systemd 单元(服务)过滤日志
- 常用参数:
-u <单元名>,可重复指定多个-u表示并列显示 - 示例:
journalctl -u ssh -n 20
journalctl -u ssh -u cron --since today
- 说明:单元名可用
systemctl list-units --type=service确认,Ubuntu 中 SSH 服务单元名为ssh,日志服务单元名为systemd-journald。 - 坑点:单元名写错时命令返回空结果而不报错,排障前先用
systemctl status <服务名>核对单元名。
1.3 journalctl -b 与 -b -1
- 全称:journal control(日志控制),
-b取自 boot(启动会话) - 作用:按系统启动会话查看日志,
-b为本次启动,-b -1为上一次启动 - 常用参数:
-b、-b -1、-b -2、--list-boots - 示例:
journalctl -b -p err
journalctl -b -1 -n 50
journalctl --list-boots
- 说明:
--list-boots列出各启动会话的编号与起止时间,负数为历史启动,正数或 0 为本次启动。 - 坑点:未开启日志持久化时只有本次启动的记录,历史启动日志不存在,需先配置 /etc/systemd/journald.conf 中的 Storage。
1.4 journalctl --since 与 --until
- 全称:since(自某时间起)、until(至某时间止)
- 作用:按时间范围过滤日志
- 常用参数:
--since "2026-09-01 08:00:00"--since today、--since yesterday--since "1 hour ago"--until "2026-09-16 12:00:00"
- 示例:
journalctl --since today --until "2026-09-16 12:00:00"
journalctl -u cron --since "2 hours ago"
- 坑点:包含空格的时间字符串必须加引号,否则会被拆分为多个参数。
1.5 journalctl -p
- 全称:journal control(日志控制),
-p取自 priority(优先级) - 作用:按日志优先级过滤
- 常用参数:
-p err、-p warning、-p debug,也可写数字 - 级别对照:0 emerg、1 alert、2 crit、3 err、4 warning、5 notice、6 info、7 debug
- 示例:
journalctl -p err -b
journalctl -p 3 -n 50
- 坑点:
-p过滤的是该级别及更严重的消息,-p err会同时输出 crit、alert、emerg 级别的记录。
1.6 journalctl -f
- 全称:journal control(日志控制),
-f取自 follow(跟随) - 作用:实时跟踪新增日志
- 示例:
journalctl -f
journalctl -u nginx -f
- 坑点:
-f持续占用前台终端,退出需按 Ctrl+C;长期跟踪服务日志时可与-n组合,例如journalctl -u nginx -fn 20。
1.7 journalctl -k
- 全称:journal control(日志控制),
-k取自 kernel(内核) - 作用:只显示内核消息,等价于
--dmesg - 示例:
journalctl -k -b
journalctl -k -p warning -b
- 说明:与
dmesg输出来源一致,dmesg -T输出可读时间戳,journalctl -k自带时间戳。
1.8 journalctl -xe
- 全称:journal control(日志控制),
-x取自 explanations(附加解释),-e取自 end(跳至末尾) - 作用:显示日志末尾内容并为内核与部分服务的消息附加解释说明
- 示例:
journalctl -xe
journalctl -xe -u nginx
- 坑点:
-e只定位到日志末尾,定位完整过程需配合--since或直接用-u查看该单元全量日志。
1.9 journalctl -n
- 全称:journal control(日志控制),
-n取自 number(行数) - 作用:指定输出行数,默认从最新记录向前取
- 常用参数:
-n 50,与-r组合可倒序输出最新优先 - 示例:
journalctl -n 50
journalctl -n 100 --no-pager
journalctl -r -n 30
- 说明:不使用
-n时输出从最早的日志开始并按时间正序分页显示。
1.10 journalctl --no-pager
- 全称:no pager(不分页)
- 作用:输出内容不经过分页器,直接打印
- 示例:
journalctl --no-pager -n 20
journalctl --no-pager | grep -i failed
- 坑点:脚本、管道或重定向场景必须加
--no-pager,否则命令可能因等待翻页而长时间挂起。
1.11 journalctl -o
- 全称:journal control(日志控制),
-o取自 output(输出格式) - 作用:指定日志的输出格式
- 常用格式:
-o short:默认格式,含时间、主机、单元与消息-o short-precise:时间精确到微秒-o cat:只输出消息正文-o json:单行 JSON,便于程序解析-o json-pretty:缩进 JSON,便于人工阅读
-o verbose:输出记录的全部字段- 示例:
journalctl -u ssh -o cat -n 20
journalctl -u ssh -o json-pretty -n 1
journalctl -o json -n 1 | python3 -m json.tool
- 说明:
-o cat便于与其他文本处理命令组合,-o verbose可查看单条记录包含哪些可用字段。
1.12 journalctl 字段过滤(_PID 与 _COMM)
- 全称:字段名取自进程属性,
_PID为 process ID(进程号),_COMM为 command(进程名) - 作用:按日志记录的字段值精确过滤
- 常用字段:
_PID、_COMM、_EXE、_UID、_SYSTEMD_UNIT、_SYSTEMD_CGROUP - 示例:
journalctl _COMM=sshd -n 20
journalctl _PID=1234
journalctl _SYSTEMD_UNIT=ssh.service -n 20
- 坑点:字段名区分大小写,字段匹配为精确匹配而非模糊匹配;字段名可通过
journalctl -o verbose -n 1查看。
1.13 journalctl --disk-usage
- 全称:disk usage(磁盘占用)
- 作用:显示 journald 日志占用的磁盘空间
- 示例:
journalctl --disk-usage
ls /var/log/journal
- 说明:目录 /var/log/journal 存在时日志持久化保存,不存在时日志仅存放在内存文件系统 /run/log/journal 中。
1.14 journalctl --vacuum-size 与 --vacuum-time
- 全称:vacuum(清理、抽空)
- 作用:按体积或时间清理已归档的日志文件
- 常用参数:
--vacuum-size=200M、--vacuum-time=7d、--vacuum-time=2weeks、--vacuum-files=5 - 示例:
journalctl --disk-usage
sudo journalctl --rotate
sudo journalctl --vacuum-size=200M
sudo journalctl --vacuum-time=7d
- 坑点:清理只作用于已轮转的归档文件,当前活动日志不受影响;清理前建议先执行
journalctl --rotate,否则刚归档的内容不会被计入清理范围。 - 高危 提醒:
journalctl --vacuum-size与--vacuum-time会删除仍需保留的历史日志,用于事后审计的记录将无法恢复。防护建议为先执行journalctl --disk-usage评估现状,把需要留存的区间导出为文本(如journalctl --since "2026-09-01" --no-pager > /root/journal_backup_20260901.log),确认保留范围后再清理,生产环境优先通过 SystemMaxUse 设置上限而不是手工清理。
1.15 journalctl --rotate
- 全称:rotate(轮转)
- 作用:立即触发一次日志轮转,把当前活动日志归档
- 示例:
sudo journalctl --rotate
sudo journalctl --rotate && sudo journalctl --vacuum-time=7d
- 说明:轮转不删除任何内容,只把当前活动文件封存,使后续清理动作能够作用到最新的日志。
1.16 journalctl -g
- 全称:journal control(日志控制),
-g取自 grep(正则搜索) - 作用:按关键字或正则表达式搜索日志消息正文
- 示例:
journalctl -g "Failed password" --since today
journalctl -u nginx -g "error" -n 50
- 坑点:
-g需要 systemd 237 及以上版本,匹配对象是消息正文,不含单元名等字段内容;低版本系统可用journalctl --no-pager -u <服务名> | grep 关键字代替。
1.17 /etc/systemd/journald.conf(日志持久化配置)
- 全称:journal daemon configuration(journal 守护进程配置)
- 作用:控制 systemd-journald 的存储位置与容量上限
- 关键项:
Storage=auto:默认值,存在 /var/log/journal 目录时持久化,否则仅存放在内存Storage=persistent:持久化保存到 /var/log/journalStorage=volatile:仅保存在 /run/log/journal,重启后丢失Storage=none:不保存日志,仅做转发SystemMaxUse=500M:持久化日志的总占用上限RuntimeMaxUse=100M:内存日志的占用上限SystemMaxFileSize:单个日志文件的大小上限
- 示例:
sudo mkdir -p /var/log/journal
sudo systemctl restart systemd-journald
grep -E "^(Storage|SystemMaxUse|RuntimeMaxUse)" /etc/systemd/journald.conf
journalctl --disk-usage
- 坑点:修改配置后需重启 systemd-journald 生效,重启会短暂中断日志接收;设置为
Storage=none后journalctl无法查询历史日志。
1.18 rsyslog 与 journald 的分工
- 全称:rsyslog 为 rocket-fast system for log(高速日志系统)的缩写,journald 取自 journal daemon(日志守护进程)
- 作用:说明两套日志机制的关系与选用依据
- 分工说明:
- systemd-journald 由 systemd 管理,接收内核消息、服务标准输出与 syslog 协议消息,使用二进制格式存储,通过
journalctl查询 - rsyslog 为传统 syslog 守护进程,从 journald 提供的套接字(/run/systemd/journal/syslog)读取消息,按设施与级别规则写入 /var/log/syslog、/var/log/auth.log 等文本文件
- systemd-journald 由 systemd 管理,接收内核消息、服务标准输出与 syslog 协议消息,使用二进制格式存储,通过
- 示例:
systemctl status systemd-journald
systemctl status rsyslog
grep -E "imuxsock|imjournal" /etc/rsyslog.conf /etc/rsyslog.d/*.conf
- 说明:文本日志便于
grep、awk处理与长期归档,journald 便于按单元、优先级与字段精确检索,两者互补;机制细节与写入规则见系统日志管理。
1.19 journald 持久化与容量治理
- 全称:journal daemon configuration(journal 守护进程配置)
- 作用:为日志设定单文件与总量上限,按保留天数反算磁盘占用,避免日志无限增长
- 两种存储位置的容量参数分工:
- /run/log/journal:内存文件系统,由 RuntimeMaxUse、RuntimeMaxFileSize、RuntimeMaxFiles 控制,重启后内容清空
- /var/log/journal:磁盘目录,由 SystemMaxUse、SystemMaxFileSize、SystemMaxFiles 控制,重启后仍保留
- 写入位置的判定规则与 Storage 取值见 1.17,目录是否存在决定实际落点
- Storage 取值取舍:
Storage=persistent:始终写入 /var/log/journal,目标目录不可写时降级为 volatile 并在自身日志中给出告警Storage=volatile:只写内存,适合日志已集中转发的节点,本地不留历史Storage=auto:按 /var/log/journal 是否存在自动选择,兼顾兼容性与磁盘占用,为发行版默认值
- 未在 1.17 列出的容量项:
SystemMaxFiles:/var/log/journal 中归档文件个数上限,默认 100,用于限制文件碎片化RuntimeMaxFiles:内存文件系统的归档个数上限,默认 100MaxRetentionSec:归档日志的最长保留时间,超期即删,默认 0 表示不按时间限制MaxFileSec:单个日志文件的最长覆盖时间,默认 1month,控制单个文件的轮转节奏
- 生效方式:写入 /etc/systemd/journald.conf 后执行
sudo systemctl restart systemd-journald生效;该重启只替换写入进程,已落盘的 .journal 文件不会被删除,因此重启 journald 不会丢失历史日志,与--vacuum-*的删除行为不同。 - 清理动作的差异:
--vacuum-size:按总量收敛,从最旧的归档开始删除,直到不超过给定值--vacuum-time:按时间边界删除,早于给定时间点的归档全部删除--vacuum-files:按个数收敛,只保留最新的指定个数归档文件--rotate:不删除任何内容,只把当前活动文件封存,使上述三种清理能覆盖到最新日志- 同时给出多个条件时,实际保留范围为各条件中最严格者
- 保留证据的注意事项:清理前先导出需要留存的区间到文本或外部存储,导出文件不受 journald 容量参数约束;需要长期留存的记录应通过 rsyslog 转发或集中采集保存,不依赖本地 journald。
- 容量规划:持久化日志的原始体积可用“单日日志量 × 保留天数”估算,journald 对 .journal 文件做压缩存储,实际占用通常为原始体积的 0.3 至 0.6,设置上限时留出约 20% 余量。
- 估算示例:某主机 journald 单日新增日志约 120M,要求本地保留 14 天。原始总量约 120M × 14 ≈ 1.7G,按 0.5 的压缩比估算实际占用约 850M,可设
SystemMaxUse=1G、SystemMaxFileSize=100M、SystemMaxFiles=20。 - 示例:
grep -E "^(Storage|SystemMaxUse|SystemMaxFileSize|SystemMaxFiles|RuntimeMaxUse|MaxRetentionSec)" /etc/systemd/journald.conf
journalctl --disk-usage
sudo journalctl --rotate
sudo journalctl --vacuum-files=20
- 坑点:SystemMaxFileSize 过小会产生大量归档文件,SystemMaxFiles 应不小于 SystemMaxUse 与 SystemMaxFileSize 的比值;只设置 SystemMaxUse 而不设 MaxRetentionSec 时,保留时间完全由日志量决定,日志量下降后保留期会相应变长。
二、传统日志文件
2.1 /var/log/syslog【Debian/Ubuntu 特有】
- 全称:system log(系统日志)
- 作用:rsyslog 写入的通用系统日志,记录服务启停、计划任务触发等消息
- 示例:
sudo tail -n 30 /var/log/syslog
sudo grep -i "error" /var/log/syslog | tail -n 20
- 坑点:文件属组为 adm,权限为 640,普通用户无读取权限,需
sudo或加入 adm 组;RHEL 系对应文件为 /var/log/messages。
2.2 /var/log/auth.log【Debian/Ubuntu 特有】
- 全称:authentication log(认证日志)
- 作用:记录登录、认证、sudo 提权、SSH 会话等安全事件,由 rsyslog 的 authpriv 设施写入
- 示例:
sudo tail -n 30 /var/log/auth.log
sudo grep "Failed password" /var/log/auth.log | tail -n 20
- 说明:fail2ban 的 sshd 防护默认监控该文件;RHEL 系对应文件为 /var/log/secure。
2.3 /var/log/kern.log
- 全称:kernel log(内核日志)
- 作用:记录内核消息,与
dmesg、journalctl -k来源相同 - 示例:
sudo grep -i "I/O error" /var/log/kern.log | tail -n 20
sudo grep -iE "EXT4-fs error|read-only" /var/log/kern.log | tail -n 20
- 坑点:rsyslog 未运行时该文件不更新,内核消息只存在于 journald 中,排查时两处都要确认。
2.4 /var/log/dpkg.log
- 全称:Debian package log(Debian 软件包日志)
- 作用:记录 dpkg 层面的软件包安装、升级、卸载动作
- 示例:
grep " install " /var/log/dpkg.log | tail -n 20
grep "2026-09-16" /var/log/dpkg.log | head -n 20
- 说明:只记录包动作摘要,命令执行的完整输出在 /var/log/apt/term.log;历史文件由 logrotate 轮转并以 .gz 结尾。
2.5 /var/log/apt/history.log
- 全称:APT history log(APT 历史日志)
- 作用:记录 apt 命令的执行时间、执行用户、命令行参数与本次变更的软件包清单
- 示例:
tail -n 40 /var/log/apt/history.log
zgrep "Commandline" /var/log/apt/history.log.*.gz | tail -n 10
- 说明:回滚或审计软件变更时以该文件的 Start-Date、Commandline、Install、Upgrade、Remove 字段为准。
2.6 /var/log/btmp 与 lastb
- 全称:btmp 取自 bad temporary(失败登录记录);lastb 取自 last bad(列出失败登录)
- 作用:btmp 为二进制文件,记录失败登录尝试,使用
lastb读取 - 示例:
sudo lastb | head -n 20
sudo lastb -n 20
- 坑点:btmp 为二进制格式,直接
cat无法阅读;默认权限为 660 root:utmp,需sudo;文件持续增长会影响登录速度,应确认 logrotate 的 /etc/logrotate.d/btmp 配置存在。
2.7 /var/log/wtmp 与 last
- 全称:wtmp 取自 who temporary(登录记录);last 取自 last logged in(列出登录历史)
- 作用:wtmp 为二进制文件,记录登录、注销、关机与重启事件,使用
last读取 - 示例:
last -n 20
last -x reboot
who
w
- 说明:当前在线用户的记录在 /var/run/utmp,用
who或w查看;last -x会额外显示关机与运行级别切换事件,字段含义与普通登录行不同。
2.8 lastlog
- 全称:last login log(最近登录记录)
- 作用:读取 /var/log/lastlog,显示每个账户最近一次登录的时间与来源
- 常用参数:
-u指定用户 - 示例:
lastlog | head -n 20
lastlog -u <用户>
- 说明:该文件为稀疏文件,
ls -l显示的体积远大于实际占用;账户维度的判定标准(系统账户与普通用户的差异)见主机加固与登录安全。
2.9 tail -f 与 tail -F
- 全称:tail 非缩写,取"尾部"之意;
-f取自 follow(跟随),-F为跟随并重试 - 作用:实时跟踪日志文件新增内容
- 示例:
tail -f /var/log/syslog
tail -F /var/log/nginx/access.log
tail -Fn 50 /var/log/auth.log
- 坑点:
-f依据文件描述符跟踪,日志轮转后原文件被重命名会导致跟踪失效;-F按文件名重新打开,轮转后仍能继续跟踪,长期跟踪应使用-F。
2.10 grep 与 awk 组合过滤日志
- 全称:grep 取自 global regular expression print(全局正则表达式打印);awk 取自三位作者姓氏 Aho、Weinberger、Kernighan
- 作用:从文本日志中提取、统计关键信息
- 常用参数:
grep -i:忽略大小写grep -c:统计匹配行数grep -v:反向选择不匹配的行grep -E:使用扩展正则表达式grep -oE:只输出匹配的片段awk -F:指定字段分隔符
- 示例:
sudo grep -c "Failed password" /var/log/auth.log
sudo grep "Failed password" /var/log/auth.log | head -n 2
sudo grep "Failed password" /var/log/auth.log | awk '{print $(NF-3)}' | sort | uniq -c | sort -nr | head
sudo grep -oE "([0-9]{1,3}\.){3}[0-9]{1,3}" /var/log/auth.log | sort | uniq -c | sort -nr | head
- 坑点:
awk按位置取字段依赖日志格式,取列前先用head查看原始行确认字段位置;grep按行匹配,正则元字符需转义,统计类输出先uniq -c再排序可避免信息过载。
2.11 zgrep
- 全称:非缩写,取"gzip 压缩文件的 grep"之意
- 作用:直接在 gzip 压缩的日志文件上执行匹配,无需先解压
- 常用参数:
-i、-c、-l(只列出文件名)、-h(不输出文件名) - 示例:
zgrep -i "error" /var/log/syslog.2.gz
zgrep -c "Failed password" /var/log/auth.log.*.gz
zcat /var/log/syslog.1.gz | tail -n 20
- 说明:同类工具还有 zcat、zless,bzip2 压缩文件使用 bzgrep,xz 压缩文件使用 xzgrep。
- 坑点:归档文件的扩展名取决于 logrotate 的 compress 与 delaycompress 配置,可能是 .gz,也可能是 .1 等未压缩编号文件,处理前先用
ls /var/log确认。
2.12 journalctl 与文本日志的取舍
- 全称:journal control(日志控制)
- 作用:说明排障时选择日志来源的依据
- 对比说明:
- journalctl:按单元、优先级、时间与字段过滤,查询精确;依赖 systemd-journald 运行,二进制格式不便于外部采集
- 文本日志:可用 grep、awk、zgrep 处理,便于长期归档与跨主机比对;依赖 rsyslog 运行,格式由各服务自行定义
- 示例:
journalctl -u ssh --since today --no-pager
sudo grep "sshd" /var/log/auth.log | tail -n 20
- 说明:同一事件通常在两处都有记录,定位单个服务故障优先用
journalctl -u,做批量统计或历史比对时用文本日志更直接。
三、日志写入与轮转
3.1 logger
- 全称:非缩写,"记录日志"之意
- 作用:向系统日志写入自定义消息,常用于脚本与日志链路测试
- 常用参数:
-p:指定设施与级别-t:指定标签,作为消息前缀-i:附带进程号-s:同时输出到标准错误-f:从文件读取内容写入日志
- 示例:
logger -t backup "备份任务开始"
logger -p local0.info -t myapp "服务启动完成"
logger -i -t deploy "发布流程结束"
- 说明:消息交给 syslog 套接字,由 systemd-journald 接收,再经 rsyslog 按设施写入对应文本日志;写入后可用
journalctl -t myapp -n 5与sudo grep myapp /var/log/syslog验证。
3.2 logger -p(设施与级别)
- 全称:priority(优先级)
- 作用:控制消息归属的设施与严重级别,决定消息写入哪个文本日志
- 常用设施:auth、authpriv、cron、daemon、kern、lpr、mail、news、syslog、user、local0 至 local7
- 常用级别:emerg、alert、crit、err、warning、notice、info、debug
- 示例:
logger -p cron.info -t job "定时任务手动触发"
logger -p local3.err -t app "写入失败"
logger -p authpriv.warning -t security "检测到异常登录尝试"
sudo grep security /var/log/auth.log | tail -n 5
- 坑点:设施或级别名写错时 logger 直接报错;自定义应用的日志建议使用 local0 至 local7,避免占用系统设施;authpriv 设施的消息进入 /var/log/auth.log。
3.3 systemd-cat
- 全称:systemd concatenate(把输出连接到 journal)
- 作用:把命令的标准输出与标准错误写入 journald,不经过 rsyslog
- 常用参数:
-t指定标签,-p指定优先级 - 示例:
echo "构建完成" | systemd-cat -t build
systemd-cat -t myapp -p err /usr/local/bin/check.sh
journalctl -t myapp -n 20
- 说明:systemd-cat 写入的消息只在 journald 中,按标签用
journalctl -t查询;需要文本日志时改用 logger 或将输出重定向到文件。
3.4 logrotate 配置文件结构
- 全称:log rotate(日志轮转)
- 作用:按周期归档、压缩与清理日志文件
- 结构说明:
- 主配置 /etc/logrotate.conf:定义全局默认值,并通过
include /etc/logrotate.d引入子配置 - 子配置 /etc/logrotate.d/:每个应用一个文件,子配置中的参数覆盖主配置同名参数
- 状态文件 /var/lib/logrotate/status:记录各日志上次轮转时间
- 触发方式:由 logrotate.timer 定时执行,也可由 /etc/cron.daily/logrotate 触发
- 主配置 /etc/logrotate.conf:定义全局默认值,并通过
- 示例:
cat /etc/logrotate.conf
ls /etc/logrotate.d/
systemctl list-timers logrotate.timer
- 坑点:未在子配置中定义的参数继承主配置;同一路径出现在多个配置文件时后加载者生效,自定义文件建议使用可辨识的文件名,避免与软件包自带文件冲突。
3.5 logrotate 常用指令
- 全称:log rotate(日志轮转)
- 作用:在配置块中定义轮转策略
- 常用指令:
daily:每天轮转,另有 weekly、monthly、yearlyrotate 7:保留 7 份归档,超出部分删除size 100M:日志超过该体积时轮转compress:归档文件使用 gzip 压缩delaycompress:最近一份归档暂不压缩,下次轮转时再压缩missingok:日志文件不存在时不报错notifempty:日志为空时不轮转create 0640 root adm:轮转后创建新文件并指定权限与属主属组copytruncate:先复制内容为归档再截断原文件,进程无需重新打开文件postrotate ... endscript:轮转后执行的命令,通常用于通知服务重新打开日志dateext:归档文件名使用日期后缀su root adm:以指定用户和组执行轮转
- 示例:
/var/log/myapp/app.log {
daily
rotate 7
compress
delaycompress
missingok
notifempty
create 0640 root adm
postrotate
systemctl reload myapp > /dev/null 2>&1 || true
endscript
}
- 说明:系统日志的轮转由 /etc/logrotate.d/rsyslog 定义,postrotate 中调用 rsyslog 自带的轮转脚本通知服务重新打开文件;参数取舍与场景分析见logrotate 日志轮转。
- 坑点:
create与copytruncate应二选一,同时配置时行为不确定;create指定的属主属组必须与写入日志的进程一致,否则轮转后进程无法写日志。
3.6 logrotate -d
- 全称:debug(调试)
- 作用:模拟执行并输出将要进行的动作,不实际修改日志文件
- 示例:
sudo logrotate -d /etc/logrotate.conf
sudo logrotate -d /etc/logrotate.d/nginx 2>&1 | head -n 40
- 坑点:
-d输出内容较多,建议配合head、grep查看;输出中出现 error、skipping、not rotated 等关键字说明该配置未按预期生效,需要针对性排查。
3.7 logrotate -f
- 全称:force(强制)
- 作用:忽略时间间隔与状态文件记录,立即执行一次轮转
- 常用参数:
-f强制,-v显示详细过程 - 示例:
sudo logrotate -vf /etc/logrotate.d/nginx
ls -l /var/log/nginx/
- 坑点:强制轮转会改变归档编号并更新状态文件,连续执行会快速消耗保留份数;验证配置正确性应先用
-d。 - 高危 提醒:logrotate 配置错误会导致日志停止写入。常见错误包括 create 的属主属组与进程运行用户不一致、copytruncate 与 create 同时配置、postrotate 中的命令失败未加容错、路径写错导致文件被跳过。防护建议为修改后先执行
sudo logrotate -d <配置文件>检查,再对单个文件sudo logrotate -vf <配置文件>验证,并立即用tail -n 5 <日志路径>与systemctl status <服务名>确认进程仍在正常写入。
3.8 日志轮转不生效的常见原因
- 全称:log rotate(日志轮转)
- 作用:排查日志未按预期轮转的问题
- 常见原因:
-
- 配置文件存在语法错误,logrotate 直接跳过整个文件
-
- 配置中的日志路径与实际路径不一致,或上级目录不存在
-
- 未满足触发条件,如日志为空且配置了
notifempty、日志体积未达到size设定值
- 未满足触发条件,如日志为空且配置了
-
- 状态文件 /var/lib/logrotate/status 中的上次轮转时间未到下一个周期
-
- 定时触发未运行,如 logrotate.timer 未启用或 /etc/cron.daily 未被执行
-
create指定的属主属组错误,轮转后新文件创建失败
-
- 服务未重新打开日志文件,日志继续写入已归档的文件
-
- 示例:
sudo logrotate -d /etc/logrotate.conf 2>&1 | grep -i error
cat /var/lib/logrotate/status | head
systemctl list-timers logrotate.timer
sudo tail -n 20 /var/log/syslog
- 说明:配置文件的默认值与参数含义详见logrotate 日志轮转。
四、审计 auditd
4.1 auditctl
- 全称:audit control(审计控制)
- 作用:管理与查看内核审计规则
- 常用参数:
-w:监控文件或目录-p:指定监控的访问类型-a:向指定链表追加规则-k:为规则设置关键字,便于检索-l:列出当前规则-D:删除全部规则-s:查看审计子系统状态
- 示例:
sudo auditctl -s
sudo auditctl -l
- 说明:
auditctl添加的规则只存在于内存,重启后失效,持久化需写入 /etc/audit/rules.d/。
4.2 auditctl -w 监控文件
- 全称:watch(监视)
- 作用:对指定文件或目录的访问行为生成审计记录
- 示例:
sudo auditctl -w /etc/passwd -p wa -k passwd_change
sudo auditctl -w /etc/sudoers -p wa -k sudoers_change
sudo auditctl -w /etc/ssh/sshd_config -p wa -k ssh_config
sudo auditctl -l
- 坑点:
-w作用于目录时只覆盖该目录层级内的对象,需要精确监控时逐文件添加;监控项过多会显著增加审计日志量与磁盘写入。
4.3 auditctl -p 权限过滤
- 全称:permissions(权限)
- 作用:限定监控的访问类型,取值可组合
- 取值说明:
r:读取w:写入x:执行a:修改属性,如权限、属主、时间戳
- 示例:
sudo auditctl -w /etc/hosts -p wa -k hosts_change
sudo auditctl -w /usr/bin/curl -p x -k curl_exec
- 说明:监控文件内容与属性变动用
wa,监控命令执行用x;不写-p时默认监控所有访问类型。
4.4 auditctl -a always,exit 系统调用审计
- 全称:append(追加),always 与 exit 为动作与时机参数
- 作用:按系统调用添加审计规则,常用于记录命令执行与文件删除行为
- 语法说明:
-a 动作,时机 -F 过滤条件 -S 系统调用名 -k 关键字,动作常用 always,时机常用 exit 表示系统调用退出时记录 - 示例:
sudo auditctl -a always,exit -F arch=b64 -S execve -F auid>=1000 -k exec_cmd
sudo auditctl -a always,exit -F arch=b64 -S unlink,unlinkat -F auid>=1000 -k file_delete
sudo auditctl -l | tail -n 5
- 坑点:execve 审计会产生大量记录,影响磁盘占用与性能,应通过
-F条件收窄范围;-F auid>=1000用于排除系统服务自身产生的记录。
4.5 auditctl -l
- 全称:list(列出)
- 作用:列出当前生效的全部审计规则
- 示例:
sudo auditctl -l
sudo auditctl -l | grep passwd
- 说明:
-l显示的是运行时规则,不含 /etc/audit/rules.d/ 中尚未加载的内容。
4.6 auditctl -D
- 全称:delete(删除)
- 作用:删除当前全部审计规则
- 示例:
sudo auditctl -l > /root/audit_rules_backup_$(date +%F).txt
sudo auditctl -D
sudo auditctl -l
- 高危 提醒:
auditctl -D清空审计规则后,文件改动、命令执行等行为不再产生审计记录,安全事件无法追溯。防护建议为执行前先导出当前规则(sudo auditctl -l > /root/audit_rules_backup_$(date +%F).txt),确认无并行审计需求,并记住恢复方式为sudo augenrules --load重新加载 /etc/audit/rules.d/ 中的规则。
4.7 ausearch
- 全称:audit search(审计检索)
- 作用:检索审计日志中的记录
- 常用参数:
-k:按规则关键字检索-m:按消息类型检索,如 USER_LOGIN、USER_AUTH、EXECVE、CONFIG_CHANGE、SYSCALL-ts与-te:指定起止时间,支持 now、recent、today、yesterday、boot 或 mm/dd/yyyy HH:MM:SS-i:把数值型字段解释为可读文本-f:按文件路径检索
- 示例:
sudo ausearch -k passwd_change -i
sudo ausearch -m USER_LOGIN -ts today
sudo ausearch -k exec_cmd -ts recent | head -n 40
- 坑点:
-ts today等相对时间的解释依赖系统时区,跨天范围或需要精确时间点时显式写出日期;记录中的 uid、gid、arch 默认是数值,加-i便于阅读。
4.8 aureport
- 全称:audit report(审计报告)
- 作用:把审计记录汇总为统计报告
- 常用参数:
--summary:总体概览-au:认证事件报告-l:登录事件报告-x:可执行命令报告-f:文件访问报告-ts、-te:限定时间范围
- 示例:
sudo aureport --summary
sudo aureport -au -ts today
sudo aureport -f -i | head -n 20
- 说明:
aureport适合快速判断是否存在异常登录与异常文件访问,具体细节仍需用ausearch查看原始记录。
4.9 /etc/audit/rules.d/ 规则持久化
- 全称:audit rules directory(审计规则目录)
- 作用:保存开机自动加载的审计规则,避免重启后规则丢失
- 使用方式:
- 把规则写入 /etc/audit/rules.d/ 下的 .rules 文件,例如 audit.rules
- 执行
sudo augenrules --load合并并加载规则 - 用
sudo auditctl -l确认规则已生效
- 示例:
sudo tee /etc/audit/rules.d/audit.rules <<'EOF'
-w /etc/passwd -p wa -k passwd_change
-w /etc/sudoers -p wa -k sudoers_change
-a always,exit -F arch=b64 -S execve -F auid>=1000 -k exec_cmd
EOF
sudo augenrules --load
sudo auditctl -l | tail -n 10
- 说明:
augenrules会把目录下的多个规则文件按名称顺序合并到 /etc/audit/audit.rules,因此规则文件不应手工改名后再单独编辑合并结果;如需启用规则不可变模式,可在规则末尾加入-e 2,此后修改规则必须重启。 - 坑点:
-e 2会使运行时无法再通过auditctl增删规则,调试阶段不建议启用。
4.10 auditd 与 journald 的关系及日志位置
- 全称:audit daemon(审计守护进程)
- 作用:说明审计日志的存放位置与查询方式
- 要点说明:
- auditd 运行时的记录写入 /var/log/audit/audit.log,路径由 /etc/audit/auditd.conf 中的
log_file指定 - 审计记录同时以内核消息形式进入 journald,可用
journalctl -k --since today | grep -i audit查看部分内容,完整内容以 audit.log 为准 - 日志轮转由 /etc/audit/auditd.conf 中的
max_log_file、num_logs、max_log_file_action控制,不由 logrotate 管理 - 服务状态用
systemctl status auditd查看,Ubuntu 需sudo apt install auditd安装
- auditd 运行时的记录写入 /var/log/audit/audit.log,路径由 /etc/audit/auditd.conf 中的
- 示例:
sudo systemctl status auditd
sudo tail -n 20 /var/log/audit/audit.log
sudo grep -E "max_log_file|num_logs|max_log_file_action" /etc/audit/auditd.conf
- 说明:未安装或未运行 auditd 时,内核审计消息由 journald 记录,检索方式与 audit.log 不同。
4.11 auditd 生产规则与容量治理
- 全称:audit daemon(审计守护进程)
- 作用:把常用监控规则固化为永久规则,并为审计日志设置缓冲、轮转与阈值策略,避免规则过宽导致日志暴涨
- 规则永久化流程:
- 规则按用途拆分为多个文件写入 /etc/audit/rules.d/,文件名加数字前缀控制加载顺序,例如 10-identity.rules、20-privileged.rules、30-exec.rules
- 文件内使用与 auditctl 相同的规则语法,去掉 auditctl 命令前缀,逐行书写
- 执行
sudo augenrules --load合并到 /etc/audit/audit.rules 并加载 - 用
sudo auditctl -l确认运行时规则与文件内容一致 - 用
sudo ausearch -k <关键字> -ts recent验证记录可检索
- 规则示例(身份与提权文件监控):
sudo tee /etc/audit/rules.d/10-identity.rules <<'EOF'
-w /etc/passwd -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/group -p wa -k identity
EOF
sudo tee /etc/audit/rules.d/20-privileged.rules <<'EOF'
-w /etc/sudoers -p wa -k privileged
-w /etc/sudoers.d/ -p wa -k privileged
-a always,exit -F arch=b64 -S setuid,setgid -F auid>=1000 -k privileged
EOF
sudo augenrules --load
sudo auditctl -l
- 命中授权的规则会影响所有用户,
-F条件的组合方式与系统调用规则的写法见 4.4,规则范围决定日志量,收窄条件是控制容量最直接的手段。 - 缓冲区与失败模式:
auditctl -b <数量>:设置内核审计缓冲区的最大积压数量,缓冲区用尽后事件按失败模式处理,当前值可用auditctl -s查看 backlog_limit 字段auditctl -f <模式>:缓冲区溢出时的动作,0 为 silent(静默丢弃)、1 为 printk(打印告警到内核日志)、2 为 panic(触发内核 panic),生产环境常用 1- 高并发主机开启 execve 审计时,事件产生速度可能超过磁盘写入速度,应同时提高缓冲区上限并放宽秒级处理量阈值
- /etc/audit/auditd.conf 的容量与阈值项:
max_log_file:单个 audit.log 的体积上限,单位 MBnum_logs:归档份数,总占用约为 max_log_file × (num_logs + 1)max_log_file_action:达到上限的动作,rotate 为轮转并删除最旧归档,keep_logs 为轮转但不删除,suspend 为停止写日志,生产环境常用 rotatespace_left与space_left_action:剩余空间降至该阈值(MB)时执行的动作,常用 syslog 或 email,属于预警层admin_space_left与admin_space_left_action:更低的阈值与动作,常用 single 或 halt,属于最后防线disk_full_action:磁盘写满时的动作,常用 single 或 halt,避免审计记录静默丢失
- 规则过多导致日志暴涨与性能下降的处理:用
aureport --summary与ausearch -m SYSCALL -ts today统计各规则的命中量,定位高产规则;对高产规则增加-F条件(auid、uid、exe、path、key)收窄范围,或改为按目录监控;只读挂载路径与高频临时目录应排除,不必逐文件监控。 - 审计日志集中转发的思路:通过 /etc/audit/plugins.d/ 下的 audisp 插件把记录转发到远程 syslog 或采集端,也可由 rsyslog 读取 /var/log/audit/audit.log 后转发;集中侧负责长期留存与跨主机关联,本地 num_logs 可相应减少,但本地仍需保留满足事后即时排查的份数。
- 重启后的加载顺序与验证:开机由 auditd 服务调用 augenrules 按文件名字典序加载 /etc/audit/rules.d/ 内容,因此前缀数字决定优先级;验证顺序为
systemctl status auditd、sudo auditctl -l、sudo ausearch -k <关键字> -ts recent。 - 示例:
sudo systemctl status auditd
sudo auditctl -s
sudo grep -E "max_log_file|num_logs|max_log_file_action|space_left_action" /etc/audit/auditd.conf
sudo ausearch -k identity -ts recent | head -n 20
- 坑点:规则文件中的路径不存在时加载不会报错,但内核匹配不到该对象,容易误判为规则未生效;
max_log_file_action设为 keep_logs 时归档不会删除,需另行监控磁盘;admin_space_left_action=halt与-f 2都会造成服务或主机中断,仅在合规要求强制留存全部审计记录时使用。 - 高危 提醒:审计规则范围过宽会同时导致磁盘占满与系统性能下降,主机进入不可写状态后业务日志与审计记录一并丢失。防护建议为规则上线前在测试机估算日志增量,配置 max_log_file 与 num_logs 控制总量,并用 space_left_action 设置提前预警,避免依赖 disk_full_action 被动止损。
五、高危命令与常见坑点汇总
5.1 高危命令
以下命令或操作影响范围大且多数不可逆,执行前必须确认目标与影响面:
| 命令 | 风险 | 防护建议 |
|---|---|---|
journalctl --vacuum-size、--vacuum-time | 清掉仍需保留的历史日志,审计线索丢失 | 先 --disk-usage 评估并导出关键区间,再执行清理 |
logrotate 配置错误 | 日志停止写入或停止轮转,服务排障依据缺失 | 先 logrotate -d 检查,再单文件 -f 验证并确认进程仍可写 |
auditctl -D | 清空全部审计规则,文件改动与命令执行无法追溯 | 先 auditctl -l 导出;事后用 augenrules --load 恢复 |
auditctl -a ... -S execve | 规则范围过宽导致审计日志暴涨、磁盘占满 | 用 -F 收窄范围;配置 auditd 的 max_log_file 与 num_logs |
rm 删除正在写入的日志文件 | 空间不释放且日志内容丢失,事后排障依据缺失 | 先 lsof +L1 确认占用来源,改用 truncate -s 0 或由 logrotate 切割 |
5.2 常见坑点
journalctl默认进入分页器,脚本与管道场景需加--no-pager- 普通用户无法读取 /var/log/syslog 与 /var/log/auth.log,需
sudo或加入 adm 组 journalctl -p err输出的是该级别及更严重的记录,容易误判数量- journald 历史日志需要 /var/log/journal 目录存在才会持久化
journalctl -g依赖 systemd 版本,老版本需改用greptail -f在日志轮转后失效,长期跟踪应使用tail -F- btmp、wtmp、lastlog 为二进制文件,不能直接用
cat查看 awk按字段位置取列依赖日志格式,取列前先查看原始行- 轮转后的日志可能是 .gz,也可能是 .1 等未压缩编号文件,排查前先确认
- logrotate 子配置未定义的参数继承主配置
create与copytruncate不应同时配置- 服务未重新打开日志文件时,日志会继续写入已归档文件
size、notifempty与状态文件中的时间都会影响轮转是否触发auditctl添加的规则重启后失效,需写入 /etc/audit/rules.d/ausearch -ts的相对时间解释依赖系统时区- audit 规则过多会显著增加日志量与磁盘写入
- 内核与磁盘报错需对比时间点,dmesg、kern.log 与 journald 内容一致
df显示仍有剩余空间但df -i的 inode 已耗尽时,同样无法创建新文件- 已删除但仍被进程持有的文件不释放空间,需重启或 reload 对应进程
- 直接
rm正在写入的日志文件既不释放空间,也会丢失日志内容
5.3 日志暴涨导致磁盘打满的止损流程
按以下顺序执行,每步先判断再动手,避免误删仍需留存的日志。
第一步:判断耗尽的是空间还是 inode
df -hT
df -i
df -hT显示各文件系统的类型、容量与使用率,Use% 达到 100 说明空间耗尽df -i显示 inode 使用率,IUse% 达到 100 时即使仍有剩余空间也无法创建新文件,此时清理方向是减少文件数量而非腾出字节- 两种情况的后续动作不同:inode 耗尽多来自大量小文件与过细的轮转粒度,需要调整轮转参数而非单纯删除内容
第二步:定位占用目录
sudo du -xh --max-depth=1 / 2>/dev/null | sort -h | tail -n 10
sudo du -xh --max-depth=1 /var/log | sort -h | tail -n 10
sudo ncdu -x /var/log
du逐层下钻,-x限制在同一文件系统内,避免统计到挂载点ncdu提供交互式浏览,未安装时可用du逐层代替- 定位到具体服务目录后,比较各日志文件的体积与最近修改时间,判断增长最快的一方
第三步:找出已删除但仍被进程占用的文件
sudo lsof +L1
sudo lsof +L1 | awk '{print $1, $2, $7, $9}'
lsof +L1列出链接数为 0、即已被删除但句柄仍被进程持有的文件- 这类文件的空间只有进程退出或重新打开句柄后才会释放,
df与du统计值的差异常源于此 - 处理方式为重启或 reload 对应服务,不是再次删除文件
第四步:选择清理方式
- journald 日志:先用
journalctl --disk-usage评估,再按 1.19 中的清理动作处理 - 文本日志:用
sudo logrotate -vf <配置文件>触发一次轮转,配合compress释放空间,强制轮转的影响见 3.7 - 取舍原则:先处理体积大且可再生成的一方(访问类日志),保留审计类日志,auth.log 与 auditd 的 audit.log 需按合规要求留存
- 轮转与清理只作用于归档与文件边界,不改变正在写入的内容;需要立即腾空文件时应确认该文件可安全截断
第五步:临时止损与容量治理的先后
- 临时止损:在占用最大的目录上清理或轮转,释放空间使服务恢复写入,属于分钟级动作
- 恢复服务:确认相关进程仍在写入,必要时 reload 使其重新打开日志文件
- 长期治理:补齐轮转参数与容量上限,属于配置变更,应在服务恢复后执行
- 顺序不可颠倒:磁盘已满时修改配置并重启服务,进程可能因无法写入日志而启动失败,放大故障范围
第六步:不要直接删除正在写入的日志文件
- 进程持有文件描述符,
rm只删除目录项,空间不会释放,df的结果不变 - 直接删除同时丢掉日志内容,事后无法追溯故障过程
- 需要立即腾空文件时用
truncate -s 0 <文件>,或按第三步定位后重启对应进程;正规方式是由 logrotate 完成切割 - 高危 提醒:
rm或truncate -s 0作用于正在写入的日志文件会造成记录不可恢复地丢失,作用于数据库或服务的内部存储文件还可能造成数据损坏。防护建议为先导出需要留存的区间,确认目标为纯文本追加写入的日志后再处理,涉及数据库文件与 journal 二进制文件时交由对应服务自身管理。
第七步:止损后补齐的配置
- 文本日志:补齐
rotate份数、compress、maxsize,按写入量与保留天数估算,配置写法见logrotate 日志轮转 - journald:设置 SystemMaxUse、SystemMaxFileSize 与 MaxRetentionSec,见 1.19
- auditd:设置 max_log_file、num_logs 与 max_log_file_action,见 4.11
- 监控:增加磁盘空间与 inode 使用率告警,阈值参考 80%,告警内容包含占用最大的目录清单
六、命令全称对照表
| 命令 | 全称 | 含义 |
|---|---|---|
| journalctl | journal control | 查询 systemd 日志 |
| logger | 非缩写 | 向系统日志写入自定义消息 |
| systemd-cat | systemd concatenate | 把命令输出写入 journald |
| logrotate | log rotate | 日志轮转 |
| dmesg | display message | 显示内核环形缓冲区消息 |
| tail | 非缩写 | 查看文件末尾、跟踪新增内容 |
| grep | global regular expression print | 全局正则表达式打印 |
| awk | Aho、Weinberger、Kernighan | 文本字段处理 |
| zgrep | z + grep | 在压缩日志上执行匹配 |
| auditctl | audit control | 管理审计规则 |
| ausearch | audit search | 检索审计记录 |
| aureport | audit report | 生成审计报告 |
| augenrules | audit generate rules | 合并并加载审计规则 |
| df | disk free | 查看文件系统空间与 inode 使用率 |
| du | disk usage | 统计目录与文件占用空间 |
| ncdu | NCurses disk usage | 交互式分析磁盘占用 |
| lsof | list open files | 列出进程打开的文件与网络连接 |
七、快速检索清单
| 目标 | 命令 |
|---|---|
| 查看某服务最近日志 | journalctl -u <服务名> -n 20 |
| 实时跟踪服务日志 | journalctl -u <服务名> -f |
| 查看本次启动的错误日志 | journalctl -b -p err |
| 查看上次启动日志 | journalctl -b -1 -n 50 |
| 查看内核日志 | journalctl -k -b |
| 按关键字搜索日志 | journalctl -g "关键字" --since today |
| 查看日志占用空间 | journalctl --disk-usage |
| 按体积清理日志 | sudo journalctl --vacuum-size=200M |
| 开启日志持久化 | sudo mkdir -p /var/log/journal 后重启 systemd-journald |
| 查看通用系统日志 | sudo tail -n 30 /var/log/syslog |
| 查看认证与登录日志 | sudo tail -n 30 /var/log/auth.log |
| 统计失败登录来源 | sudo grep "Failed password" /var/log/auth.log \| awk '{print $(NF-3)}' \| sort \| uniq -c \| sort -nr \| head |
| 查看压缩日志内容 | zgrep -i "error" /var/log/syslog.2.gz |
| 实时跟踪并兼容轮转 | tail -F /var/log/syslog |
| 写入一条测试日志 | logger -p local0.info -t test "hello" |
| 查看 logrotate 配置 | cat /etc/logrotate.conf 与 ls /etc/logrotate.d/ |
| 调试日志轮转 | sudo logrotate -d /etc/logrotate.conf |
| 强制轮转单个日志 | sudo logrotate -vf /etc/logrotate.d/<配置文件名> |
| 监控文件改动 | sudo auditctl -w /etc/passwd -p wa -k passwd_change |
| 检索审计记录 | sudo ausearch -k passwd_change -i |
| 查看审计规则 | sudo auditctl -l |
| 持久化审计规则 | 写入 /etc/audit/rules.d/ 后执行 sudo augenrules --load |
| 定位服务启动失败原因 | systemctl status <服务名> --no-pager 与 journalctl -u <服务名> -b |
| 排查磁盘与文件系统报错 | sudo dmesg -T \| grep -Ei "I/O error\|EXT4-fs error" |
| 判断空间与 inode 是否耗尽 | df -hT 与 df -i |
| 定位占用最大的目录 | sudo du -xh --max-depth=1 /var/log \| sort -h \| tail |
| 查找已删除但仍被占用的文件 | sudo lsof +L1 |
| 按保留时间清理 journald 日志 | sudo journalctl --vacuum-time=14d |
| 查看审计缓冲区与失败模式 | sudo auditctl -s |