内容总览
1. 什么是 logrotate
定义
logrotate 是 Linux 系统原生自带的日志轮转工具,无需额外安装,专门用于管理持续增长的日志文件,是服务器日志运维的核心工具。
核心作用
-
自动切割日志:按时间/大小拆分超大日志文件,避免单日志文件过大无法查看、分析
-
自动归档压缩:对历史日志压缩,节省磁盘空间
-
自动清理过期日志:保留指定数量日志,自动删除老旧归档,防止磁盘被日志占满
-
无业务中断:支持优雅轮转,无需频繁重启业务服务
工作核心原理
logrotate 不实时监控文件,依靠系统定时任务轮询执行;通过重命名旧日志、生成新空日志、执行后置脚本完成整套轮转逻辑。
2. 配置文件
2.1 全局主配置文件
/etc/logrotate.conf
系统全局默认配置,定义所有日志的通用规则(默认轮转周期、保留份数、压缩规则等),是所有日志轮转的基础配置。Ubuntu 下的默认内容如下:
# see "man logrotate" for details
# global options do not affect preceding include directives
# rotate log files weekly
weekly
# use the adm group by default, since this is the owning group
# of /var/log/syslog.
su root adm
# keep 4 weeks worth of backlogs
rotate 4
# create new (empty) log files after rotating old ones
create
# use date as a suffix of the rotated file
#dateext
# uncomment this if you want your log files compressed
#compress
# packages drop log rotation information into this directory
include /etc/logrotate.d
# system-specific logs may also be configured here.
逐项解读:
| 配置项 | 作用 | 说明 |
|---|---|---|
weekly | 轮转周期 | 默认每周轮转一次 |
su root adm | 权限切换 | 轮转后以 root:adm 身份创建新文件,确保进程有写入权限 |
rotate 4 | 保留份数 | 默认保留 4 份历史归档,超过的自动删除 |
create | 创建新文件 | 轮转后立即创建新的空日志文件,应用无需重启即可继续写入 |
#dateext | 日期后缀(被注释) | 默认不使用日期后缀,归档文件按数字编号(log.1、log.2) |
#compress | 压缩(被注释) | 默认不压缩归档文件 |
include /etc/logrotate.d | 包含子目录 | 将 /etc/logrotate.d/ 下所有配置文件加载进来执行 |
默认配置中两处被注释,属于常见的可优化点:
-
compress被注释:旧日志不会压缩,归档长期占用磁盘空间 -
dateext被注释:归档文件按数字编号(log.1、log.2),日期后缀(log-20260905)更易人工辨认
2.2 应用独立配置目录
/etc/logrotate.d/
存放各个业务、服务的独立日志轮转配置(Nginx、Docker、自定义项目、系统服务等)。目录内所有文件会被系统自动读取,无需手动引入。目录内容取决于系统上安装了哪些软件,例如:
alternatives apt btmp dpkg mysql-server ubuntu-pro-client unattended-upgrades
apport bootlog chrony fail2ban rsyslog ufw wtmp
生产最佳实践:一个服务/一类日志,单独一个配置文件,方便独立管理、排查问题。
常见配置文件与对应关系:
| 配置文件 | 对应应用/服务 | 作用说明 |
|---|---|---|
| alternatives | update-alternatives 系统工具 | 管理系统中同一命令的多个版本,记录其状态日志 |
| apport | Ubuntu 错误报告系统 | 记录应用程序崩溃时的错误报告 |
| apt | APT 包管理器 | 记录 apt install/update/upgrade 等操作的日志 |
| bootlog | 系统启动日志 | 记录系统启动过程中的信息(/var/log/boot.log) |
| btmp | 系统认证日志 | 记录失败的登录尝试,用于安全审计 |
| chrony | 时间同步服务 | 系统时间同步的日志 |
| dpkg | Debian 包管理器底层工具 | 记录软件包安装/卸载的详细日志 |
| fail2ban | 入侵防御软件 | 扫描日志并封禁恶意 IP |
| mysql-server | MySQL 数据库 | MySQL 的 error log、slow query log 等 |
| rsyslog | 系统日志服务 | 核心日志收集服务,管理 /var/log/syslog、/var/log/auth.log 等 |
| ubuntu-pro-client | Ubuntu Pro 客户端 | Ubuntu 付费扩展安全维护服务的客户端日志 |
| ufw | 防火墙 | Ubuntu 自带简化防火墙日志 |
| unattended-upgrades | 自动安全更新工具 | 记录系统自动安装的安全补丁日志 |
| wtmp | 系统用户登录历史 | 记录所有用户的登录/注销/重启等事件 |
应用安装后是否自动生成该配置,分三类情况:
- 通过系统包管理器安装的主流服务:自动生成。
apt install nginx或yum install httpd时,包管理器自动将配置文件放入/etc/logrotate.d/ - 通过源码编译、二进制包解压、容器化方式安装的应用:不会自动生成,需手动创建配置
- 自带轮转机制的应用:可能不会。如 Elasticsearch 等应用内置日志滚动策略,不依赖系统 logrotate
2.3 配置优先级与覆盖规则
独立配置(logrotate.d 下文件) > 全局配置(logrotate.conf)
子配置中定义的参数会覆盖全局默认参数,未定义的参数自动继承全局配置。
覆盖细节:
-
若自定义文件和默认文件都定义了
rotate,则后加载的生效 -
logrotate 按字母顺序加载文件,需要自定义覆盖默认时,可给文件起靠后的名字(如
zzz-nginx-custom) -
更稳妥的做法:在自定义文件中写完整路径与全部参数,将默认文件删除、注释或移走备份
2.4 默认配置与自定义配置的三种选择
直接使用自动生成的默认配置
适用场景:默认策略(如每周轮转、保留 4 周)已满足需求,无需任何操作。
cat /etc/logrotate.d/nginx
直接修改默认配置文件
适用场景:默认策略不满足,需调整轮转频率或保留份数。
sudo vim /etc/logrotate.d/nginx
注意:应用通过包管理器升级时,此类修改可能被覆盖(提示保留原配置或用新配置),不推荐用于生产环境。
自定义独立文件
适用场景:保留默认配置不动,或同一应用需要多个独立轮转规则。
sudo vim /etc/logrotate.d/nginx-custom
内容示例:
/var/log/nginx/access.log {
daily
rotate 30
compress
delaycompress
}
验证最终生效的配置:
sudo logrotate -d /etc/logrotate.conf | grep -A 20 "日志路径"
3. 常用配置指令
整理生产最常用、最高频的配置参数,附带详细说明和标准示例,可直接复用:
| 指令 | 详细说明 | 使用示例 |
|---|---|---|
| daily/weekly/monthly | 轮转周期:按天/周/月切割日志,默认 daily | daily |
| rotate N | 最大保留 N 个归档日志,超出自动删除 | rotate 7(保留7天日志) |
| size N | 日志达到指定大小立刻触发轮转(优先级高于时间周期) | size 100M / size 2G |
| maxsize N | 兼顾时间+大小,超大小立即切,未超则按周期切 | maxsize 500M |
| compress | 开启 gzip 压缩归档日志,节省磁盘空间 | compress |
| delaycompress | 延迟压缩:本次轮转日志不压缩,下次轮转再压缩,避免进程占用文件报错 | delaycompress |
| missingok | 日志文件不存在时,不报错、不中断轮转任务 | missingok |
| notifempty | 日志文件为空时,跳过本次轮转,避免生成无效空归档 | notifempty |
| create | 轮转后新建空日志文件,可指定权限、属主、属组 | create 0644 root root |
| copytruncate | 复制日志后清空原文件,无需重启服务(适配Java、Docker日志) | copytruncate |
| dateext | 归档日志添加日期后缀,替代默认数字后缀,可读性更强 | dateext |
| postrotate/endscript | 日志轮转完成后,执行自定义脚本(重载服务、发信号等) | postrotate 重载nginx endscript |
4. 配置示例
4.1 Nginx 日志轮转(物理机/虚拟机 首选)
路径:/etc/logrotate.d/nginx,采用 rename+信号重载,零日志丢失
/var/log/nginx/*.log {
daily
rotate 30
compress
delaycompress
dateext
missingok
notifempty
create 0640 nginx nginx
sharedscripts
postrotate
kill -USR1 $(cat /run/nginx.pid) > /dev/null 2>&1 || true
endscript
}
4.2 Tomcat 日志轮转
路径:/etc/logrotate.d/tomcat,Tomcat 不支持热重载日志,使用 copytruncate 模式
/usr/local/tomcat/logs/*.log {
daily
maxsize 300M
rotate 15
compress
delaycompress
dateext
missingok
notifempty
copytruncate
}
4.3 SpringBoot 项目日志轮转
路径:/etc/logrotate.d/spring-app,Java 进程不响应日志信号,必须使用 copytruncate
/home/app/logs/*.log {
daily
maxsize 500M
rotate 15
compress
delaycompress
dateext
missingok
notifempty
copytruncate
su app app
}
4.4 Docker 容器日志轮转
路径:/etc/logrotate.d/docker-log,Docker 原生不支持重载日志,强制 copytruncate
/var/lib/docker/containers/*/*-json.log {
daily
size 200M
rotate 7
compress
delaycompress
missingok
copytruncate
}
4.5 Docker 日志管理方案对比与原生配置
Docker 默认使用 json-file 日志驱动,不自动清理或轮转容器日志,日志持续增长直至占满磁盘;日志存储于 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log,不在 logrotate 默认管理范围。
| 方案 | 核心思路 | 优点 | 缺点/前提 |
|---|---|---|---|
| Docker 原生方案(推荐) | 配置 Docker 日志驱动参数(max-size、max-file) | 简单直接,由 Docker 自身管理 | 需配置 Docker Daemon 或在 docker run 时指定参数 |
| 系统 logrotate 方案 | 手动创建 /etc/logrotate.d/docker 配置文件 | 若已熟悉 logrotate 可快速上手 | 非官方默认,需手动创建,建议使用 copytruncate |
Docker 原生配置方式,修改 /etc/docker/daemon.json:
{
"log-driver": "json-file",
"log-opts": {
"max-size": "10m",
"max-file": "3"
}
}
配置后需重启 Docker 服务生效。若使用 local 日志驱动,其默认已开启轮转。
启动单个容器时指定,仅限制 Docker 标准输出日志,对挂载的 Nginx 访问日志不适用:
docker run -v /host/path/logs:/var/log/nginx \
--log-opt max-size=10m \
--log-opt max-file=3 \
nginx
4.6 日志挂载到宿主机目录的场景
Docker 运行的服务(如 Nginx)通过 Volume 将日志挂载到宿主机目录时,推荐使用 copytruncate。
docker run -v /host/path/logs:/var/log/nginx nginx
容器内打开的 /var/log/nginx/access.log 对应宿主机 /host/path/logs/access.log。使用 create 时的问题:
- 宿主机上:
access.log被重命名为access.log.1 - 宿主机上:创建新的空
access.log(inode 变了) - 容器内的 Nginx 仍在往旧 inode 写数据,日志实际写入
access.log.1 - 下次轮转时,
access.log.1被重命名覆盖,日志丢失
除非在 postrotate 中执行 docker exec nginx容器名 nginx -s reopen,但这会增加复杂度和失败风险。
推荐配置模板(宿主机上 /etc/logrotate.d/nginx-docker):
/挂载路径/access.log
/挂载路径/error.log
{
daily
rotate 7
copytruncate
compress
delaycompress
missingok
notifempty
create 644 root root
}
参数说明:
| 参数 | 作用 |
|---|---|
daily | 每天轮转一次 |
rotate 7 | 保留 7 份历史归档 |
copytruncate | 复制后截断,容器内进程无感知 |
compress | 压缩归档文件 |
delaycompress | 上一次归档先不压缩,下次轮转时再压缩,配合 copytruncate 更安全 |
missingok | 日志文件不存在时不报错 |
notifempty | 日志为空时不轮转 |
注意事项:
-
日志路径使用宿主机上的绝对路径,非容器内路径
-
测试配置:
sudo logrotate -d /etc/logrotate.d/nginx-docker -
强制执行:
sudo logrotate -f /etc/logrotate.d/nginx-docker -
执行后检查容器内 Nginx 是否正常写入,以及宿主机上是否生成归档文件
5. 手动执行与调试命令
所有配置修改后,必须通过以下命令校验、测试,避免定时执行报错
5.1 调试模式
只模拟轮转、不实际操作文件,查看配置是否报错
logrotate -d /etc/logrotate.d/xxx
5.2 强制手动轮转
忽略时间/大小条件,立即执行一次完整轮转,可视化验证配置有效性
logrotate -vf /etc/logrotate.d/xxx
-f 单独使用时静默执行、无过程输出,排查问题应加 -v。
5.3 查看轮转状态
查看所有日志上次轮转时间,判断是否正常执行
cat /var/lib/logrotate/status
6. 常见问题与解决方案
6.1 日志没有自动轮转?
常见原因:
-
配置语法错误,定时执行失败(优先用
logrotate -d校验) -
未满足轮转条件(时间未到、日志大小未达标、空日志触发 notifempty)
-
日志文件权限不足,logrotate 无操作权限
解决:调试校验语法、核对轮转规则、修正日志文件权限。
6.2 轮转后服务依旧写入旧日志文件?
根本原因:默认 rename 模式下,进程持有旧文件 inode,未重新加载日志句柄。
解决:
-
Nginx/系统日志:在 postrotate 中发送日志重载信号
-
Java/Docker 日志:改用 copytruncate 模式,无需重载服务
6.3 日志轮转后磁盘空间仍然占满?
常见原因:
-
未开启 compress 压缩,归档日志占用空间大
-
rotate 保留份数过多,过期日志未清理
-
delaycompress 导致归档日志延迟压缩,短期空间无法释放
解决:开启压缩、减少保留份数、根据业务场景调整压缩策略。
6.4 轮转报错:文件不存在
解决:配置中添加 missingok,忽略不存在的日志文件,避免任务报错中断。
7. 生产环境知识点
7.1 两种轮转模式区分
logrotate 所有配置本质只有两种工作模式,其余坑点均来自模式误用。两个参数互斥,不能同时配置。
| 参数 | 操作方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| create | 1. 将旧日志重命名为归档文件 2. 创建全新的空日志文件 3. 应用需重新打开文件句柄 | 日志完整不丢失 | 应用必须支持信号重载或重启 | 支持信号重载的服务(Nginx、Apache、MySQL 等) |
| copytruncate | 1. 复制当前日志内容到归档文件 2. 立即截断原文件(inode 不变) 3. 应用文件句柄始终有效 | 应用无需重启或重载 | 复制和截断间可能丢失极少量日志 | 不支持信号重载的服务(某 Python/Java 应用、Docker 容器等) |
模式一:Rename + Create(默认模式)
-
执行逻辑:将当前日志重命名归档,再新建空白日志文件。
-
核心特点:零日志丢失、无 IO 压力、性能最优。
-
硬性要求:轮转后必须通知业务进程重新打开日志文件句柄(发送信号/重载服务),否则业务会持续写入旧的归档日志,新日志永久为空。
-
适用场景:Nginx、Rsyslog、MySQL 等支持日志热重载的服务。
-
禁止场景:Java 程序、Docker Json 日志(不支持日志重载信号)。
模式二:Copytruncate(复制截断模式)
-
执行逻辑:复制当前完整日志为归档文件,再清空原日志文件(inode 不变)。
-
核心特点:无需重启/重载服务,进程无感知,兼容性极强。
-
缺陷:大日志文件复制会产生瞬时 IO 压力;复制瞬间极少量并发日志存在丢失概率。
-
适用场景:SpringBoot/Tomcat 等 Java 应用、Docker 容器 json 日志、所有不支持日志重载的程序。
-
禁止搭配:不能与
create指令同时使用,配置冲突会导致轮转失效。
修改方式:全局默认值改 /etc/logrotate.conf,会影响所有未单独配置的应用;单个应用在 /etc/logrotate.d/ 下的子配置中指定即可,不影响其他服务。对支持信号重载的服务,create 更规范。
7.2 如何判断应用支持哪种方式
-
查文档或配置文件:Nginx 支持
nginx -s reopen,MySQL 支持mysqladmin flush-logs,rsyslog 支持kill -HUP -
观察日志文件行为:模拟 create 行为(
mv app.log app.log.old),看应用是否自动创建新文件并继续写入 -
用 lsof 查看文件句柄:
lsof | grep "日志文件名",若输出中有(deleted)标记,说明应用正在写已删除的文件,不支持重载
7.3 调度机制误区
logrotate 不是实时监控工具,所有轮转规则均依赖定时触发:
-
系统默认依赖
cron.daily每日执行一次,默认凌晨执行 -
配置
size/maxsize大小限制后,日志超限不会立刻切割,必须等待下一次定时任务执行 -
如需小时级、实时近效轮转,必须自定义 crontab 或 systemd timer 调度,不能依赖默认定时
7.4 生产环境禁忌与配置规范
-
禁忌1:禁止手动 mv 移动正在写入的日志文件,不做任何重载操作,必然导致日志写入旧文件
-
禁忌2:高并发Nginx服务禁止使用 copytruncate,会造成少量日志丢失、瞬时IO飙升
-
禁忌3:不要全局开启 `nocompress`,长期运行会导致磁盘日志堆积爆满
-
禁忌4:多个日志文件共用配置时,不加 `sharedscripts`,会导致每一个文件轮转都执行一次后置脚本,重复重载服务
-
规范1:所有自定义配置必须加 `missingok、notifempty`,避免空日志、缺失文件导致定时任务报错
-
规范2:线上业务统一加 `dateext`,放弃默认数字后缀,方便日志按日期排查归档
7.5 日志方案最佳选型
| 业务场景 | 最优方案 | 备选方案 |
|---|---|---|
| 物理机Nginx、系统日志 | 默认模式 + USR1信号重载 | 无(禁止copytruncate) |
| 支持信号重载(Nginx、Apache、MySQL、rsyslog 等) | create | 无 |
| Java SpringBoot/Tomcat | 应用内Logback/Log4j2自动轮转 | logrotate + copytruncate |
| 不支持重载、持续写入的自定义应用(Java/Python/Node.js 等) | copytruncate | 无 |
| Docker容器业务日志 | docker daemon.json 原生轮转 | logrotate + copytruncate |
| systemd托管服务日志 | journald 原生日志管理 | 无需logrotate |
| 不确定应用是否支持重载 | copytruncate(保守方案) | 无 |
7.6 状态文件作用与清理注意
/var/lib/logrotate/status 是 logrotate 核心状态文件,记录每一个日志文件的最后轮转时间,用于判断是否满足轮转周期。
注意事项:禁止手动删除/篡改该文件,否则会导致所有日志轮转规则错乱、重复轮转或不轮转;如需重置轮转记录,可执行 truncate -s 0 /var/lib/logrotate/status 清空。
7.7 自定义调度拓展(脱离系统默认cron)
默认每日一次无法满足高频轮转场景,可自定义独立调度,不影响系统全局配置:
1. 自定义配置文件存放任意路径(如 /opt/conf/app-log.conf)
2. 配置独立状态文件,避免与系统日志冲突
3. 通过 crontab 自定义执行周期,示例(每2小时执行一次):
0 */2 * * * /usr/sbin/logrotate -s /opt/conf/app.status /opt/conf/app-log.conf >/dev/null 2>&1
7.8 日志容量规划与轮转策略设计
按 severity 与业务用途分流
同一服务的日志按严重级别与用途拆到不同文件后,各文件才能使用不同的轮转参数:
| 日志类型 | 典型文件 | 写入量 | 价值衰减 | 轮转建议 |
|---|---|---|---|---|
| 访问类 | access.log | 大 | 快 | 短保留、强压缩、maxsize 兜底 |
| 错误类 | error.log | 小 | 慢 | 长保留、按 size 或 maxsize 触发 |
| 审计类 | auth.log、audit.log | 中 | 不衰减 | 保留期按合规要求,不参与激进清理 |
- 分流方式一:应用自身按级别输出到不同文件,如 Logback、Log4j2 的多 appender 配置
- 分流方式二:rsyslog 按 facility 与 severity 路由到不同文件,再分别为每个文件编写轮转配置
- 分流后不要用
*通配符统一配置,否则各文件无法使用不同的保留期与压缩策略
retention 份数与单文件大小的估算
估算公式:
保留期内的原始日志量 = 每日日志量 × 保留天数
归档实际占用 ≈ 保留期内的原始日志量 ÷ 压缩比
rotate 份数 ≈ 每日轮转次数 × 保留天数 + 1
计算示例:某服务每日产生 2G 日志,要求本地保留 14 天,gzip 实测压缩比约 8:1。
- 保留期内的原始日志量 = 2G × 14 = 28G
- 归档实际占用 ≈ 28G ÷ 8 = 3.5G
- 若设置
maxsize 512M,单日约产生 4 个归档,另加未轮转的活动文件 rotate份数 ≈ 4 × 14 + 1 = 57,取 60 留出余量- 该结果需与所在分区的可用空间核对,占用超过分区容量 50% 时应下调保留天数或提高压缩率
使用 size 或 maxsize 时,轮转次数由写入速度决定,不能按“保留天数”直接设置 rotate;仅按 daily 轮转时,rotate N 才等价于保留 N 天。
daily 与 size/maxsize 的组合选择
- 只写
daily:轮转由时间决定,写入量突增时单个文件可能远超预期,存在撑满磁盘的风险,适合写入量稳定的服务 - 只写
size:轮转由体积决定,日志稀疏时长期不轮转,归档长期停留在.1,也不带日期后缀,适合写入速率高、必须限制单文件体积的场景;size与时间周期互斥 daily+maxsize:以时间周期为主、体积兜底,达到maxsize时提前切割,未达到则按天切割,适合写入量波动明显的服务,为生产环境常用组合
磁盘占用与归档压缩比的实测方法
- 压缩比实测:取一份未压缩归档,统计压缩前后的体积并相除
ls -l /var/log/myapp/app.log.1
gzip -c /var/log/myapp/app.log.1 | wc -c
- 日志文本的 gzip 压缩比通常在 6:1 至 15:1 之间,重复度越高压缩比越大;JSON 结构化日志的压缩比通常低于纯文本访问日志
- 目录整体占用用下述命令测量,再与公式估算值对比
du -sh /var/log/myapp/
ls -lh /var/log/myapp/
- 偏差过大时依次核对:是否开启
compress、delaycompress是否使最近一份归档尚未压缩、rotate份数是否多于预期
logrotate 与 journald 的职责边界
/var/log/journal下的.journal二进制文件由 journald 自身管理容量与保留期,不交由 logrotate 处理;容量参数与清理命令见日志查询与审计命令- systemd 托管服务的日志优先使用 journald 原生配置;需要文本副本时由 journald 转发给 rsyslog,由 rsyslog 写入的文本日志仍按
/etc/logrotate.d/rsyslog轮转,两套机制各自管理自己的存储 - 由进程自行维护存储结构的日志(journal 文件、数据库内部段文件)不应使用 logrotate,避免破坏文件结构
- 判断依据:文件是否为纯文本追加写入、进程是否支持重新打开句柄;两者都为否时交由服务自身的保留策略管理
混合环境的划分建议与统一巡检项
划分建议:
- 支持信号重载的服务文本日志:logrotate 默认模式(rename + create)+ postrotate 重载,详见 7.1
- 不支持重载的 Java、容器日志:logrotate + copytruncate,或使用应用内建轮转
- systemd 托管服务:journald 原生配置,不叠加 logrotate
- 容器标准输出:使用容器运行时的日志驱动限制(
max-size、max-file)
统一巡检项:
df -hT | grep -v tmpfs
df -i
journalctl --disk-usage
du -sh /var/log/* 2>/dev/null | sort -h | tail -n 10
cat /var/lib/logrotate/status | head
sudo logrotate -d /etc/logrotate.conf 2>&1 | grep -iE "error|skipping"
- 巡检覆盖文件系统空间与 inode、journald 占用、/var/log 下各目录体积、轮转状态文件记录、配置语法
- 阈值建议:空间使用率与 inode 使用率超过 80% 时处理;journald 占用达到 SystemMaxUse 的 80% 时重新评估保留策略
- 审计日志位于 /var/log/audit/,由 auditd.conf 自身管理,不在 logrotate 范围,巡检时单独核对其 num_logs 与 max_log_file_action