内容总览

linux: 日志轮转 思维导图

1. 什么是 logrotate

定义

logrotate 是 Linux 系统原生自带的日志轮转工具,无需额外安装,专门用于管理持续增长的日志文件,是服务器日志运维的核心工具。

核心作用

  • 自动切割日志:按时间/大小拆分超大日志文件,避免单日志文件过大无法查看、分析

  • 自动归档压缩:对历史日志压缩,节省磁盘空间

  • 自动清理过期日志:保留指定数量日志,自动删除老旧归档,防止磁盘被日志占满

  • 无业务中断:支持优雅轮转,无需频繁重启业务服务

工作核心原理

logrotate 不实时监控文件,依靠系统定时任务轮询执行;通过重命名旧日志、生成新空日志、执行后置脚本完成整套轮转逻辑。

2. 配置文件

2.1 全局主配置文件

/etc/logrotate.conf

系统全局默认配置,定义所有日志的通用规则(默认轮转周期、保留份数、压缩规则等),是所有日志轮转的基础配置。Ubuntu 下的默认内容如下:

# see "man logrotate" for details

# global options do not affect preceding include directives

# rotate log files weekly
weekly

# use the adm group by default, since this is the owning group
# of /var/log/syslog.
su root adm

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
#dateext

# uncomment this if you want your log files compressed
#compress

# packages drop log rotation information into this directory
include /etc/logrotate.d

# system-specific logs may also be configured here.

逐项解读:

配置项 作用 说明
weekly 轮转周期 默认每周轮转一次
su root adm 权限切换 轮转后以 root:adm 身份创建新文件,确保进程有写入权限
rotate 4 保留份数 默认保留 4 份历史归档,超过的自动删除
create 创建新文件 轮转后立即创建新的空日志文件,应用无需重启即可继续写入
#dateext 日期后缀(被注释) 默认不使用日期后缀,归档文件按数字编号(log.1、log.2)
#compress 压缩(被注释) 默认不压缩归档文件
include /etc/logrotate.d 包含子目录 将 /etc/logrotate.d/ 下所有配置文件加载进来执行

默认配置中两处被注释,属于常见的可优化点:

  • compress 被注释:旧日志不会压缩,归档长期占用磁盘空间

  • dateext 被注释:归档文件按数字编号(log.1、log.2),日期后缀(log-20260905)更易人工辨认

2.2 应用独立配置目录

/etc/logrotate.d/

存放各个业务、服务的独立日志轮转配置(Nginx、Docker、自定义项目、系统服务等)。目录内所有文件会被系统自动读取,无需手动引入。目录内容取决于系统上安装了哪些软件,例如:

alternatives  apt      btmp    dpkg      mysql-server  ubuntu-pro-client  unattended-upgrades
apport        bootlog  chrony  fail2ban  rsyslog       ufw                wtmp

生产最佳实践:一个服务/一类日志,单独一个配置文件,方便独立管理、排查问题。

常见配置文件与对应关系:

配置文件 对应应用/服务 作用说明
alternatives update-alternatives 系统工具 管理系统中同一命令的多个版本,记录其状态日志
apport Ubuntu 错误报告系统 记录应用程序崩溃时的错误报告
apt APT 包管理器 记录 apt install/update/upgrade 等操作的日志
bootlog 系统启动日志 记录系统启动过程中的信息(/var/log/boot.log)
btmp 系统认证日志 记录失败的登录尝试,用于安全审计
chrony 时间同步服务 系统时间同步的日志
dpkg Debian 包管理器底层工具 记录软件包安装/卸载的详细日志
fail2ban 入侵防御软件 扫描日志并封禁恶意 IP
mysql-server MySQL 数据库 MySQL 的 error log、slow query log 等
rsyslog 系统日志服务 核心日志收集服务,管理 /var/log/syslog、/var/log/auth.log 等
ubuntu-pro-client Ubuntu Pro 客户端 Ubuntu 付费扩展安全维护服务的客户端日志
ufw 防火墙 Ubuntu 自带简化防火墙日志
unattended-upgrades 自动安全更新工具 记录系统自动安装的安全补丁日志
wtmp 系统用户登录历史 记录所有用户的登录/注销/重启等事件

应用安装后是否自动生成该配置,分三类情况:

  1. 通过系统包管理器安装的主流服务:自动生成。apt install nginx 或 yum install httpd 时,包管理器自动将配置文件放入 /etc/logrotate.d/
  2. 通过源码编译、二进制包解压、容器化方式安装的应用:不会自动生成,需手动创建配置
  3. 自带轮转机制的应用:可能不会。如 Elasticsearch 等应用内置日志滚动策略,不依赖系统 logrotate

2.3 配置优先级与覆盖规则

独立配置(logrotate.d 下文件) > 全局配置(logrotate.conf)

子配置中定义的参数会覆盖全局默认参数,未定义的参数自动继承全局配置。

覆盖细节:

  • 若自定义文件和默认文件都定义了 rotate,则后加载的生效

  • logrotate 按字母顺序加载文件,需要自定义覆盖默认时,可给文件起靠后的名字(如 zzz-nginx-custom)

  • 更稳妥的做法:在自定义文件中写完整路径与全部参数,将默认文件删除、注释或移走备份

2.4 默认配置与自定义配置的三种选择

直接使用自动生成的默认配置

适用场景:默认策略(如每周轮转、保留 4 周)已满足需求,无需任何操作。

cat /etc/logrotate.d/nginx

直接修改默认配置文件

适用场景:默认策略不满足,需调整轮转频率或保留份数。

sudo vim /etc/logrotate.d/nginx

注意:应用通过包管理器升级时,此类修改可能被覆盖(提示保留原配置或用新配置),不推荐用于生产环境。

自定义独立文件

适用场景:保留默认配置不动,或同一应用需要多个独立轮转规则。

sudo vim /etc/logrotate.d/nginx-custom

内容示例:

/var/log/nginx/access.log {
    daily
    rotate 30
    compress
    delaycompress
}

验证最终生效的配置:

sudo logrotate -d /etc/logrotate.conf | grep -A 20 "日志路径"

3. 常用配置指令

整理生产最常用、最高频的配置参数,附带详细说明和标准示例,可直接复用:

指令 详细说明 使用示例
daily/weekly/monthly 轮转周期:按天/周/月切割日志,默认 daily daily
rotate N 最大保留 N 个归档日志,超出自动删除 rotate 7(保留7天日志)
size N 日志达到指定大小立刻触发轮转(优先级高于时间周期) size 100M / size 2G
maxsize N 兼顾时间+大小,超大小立即切,未超则按周期切 maxsize 500M
compress 开启 gzip 压缩归档日志,节省磁盘空间 compress
delaycompress 延迟压缩:本次轮转日志不压缩,下次轮转再压缩,避免进程占用文件报错 delaycompress
missingok 日志文件不存在时,不报错、不中断轮转任务 missingok
notifempty 日志文件为空时,跳过本次轮转,避免生成无效空归档 notifempty
create 轮转后新建空日志文件,可指定权限、属主、属组 create 0644 root root
copytruncate 复制日志后清空原文件,无需重启服务(适配Java、Docker日志) copytruncate
dateext 归档日志添加日期后缀,替代默认数字后缀,可读性更强 dateext
postrotate/endscript 日志轮转完成后,执行自定义脚本(重载服务、发信号等) postrotate 重载nginx endscript

4. 配置示例

4.1 Nginx 日志轮转(物理机/虚拟机 首选)

路径:/etc/logrotate.d/nginx,采用 rename+信号重载,零日志丢失

/var/log/nginx/*.log {
    daily
    rotate 30
    compress
    delaycompress
    dateext
    missingok
    notifempty
    create 0640 nginx nginx
    sharedscripts
    postrotate
        kill -USR1 $(cat /run/nginx.pid) > /dev/null 2>&1 || true
    endscript
}

4.2 Tomcat 日志轮转

路径:/etc/logrotate.d/tomcat,Tomcat 不支持热重载日志,使用 copytruncate 模式

/usr/local/tomcat/logs/*.log {
    daily
    maxsize 300M
    rotate 15
    compress
    delaycompress
    dateext
    missingok
    notifempty
    copytruncate
}

4.3 SpringBoot 项目日志轮转

路径:/etc/logrotate.d/spring-app,Java 进程不响应日志信号,必须使用 copytruncate

/home/app/logs/*.log {
    daily
    maxsize 500M
    rotate 15
    compress
    delaycompress
    dateext
    missingok
    notifempty
    copytruncate
    su app app
}

4.4 Docker 容器日志轮转

路径:/etc/logrotate.d/docker-log,Docker 原生不支持重载日志,强制 copytruncate

/var/lib/docker/containers/*/*-json.log {
    daily
    size 200M
    rotate 7
    compress
    delaycompress
    missingok
    copytruncate
}

4.5 Docker 日志管理方案对比与原生配置

Docker 默认使用 json-file 日志驱动,不自动清理或轮转容器日志,日志持续增长直至占满磁盘;日志存储于 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log,不在 logrotate 默认管理范围。

方案 核心思路 优点 缺点/前提
Docker 原生方案(推荐) 配置 Docker 日志驱动参数(max-size、max-file) 简单直接,由 Docker 自身管理 需配置 Docker Daemon 或在 docker run 时指定参数
系统 logrotate 方案 手动创建 /etc/logrotate.d/docker 配置文件 若已熟悉 logrotate 可快速上手 非官方默认,需手动创建,建议使用 copytruncate

Docker 原生配置方式,修改 /etc/docker/daemon.json:

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

配置后需重启 Docker 服务生效。若使用 local 日志驱动,其默认已开启轮转。

启动单个容器时指定,仅限制 Docker 标准输出日志,对挂载的 Nginx 访问日志不适用:

docker run -v /host/path/logs:/var/log/nginx \
  --log-opt max-size=10m \
  --log-opt max-file=3 \
  nginx

4.6 日志挂载到宿主机目录的场景

Docker 运行的服务(如 Nginx)通过 Volume 将日志挂载到宿主机目录时,推荐使用 copytruncate。

docker run -v /host/path/logs:/var/log/nginx nginx

容器内打开的 /var/log/nginx/access.log 对应宿主机 /host/path/logs/access.log。使用 create 时的问题:

  1. 宿主机上:access.log 被重命名为 access.log.1
  2. 宿主机上:创建新的空 access.log(inode 变了)
  3. 容器内的 Nginx 仍在往旧 inode 写数据,日志实际写入 access.log.1
  4. 下次轮转时,access.log.1 被重命名覆盖,日志丢失

除非在 postrotate 中执行 docker exec nginx容器名 nginx -s reopen,但这会增加复杂度和失败风险。

推荐配置模板(宿主机上 /etc/logrotate.d/nginx-docker):

/挂载路径/access.log
/挂载路径/error.log
{
    daily
    rotate 7
    copytruncate
    compress
    delaycompress
    missingok
    notifempty
    create 644 root root
}

参数说明:

参数 作用
daily 每天轮转一次
rotate 7 保留 7 份历史归档
copytruncate 复制后截断,容器内进程无感知
compress 压缩归档文件
delaycompress 上一次归档先不压缩,下次轮转时再压缩,配合 copytruncate 更安全
missingok 日志文件不存在时不报错
notifempty 日志为空时不轮转

注意事项:

  • 日志路径使用宿主机上的绝对路径,非容器内路径

  • 测试配置:sudo logrotate -d /etc/logrotate.d/nginx-docker

  • 强制执行:sudo logrotate -f /etc/logrotate.d/nginx-docker

  • 执行后检查容器内 Nginx 是否正常写入,以及宿主机上是否生成归档文件

5. 手动执行与调试命令

所有配置修改后,必须通过以下命令校验、测试,避免定时执行报错

5.1 调试模式

只模拟轮转、不实际操作文件,查看配置是否报错

logrotate -d /etc/logrotate.d/xxx

5.2 强制手动轮转

忽略时间/大小条件,立即执行一次完整轮转,可视化验证配置有效性

logrotate -vf /etc/logrotate.d/xxx

-f 单独使用时静默执行、无过程输出,排查问题应加 -v。

5.3 查看轮转状态

查看所有日志上次轮转时间,判断是否正常执行

cat /var/lib/logrotate/status

6. 常见问题与解决方案

6.1 日志没有自动轮转?

常见原因:

  • 配置语法错误,定时执行失败(优先用 logrotate -d 校验)

  • 未满足轮转条件(时间未到、日志大小未达标、空日志触发 notifempty)

  • 日志文件权限不足,logrotate 无操作权限

解决:调试校验语法、核对轮转规则、修正日志文件权限。

6.2 轮转后服务依旧写入旧日志文件?

根本原因:默认 rename 模式下,进程持有旧文件 inode,未重新加载日志句柄。

解决:

  • Nginx/系统日志:在 postrotate 中发送日志重载信号

  • Java/Docker 日志:改用 copytruncate 模式,无需重载服务

6.3 日志轮转后磁盘空间仍然占满?

常见原因:

  • 未开启 compress 压缩,归档日志占用空间大

  • rotate 保留份数过多,过期日志未清理

  • delaycompress 导致归档日志延迟压缩,短期空间无法释放

解决:开启压缩、减少保留份数、根据业务场景调整压缩策略。

6.4 轮转报错:文件不存在

解决:配置中添加 missingok,忽略不存在的日志文件,避免任务报错中断。

7. 生产环境知识点

7.1 两种轮转模式区分

logrotate 所有配置本质只有两种工作模式,其余坑点均来自模式误用。两个参数互斥,不能同时配置。

参数 操作方式 优点 缺点 适用场景
create 1. 将旧日志重命名为归档文件 2. 创建全新的空日志文件 3. 应用需重新打开文件句柄 日志完整不丢失 应用必须支持信号重载或重启 支持信号重载的服务(Nginx、Apache、MySQL 等)
copytruncate 1. 复制当前日志内容到归档文件 2. 立即截断原文件(inode 不变) 3. 应用文件句柄始终有效 应用无需重启或重载 复制和截断间可能丢失极少量日志 不支持信号重载的服务(某 Python/Java 应用、Docker 容器等)

模式一:Rename + Create(默认模式)

  • 执行逻辑:将当前日志重命名归档,再新建空白日志文件。

  • 核心特点:零日志丢失、无 IO 压力、性能最优。

  • 硬性要求:轮转后必须通知业务进程重新打开日志文件句柄(发送信号/重载服务),否则业务会持续写入旧的归档日志,新日志永久为空。

  • 适用场景:Nginx、Rsyslog、MySQL 等支持日志热重载的服务。

  • 禁止场景:Java 程序、Docker Json 日志(不支持日志重载信号)。

模式二:Copytruncate(复制截断模式)

  • 执行逻辑:复制当前完整日志为归档文件,再清空原日志文件(inode 不变)。

  • 核心特点:无需重启/重载服务,进程无感知,兼容性极强。

  • 缺陷:大日志文件复制会产生瞬时 IO 压力;复制瞬间极少量并发日志存在丢失概率。

  • 适用场景:SpringBoot/Tomcat 等 Java 应用、Docker 容器 json 日志、所有不支持日志重载的程序。

  • 禁止搭配:不能与 create 指令同时使用,配置冲突会导致轮转失效。

修改方式:全局默认值改 /etc/logrotate.conf,会影响所有未单独配置的应用;单个应用在 /etc/logrotate.d/ 下的子配置中指定即可,不影响其他服务。对支持信号重载的服务,create 更规范。

7.2 如何判断应用支持哪种方式

  • 查文档或配置文件:Nginx 支持 nginx -s reopen,MySQL 支持 mysqladmin flush-logs,rsyslog 支持 kill -HUP

  • 观察日志文件行为:模拟 create 行为(mv app.log app.log.old),看应用是否自动创建新文件并继续写入

  • 用 lsof 查看文件句柄:lsof | grep "日志文件名",若输出中有 (deleted) 标记,说明应用正在写已删除的文件,不支持重载

7.3 调度机制误区

logrotate 不是实时监控工具,所有轮转规则均依赖定时触发:

  • 系统默认依赖cron.daily 每日执行一次,默认凌晨执行

  • 配置 size/maxsize 大小限制后,日志超限不会立刻切割,必须等待下一次定时任务执行

  • 如需小时级、实时近效轮转,必须自定义 crontab 或 systemd timer 调度,不能依赖默认定时

7.4 生产环境禁忌与配置规范

  • 禁忌1:禁止手动 mv 移动正在写入的日志文件,不做任何重载操作,必然导致日志写入旧文件

  • 禁忌2:高并发Nginx服务禁止使用 copytruncate,会造成少量日志丢失、瞬时IO飙升

  • 禁忌3:不要全局开启 `nocompress`,长期运行会导致磁盘日志堆积爆满

  • 禁忌4:多个日志文件共用配置时,不加 `sharedscripts`,会导致每一个文件轮转都执行一次后置脚本,重复重载服务

  • 规范1:所有自定义配置必须加 `missingok、notifempty`,避免空日志、缺失文件导致定时任务报错

  • 规范2:线上业务统一加 `dateext`,放弃默认数字后缀,方便日志按日期排查归档

7.5 日志方案最佳选型

业务场景 最优方案 备选方案
物理机Nginx、系统日志 默认模式 + USR1信号重载 无(禁止copytruncate)
支持信号重载(Nginx、Apache、MySQL、rsyslog 等) create 无
Java SpringBoot/Tomcat 应用内Logback/Log4j2自动轮转 logrotate + copytruncate
不支持重载、持续写入的自定义应用(Java/Python/Node.js 等) copytruncate 无
Docker容器业务日志 docker daemon.json 原生轮转 logrotate + copytruncate
systemd托管服务日志 journald 原生日志管理 无需logrotate
不确定应用是否支持重载 copytruncate(保守方案) 无

7.6 状态文件作用与清理注意

/var/lib/logrotate/status 是 logrotate 核心状态文件,记录每一个日志文件的最后轮转时间,用于判断是否满足轮转周期。

注意事项:禁止手动删除/篡改该文件,否则会导致所有日志轮转规则错乱、重复轮转或不轮转;如需重置轮转记录,可执行 truncate -s 0 /var/lib/logrotate/status 清空。

7.7 自定义调度拓展(脱离系统默认cron)

默认每日一次无法满足高频轮转场景,可自定义独立调度,不影响系统全局配置:

1. 自定义配置文件存放任意路径(如 /opt/conf/app-log.conf)

2. 配置独立状态文件,避免与系统日志冲突

3. 通过 crontab 自定义执行周期,示例(每2小时执行一次):

0 */2 * * * /usr/sbin/logrotate -s /opt/conf/app.status /opt/conf/app-log.conf >/dev/null 2>&1

7.8 日志容量规划与轮转策略设计

按 severity 与业务用途分流

同一服务的日志按严重级别与用途拆到不同文件后,各文件才能使用不同的轮转参数:

日志类型 典型文件 写入量 价值衰减 轮转建议
访问类 access.log 大 快 短保留、强压缩、maxsize 兜底
错误类 error.log 小 慢 长保留、按 size 或 maxsize 触发
审计类 auth.log、audit.log 中 不衰减 保留期按合规要求,不参与激进清理
  • 分流方式一:应用自身按级别输出到不同文件,如 Logback、Log4j2 的多 appender 配置
  • 分流方式二:rsyslog 按 facility 与 severity 路由到不同文件,再分别为每个文件编写轮转配置
  • 分流后不要用 * 通配符统一配置,否则各文件无法使用不同的保留期与压缩策略

retention 份数与单文件大小的估算

估算公式:

保留期内的原始日志量 = 每日日志量 × 保留天数
归档实际占用 ≈ 保留期内的原始日志量 ÷ 压缩比
rotate 份数 ≈ 每日轮转次数 × 保留天数 + 1

计算示例:某服务每日产生 2G 日志,要求本地保留 14 天,gzip 实测压缩比约 8:1。

  • 保留期内的原始日志量 = 2G × 14 = 28G
  • 归档实际占用 ≈ 28G ÷ 8 = 3.5G
  • 若设置 maxsize 512M,单日约产生 4 个归档,另加未轮转的活动文件
  • rotate 份数 ≈ 4 × 14 + 1 = 57,取 60 留出余量
  • 该结果需与所在分区的可用空间核对,占用超过分区容量 50% 时应下调保留天数或提高压缩率

使用 size 或 maxsize 时,轮转次数由写入速度决定,不能按“保留天数”直接设置 rotate;仅按 daily 轮转时,rotate N 才等价于保留 N 天。

daily 与 size/maxsize 的组合选择

  • 只写 daily:轮转由时间决定,写入量突增时单个文件可能远超预期,存在撑满磁盘的风险,适合写入量稳定的服务
  • 只写 size:轮转由体积决定,日志稀疏时长期不轮转,归档长期停留在 .1,也不带日期后缀,适合写入速率高、必须限制单文件体积的场景;size 与时间周期互斥
  • daily + maxsize:以时间周期为主、体积兜底,达到 maxsize 时提前切割,未达到则按天切割,适合写入量波动明显的服务,为生产环境常用组合

磁盘占用与归档压缩比的实测方法

  • 压缩比实测:取一份未压缩归档,统计压缩前后的体积并相除
ls -l /var/log/myapp/app.log.1
gzip -c /var/log/myapp/app.log.1 | wc -c
  • 日志文本的 gzip 压缩比通常在 6:1 至 15:1 之间,重复度越高压缩比越大;JSON 结构化日志的压缩比通常低于纯文本访问日志
  • 目录整体占用用下述命令测量,再与公式估算值对比
du -sh /var/log/myapp/
ls -lh /var/log/myapp/
  • 偏差过大时依次核对:是否开启 compress、delaycompress 是否使最近一份归档尚未压缩、rotate 份数是否多于预期

logrotate 与 journald 的职责边界

  • /var/log/journal 下的 .journal 二进制文件由 journald 自身管理容量与保留期,不交由 logrotate 处理;容量参数与清理命令见日志查询与审计命令
  • systemd 托管服务的日志优先使用 journald 原生配置;需要文本副本时由 journald 转发给 rsyslog,由 rsyslog 写入的文本日志仍按 /etc/logrotate.d/rsyslog 轮转,两套机制各自管理自己的存储
  • 由进程自行维护存储结构的日志(journal 文件、数据库内部段文件)不应使用 logrotate,避免破坏文件结构
  • 判断依据:文件是否为纯文本追加写入、进程是否支持重新打开句柄;两者都为否时交由服务自身的保留策略管理

混合环境的划分建议与统一巡检项

划分建议:

  • 支持信号重载的服务文本日志:logrotate 默认模式(rename + create)+ postrotate 重载,详见 7.1
  • 不支持重载的 Java、容器日志:logrotate + copytruncate,或使用应用内建轮转
  • systemd 托管服务:journald 原生配置,不叠加 logrotate
  • 容器标准输出:使用容器运行时的日志驱动限制(max-size、max-file)

统一巡检项:

df -hT | grep -v tmpfs
df -i
journalctl --disk-usage
du -sh /var/log/* 2>/dev/null | sort -h | tail -n 10
cat /var/lib/logrotate/status | head
sudo logrotate -d /etc/logrotate.conf 2>&1 | grep -iE "error|skipping"
  • 巡检覆盖文件系统空间与 inode、journald 占用、/var/log 下各目录体积、轮转状态文件记录、配置语法
  • 阈值建议:空间使用率与 inode 使用率超过 80% 时处理;journald 占用达到 SystemMaxUse 的 80% 时重新评估保留策略
  • 审计日志位于 /var/log/audit/,由 auditd.conf 自身管理,不在 logrotate 范围,巡检时单独核对其 num_logs 与 max_log_file_action