本文说明文本处理工具的使用方式与组合套路。Shell 变量与展开见 变量与参数展开,流程控制与循环见 流程控制与函数,错误处理与脚本工程见 错误处理与脚本工程,日志体系与查询见 日志查询与审计 与 系统日志管理,日志轮转见 logrotate,访问日志字段定义见 nginx 访问日志分析与在线监控,故障排查中的证据判读见 故障案例库。

一、起源

1.1 文本作为通用接口

Unix 的设计把"一切皆文本"作为进程协作的基础:程序的输出是文本行,输入也是文本行,因此任意两个程序都可以通过管道组合。这一设计带来的结果是,日志分析、配置提取、数据汇总都不需要专门的程序,而是由少量通用工具组合完成。

1.2 三类任务

任务 目标 常用工具
筛选 从大量行中挑出关心的部分 grep、awk 的模式
变换 修改行内容或结构 sed、tr、cut、awk
统计 计数、求和、分组、去重 awk、sort、uniq

三类任务的分界线是判断依据:按块筛选用 grep,按行内结构筛选与统计用 awk,按位置或模式做整体变换用 sed。

1.3 取舍

选择 获得 付出
工具组合 无需编写与部署程序、组合灵活 复杂逻辑可读性下降,需注意管道与引用的细节
专用脚本语言 逻辑复杂时更清晰 需要运行环境,简单任务反而更重

判断标准是"逻辑能否在几行内表达"。超过一定复杂度后应改用 awk 单进程完成,或改用脚本语言,而不是无限叠加管道。

二、原理

2.1 正则方言与字符类

方言 特点 使用位置
基本正则 元字符需要转义才生效,如分组与加号 默认的 grep 与 sed
扩展正则 分组与加号与竖线可直接使用 开启扩展选项后的 grep 与 sed
增强正则 支持更丰富的断言与非贪婪与环视 部分工具与语言,如支持该模式开关的 grep

常见元字符在两套方言下的差异是最容易踩的坑:+、?、|、( ) 在基本正则中需要转义,在扩展正则中不需要。

字符类 匹配
[[:digit:]] 数字
[[:alpha:]] 字母
[[:alnum:]] 字母与数字
[[:space:]] 空白
[[:punct:]] 标点
[[:upper:]]、[[:lower:]] 大写与小写字母

使用字符类而不是 [0-9] 与 [a-zA-Z] 的好处是与区域设置一致,能正确处理非 ASCII 字符。

2.2 筛选:grep

# 基础筛选
grep 'ERROR' app.log
grep -i 'error' app.log                 # 忽略大小写
grep -v 'DEBUG' app.log                 # 反向:排除
grep -c 'ERROR' app.log                 # 计数
grep -n 'ERROR' app.log                 # 显示行号

# 上下文:查看错误前后发生了什么
grep -A 3 -B 1 'OutOfMemory' app.log

# 只输出匹配到的部分(用于提取字段)
grep -oE '[0-9]{1,3}(\.[0-9]{1,3}){3}' app.log | sort -u

# 递归与文件类型过滤
grep -rn --include='*.conf' 'Listen' /etc/

# 固定字符串:内容含正则元字符时避免转义
grep -F '[ERROR]' app.log

# 整词与整行匹配
grep -w 'fail' app.log
grep -x 'OK' result.txt

# 只列出匹配的文件名
grep -rl 'deprecated' --include='*.java' .
选项 用途 注意
-F 按固定字符串匹配 内容含元字符时优先使用,速度也更快
-E 使用扩展正则 避免大量反斜杠转义
-o 只输出匹配部分 与 -c 同时使用时统计的是匹配次数而非行数
-q 静默,仅看退出码 用于条件判断
-a 把二进制文件当作文本处理 匹配到二进制内容时默认只提示"匹配到二进制文件"

区域设置会影响匹配与排序:在中文字符环境中,部分字符类与大小写规则与预期不同,脚本中需要稳定的行为时显式指定 LC_ALL=C。

2.3 变换:sed

sed 的基本结构是"地址加命令":地址决定作用范围,命令决定做什么。

# 替换:默认只替换每行第一处
sed 's/old/new/' file
sed 's/old/new/g' file                  # 全部替换
sed 's/old/new/2' file                  # 只替换第二处
sed -E 's/([0-9]+)ms/\1 毫秒/g' file    # 扩展正则与反向引用

# 替换中的特殊符号
sed 's/port=[0-9]*/port=8080/' file     # 匹配整段并整体替换
sed 's/[0-9]\+/[&]/' file               # & 代表整个匹配内容
sed 's|/usr/local|/opt|g' file          # 分隔符可换,避免路径中的斜杠转义

# 行级操作
sed -n '1,10p' file                     # 只打印前 10 行(-n 抑制默认输出)
sed '5d' file                           # 删除第 5 行
sed '/^#/d; /^$/d' file                 # 删除注释行与空行
sed '/^$/!d' file                       # 只保留空行
sed '2a\新增一行' file                  # 在第 2 行后追加
sed '3i\新增一行' file                  # 在第 3 行前插入
sed '4c\替换整行' file                  # 替换第 4 行

# 按范围处理:从匹配行到文件末尾
sed -n '/^\[server\]/,$p' config.ini

# 就地修改:必须先备份,避免误改无法回退
sed -i.bak 's/8080/9090/g' config.ini
场景 写法 说明
多处替换 加 g 标志 默认只替换第一处
大小写不敏感替换 加 i 标志 不同实现支持情况不同
多命令 用分号分隔或在脚本文件中逐行书写 复杂变换应写入脚本文件
就地修改 带备份后缀 无备份的就地修改不可回退
只输出不修改 配合 -n 与 p 用于提取与查看

sed 适合"按行做规则化的字符串变换",不适合做带状态的分组统计;后者应交给 awk。

2.4 统计:awk

awk 的执行模型是"逐行读取、按分隔符切成字段、对每行执行匹配的模式对应的动作",并可在开始与结束阶段执行额外动作。

内置变量 含义
$0 整行
$1、$2 第几个字段
NF 当前行的字段数
NR 已读记录总数
FNR 当前文件内的记录序号
FS 输入字段分隔符
OFS 输出字段分隔符
RS 输入记录分隔符
# 字段提取与格式化
awk '{print $1, $7}' access.log
awk -F: '{print $1}' /etc/passwd
awk -F, -v OFS='\t' '{print $1, $3}' data.csv

# 条件筛选
awk '$9 >= 500 {print $7}' access.log
awk 'NR > 1 && $3 == "ERROR" {print}' app.log

# 统计:求和与平均
awk '{sum += $10; n++} END {printf "平均=%.3f 行数=%d\n", sum/n, n}' access.log

# 分组统计:按第一列分组求和
awk '{bytes[$1] += $10} END {for (ip in bytes) printf "%s %d\n", ip, bytes[ip]}' access.log

# 求最大值所在行
awk 'BEGIN {max = -1} $10 > max {max = $10; line = $0} END {print line}' access.log

# 去重计数与正则提取
awk '!seen[$1]++ {count++} END {print count}' access.log
awk 'match($0, /[0-9]{1,3}(\.[0-9]{1,3}){3}/) {print substr($0, RSTART, RLENGTH)}' app.log

# 按分隔符切分字符串
awk -F'|' '{n = split($3, parts, ","); for (i = 1; i <= n; i++) print parts[i]}' data.txt

# BEGIN 与 END 的配合:输出表头与汇总
awk 'BEGIN {print "IP\t请求数"} {c[$1]++} END {for (k in c) print k "\t" c[k]}' access.log

printf 比 print 更适合需要对齐或控制精度的输出;for (k in map) 的输出顺序不保证,需要稳定顺序时先用管道交给排序工具。

2.5 组合套路

工具 职责 关键用法
sort 排序 -n 数值、-r 逆序、-k 指定列、-t 指定分隔符、-u 排序去重、-h 人类可读单位
uniq 相邻去重与计数 -c 计数、-d 只显示重复、-u 只显示唯一,必须先排序
cut 按位置或分隔符截取字段 -d 与 -f 固定分隔符,不支持正则
tr 字符级替换与删除 -d 删除、-s 压缩重复、-c 取补集
paste 按列合并 -d 指定分隔符
find 按属性查找文件 -name、-mtime、-size、-perm、-print0
xargs 把输入转为参数批量执行 -0 处理含特殊字符的文件名、-n 每次传参个数、-P 并行、-I 占位替换
jq 处理结构化数据 . 展示、.[] 展开、select() 过滤、-r 原始输出
# 排序与去重的三个典型组合
sort access.log | uniq -c | sort -rn | head -20                 # 按整行统计频次
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head  # 按列统计频次
sort -t, -k3 -n data.csv | head                                 # 按第 3 列数值排序

# 稳定排序与区域设置:脚本中固定使用 C 区域以获得确定顺序
LC_ALL=C sort -k1,1 access.log | head

# 文件名批量处理:用空字符分隔避免含空格文件名被拆开
find /data -type f -name '*.log' -print0 | xargs -0 -n 100 gzip
find /data -type f -name '*.tmp' -print0 | xargs -0 -r rm -f --   # -r 表示无输入时不执行

# 字段提取与拼接
cut -d: -f1,3 /etc/passwd | head
paste -d, <(cut -d: -f1 /etc/passwd) <(cut -d: -f3 /etc/passwd) | head

# 结构化数据处理
curl -s http://internal/api/items | jq -r '.data[] | select(.status=="FAILED") | .id'

2.6 性能与陷阱

陷阱 表现 处置
多次遍历大文件 脚本耗时随管道数量线性增长 用一次 awk 完成多项统计
区域设置不一致 排序结果在不同机器上不同,正则匹配范围不同 脚本中显式设置 LC_ALL=C
匹配到二进制文件 输出"匹配到二进制文件"而未显示内容 使用 -a 或有意识地排除
管道缓冲 输出延迟出现,日志实时性差 使用 stdbuf -oL 关闭行缓冲
制表符与多个空格 按空格切分时字段数不对 明确分隔符,或让 awk 按空白切分
反向引用未生效 正则中括号未转义或未使用扩展模式 使用扩展模式或在基本正则中转义

三、实现

3.1 日志分析套路

# 状态码分布
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# 5xx 错误的时间分布(按小时)
awk '$9 ~ /^5/ {print substr($4, 2, 14)}' access.log | sort | uniq -c

# 请求量 TOP 地址与对应状态码分布
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
awk '$1 == "10.0.0.11" {print $9}' access.log | sort | uniq -c | sort -rn

# 慢请求(需日志包含耗时字段,示例为第 10 列)
awk '$10 > 1 {printf "%.3f %s %s\n", $10, $1, $7}' access.log | sort -rn | head -20

# 单次遍历完成多项统计(避免多次扫描大文件)
awk '
{
    status[$9]++
    total++
    if ($10 + 0 > 1) slow++
    if ($9 ~ /^5/) err++
}
END {
    printf "总请求=%d 5xx=%d 慢请求=%d\n", total, err, slow
    for (s in status) printf "状态码 %s: %d\n", s, status[s]
}' access.log

3.2 配置提取套路

# 提取某个配置段(从段头到下一个段头之前)
awk '/^\[server\]/{flag=1; next} /^\[/{flag=0} flag' config.ini

# 提取段内某个键的值
awk -F'=' '/^\[server\]/{flag=1; next} /^\[/{flag=0} flag && $1 ~ /^ *port *$/ {gsub(/ /, "", $2); print $2}' config.ini

# 去掉注释与空行后查看有效配置
sed '/^[[:space:]]*#/d; /^[[:space:]]*$/d' config.ini

# 键值文件转为环境变量形式(跳过注释与空行)
while IFS='=' read -r key value; do
    [[ -z $key || $key == \#* ]] && continue
    printf 'export %s=%q\n' "${key// /}" "$value"
done < app.properties

要点:按段提取用 awk 的状态标志比 sed 的范围地址更直观;键值提取要去除空白并按注释与空行过滤。

3.3 数据汇总套路

# 按字段分组求和并按数值排序
awk -F, '{sum[$1] += $3} END {for (k in sum) printf "%s,%d\n", k, sum[k]}' data.csv \
    | sort -t, -k2 -rn | head

# 去重计数(按两列组合去重)
awk -F, '{key = $1 FS $2; if (!(key in seen)) {seen[key] = 1; count++}} END {print count}' data.csv

# 每个分组的最大值
awk -F, '{if ($3 > max[$1]) max[$1] = $3} END {for (k in max) print k, max[k]}' data.csv

# 两个文件的关联(按键连接,输入需先排序)
join -t, <(LC_ALL=C sort -t, -k1,1 a.csv) <(LC_ALL=C sort -t, -k1,1 b.csv)

# 列的差集与交集(需要排序且去重)
comm -23 <(LC_ALL=C sort -u a.txt) <(LC_ALL=C sort -u b.txt)    # 只在 a 中
comm -12 <(LC_ALL=C sort -u a.txt) <(LC_ALL=C sort -u b.txt)    # 两者都有

3.4 批量文件操作套路

# 先查看将要处理的内容,再执行(避免误操作)
grep -rl 'old_domain' --include='*.conf' /etc/app | head
grep -rl 'old_domain' --include='*.conf' /etc/app | xargs -r sed -i.bak 's/old_domain/new_domain/g'

# 批量改名:先打印再执行
find . -name '*.txt' -print0 | while IFS= read -r -d '' f; do
    printf 'mv -- %q %q\n' "$f" "${f%.txt}.md"
done
# 确认无误后去掉 printf,改为执行 mv

# 按时间清理(先列出,再删除)
find /data/logs -type f -name '*.log' -mtime +30 -print | head
find /data/logs -type f -name '*.log' -mtime +30 -delete

# 并行处理(注意下游承受能力)
find /data/in -type f -print0 | xargs -0 -n 1 -P 4 -I {} process.sh {}

要点:批量修改与删除一律遵循"先打印、再执行"的顺序,避免因通配或路径错误造成不可逆后果。

3.5 常见问题对照

现象 常见原因 处置
统计结果与预期不符 字段分隔符与字段位置理解错误 先用 awk '{print NF}' 与打印指定字段核对
排序结果在不同机器上不一致 区域设置不同导致排序规则不同 显式设置 LC_ALL=C
uniq -c 结果不准 未先排序,只统计相邻重复 先排序再去重
正则匹配不到 使用了基本正则却写了扩展语法 使用扩展模式或补充转义
替换后文件被改坏 就地修改未备份 使用带备份后缀的就地修改
大文件处理很慢 多次遍历或反复调用外部命令 合并为一次 awk 完成
输出延迟出现 管道缓冲 使用行缓冲或减少管道层级
文件名含空格时命令报错 未使用空字符分隔 使用 -print0 与 -0
匹配到二进制文件无输出 默认提示而不输出内容 使用 -a 或先过滤文件类型
find -exec 每个文件执行一次,慢 使用了逐个执行的形式 改为一次性批量传入参数
关联两文件结果为空 输入未按连接键排序 先按键排序再连接
分组统计的行数不全 分隔符含多余空白导致键不一致 统一去除空白或改用固定分隔符

四、总结

  1. 文本是 Unix 进程协作的通用接口,日志与配置处理本质上是筛选、变换、统计三类操作的组合。
  2. 判断依据决定工具选择:按块筛选用筛选工具,按行内结构处理与统计用 awk,按位置与模式做整体变换用 sed。
  3. 正则存在方言差异,基本正则中分组与加号与竖线需要转义;使用字符类而非手写范围可正确处理非 ASCII 字符。
  4. 内容包含正则元字符时应使用固定字符串匹配,既避免转义问题也更快。
  5. sed 的结构是"地址加命令",适合规则化的行级变换,不适合带状态的分组统计;就地修改必须带备份。
  6. awk 的模型是"逐行、按字段、模式与动作分离",可在开始与结束阶段做汇总,是统计任务的首选工具。
  7. 排序与去重工具的分工是"先排序再去重",去重工具只处理相邻重复;连接与差集操作要求输入已排序。
  8. 文件名批量处理必须使用空字符分隔,避免含空格与特殊字符的文件名被拆开。
  9. 脚本中应显式固定区域设置,否则排序与匹配结果会随环境变化,属于典型的"本地正常、线上异常"来源。
  10. 批量修改与删除遵循"先打印、再执行"的顺序,这是避免不可逆误操作的唯一可靠手段。