本文说明文本处理工具的使用方式与组合套路。Shell 变量与展开见 变量与参数展开,流程控制与循环见 流程控制与函数,错误处理与脚本工程见 错误处理与脚本工程,日志体系与查询见 日志查询与审计 与 系统日志管理,日志轮转见 logrotate,访问日志字段定义见 nginx 访问日志分析与在线监控,故障排查中的证据判读见 故障案例库。
一、起源
1.1 文本作为通用接口
Unix 的设计把"一切皆文本"作为进程协作的基础:程序的输出是文本行,输入也是文本行,因此任意两个程序都可以通过管道组合。这一设计带来的结果是,日志分析、配置提取、数据汇总都不需要专门的程序,而是由少量通用工具组合完成。
1.2 三类任务
| 任务 | 目标 | 常用工具 |
|---|---|---|
| 筛选 | 从大量行中挑出关心的部分 | grep、awk 的模式 |
| 变换 | 修改行内容或结构 | sed、tr、cut、awk |
| 统计 | 计数、求和、分组、去重 | awk、sort、uniq |
三类任务的分界线是判断依据:按块筛选用 grep,按行内结构筛选与统计用 awk,按位置或模式做整体变换用 sed。
1.3 取舍
| 选择 | 获得 | 付出 |
|---|---|---|
| 工具组合 | 无需编写与部署程序、组合灵活 | 复杂逻辑可读性下降,需注意管道与引用的细节 |
| 专用脚本语言 | 逻辑复杂时更清晰 | 需要运行环境,简单任务反而更重 |
判断标准是"逻辑能否在几行内表达"。超过一定复杂度后应改用 awk 单进程完成,或改用脚本语言,而不是无限叠加管道。
二、原理
2.1 正则方言与字符类
| 方言 | 特点 | 使用位置 |
|---|---|---|
| 基本正则 | 元字符需要转义才生效,如分组与加号 | 默认的 grep 与 sed |
| 扩展正则 | 分组与加号与竖线可直接使用 | 开启扩展选项后的 grep 与 sed |
| 增强正则 | 支持更丰富的断言与非贪婪与环视 | 部分工具与语言,如支持该模式开关的 grep |
常见元字符在两套方言下的差异是最容易踩的坑:+、?、|、( ) 在基本正则中需要转义,在扩展正则中不需要。
| 字符类 | 匹配 |
|---|---|
[[:digit:]] | 数字 |
[[:alpha:]] | 字母 |
[[:alnum:]] | 字母与数字 |
[[:space:]] | 空白 |
[[:punct:]] | 标点 |
[[:upper:]]、[[:lower:]] | 大写与小写字母 |
使用字符类而不是 [0-9] 与 [a-zA-Z] 的好处是与区域设置一致,能正确处理非 ASCII 字符。
2.2 筛选:grep
# 基础筛选
grep 'ERROR' app.log
grep -i 'error' app.log # 忽略大小写
grep -v 'DEBUG' app.log # 反向:排除
grep -c 'ERROR' app.log # 计数
grep -n 'ERROR' app.log # 显示行号
# 上下文:查看错误前后发生了什么
grep -A 3 -B 1 'OutOfMemory' app.log
# 只输出匹配到的部分(用于提取字段)
grep -oE '[0-9]{1,3}(\.[0-9]{1,3}){3}' app.log | sort -u
# 递归与文件类型过滤
grep -rn --include='*.conf' 'Listen' /etc/
# 固定字符串:内容含正则元字符时避免转义
grep -F '[ERROR]' app.log
# 整词与整行匹配
grep -w 'fail' app.log
grep -x 'OK' result.txt
# 只列出匹配的文件名
grep -rl 'deprecated' --include='*.java' .
| 选项 | 用途 | 注意 |
|---|---|---|
-F | 按固定字符串匹配 | 内容含元字符时优先使用,速度也更快 |
-E | 使用扩展正则 | 避免大量反斜杠转义 |
-o | 只输出匹配部分 | 与 -c 同时使用时统计的是匹配次数而非行数 |
-q | 静默,仅看退出码 | 用于条件判断 |
-a | 把二进制文件当作文本处理 | 匹配到二进制内容时默认只提示"匹配到二进制文件" |
区域设置会影响匹配与排序:在中文字符环境中,部分字符类与大小写规则与预期不同,脚本中需要稳定的行为时显式指定 LC_ALL=C。
2.3 变换:sed
sed 的基本结构是"地址加命令":地址决定作用范围,命令决定做什么。
# 替换:默认只替换每行第一处
sed 's/old/new/' file
sed 's/old/new/g' file # 全部替换
sed 's/old/new/2' file # 只替换第二处
sed -E 's/([0-9]+)ms/\1 毫秒/g' file # 扩展正则与反向引用
# 替换中的特殊符号
sed 's/port=[0-9]*/port=8080/' file # 匹配整段并整体替换
sed 's/[0-9]\+/[&]/' file # & 代表整个匹配内容
sed 's|/usr/local|/opt|g' file # 分隔符可换,避免路径中的斜杠转义
# 行级操作
sed -n '1,10p' file # 只打印前 10 行(-n 抑制默认输出)
sed '5d' file # 删除第 5 行
sed '/^#/d; /^$/d' file # 删除注释行与空行
sed '/^$/!d' file # 只保留空行
sed '2a\新增一行' file # 在第 2 行后追加
sed '3i\新增一行' file # 在第 3 行前插入
sed '4c\替换整行' file # 替换第 4 行
# 按范围处理:从匹配行到文件末尾
sed -n '/^\[server\]/,$p' config.ini
# 就地修改:必须先备份,避免误改无法回退
sed -i.bak 's/8080/9090/g' config.ini
| 场景 | 写法 | 说明 |
|---|---|---|
| 多处替换 | 加 g 标志 | 默认只替换第一处 |
| 大小写不敏感替换 | 加 i 标志 | 不同实现支持情况不同 |
| 多命令 | 用分号分隔或在脚本文件中逐行书写 | 复杂变换应写入脚本文件 |
| 就地修改 | 带备份后缀 | 无备份的就地修改不可回退 |
| 只输出不修改 | 配合 -n 与 p | 用于提取与查看 |
sed 适合"按行做规则化的字符串变换",不适合做带状态的分组统计;后者应交给 awk。
2.4 统计:awk
awk 的执行模型是"逐行读取、按分隔符切成字段、对每行执行匹配的模式对应的动作",并可在开始与结束阶段执行额外动作。
| 内置变量 | 含义 |
|---|---|
$0 | 整行 |
$1、$2 | 第几个字段 |
NF | 当前行的字段数 |
NR | 已读记录总数 |
FNR | 当前文件内的记录序号 |
FS | 输入字段分隔符 |
OFS | 输出字段分隔符 |
RS | 输入记录分隔符 |
# 字段提取与格式化
awk '{print $1, $7}' access.log
awk -F: '{print $1}' /etc/passwd
awk -F, -v OFS='\t' '{print $1, $3}' data.csv
# 条件筛选
awk '$9 >= 500 {print $7}' access.log
awk 'NR > 1 && $3 == "ERROR" {print}' app.log
# 统计:求和与平均
awk '{sum += $10; n++} END {printf "平均=%.3f 行数=%d\n", sum/n, n}' access.log
# 分组统计:按第一列分组求和
awk '{bytes[$1] += $10} END {for (ip in bytes) printf "%s %d\n", ip, bytes[ip]}' access.log
# 求最大值所在行
awk 'BEGIN {max = -1} $10 > max {max = $10; line = $0} END {print line}' access.log
# 去重计数与正则提取
awk '!seen[$1]++ {count++} END {print count}' access.log
awk 'match($0, /[0-9]{1,3}(\.[0-9]{1,3}){3}/) {print substr($0, RSTART, RLENGTH)}' app.log
# 按分隔符切分字符串
awk -F'|' '{n = split($3, parts, ","); for (i = 1; i <= n; i++) print parts[i]}' data.txt
# BEGIN 与 END 的配合:输出表头与汇总
awk 'BEGIN {print "IP\t请求数"} {c[$1]++} END {for (k in c) print k "\t" c[k]}' access.log
printf 比 print 更适合需要对齐或控制精度的输出;for (k in map) 的输出顺序不保证,需要稳定顺序时先用管道交给排序工具。
2.5 组合套路
| 工具 | 职责 | 关键用法 |
|---|---|---|
sort | 排序 | -n 数值、-r 逆序、-k 指定列、-t 指定分隔符、-u 排序去重、-h 人类可读单位 |
uniq | 相邻去重与计数 | -c 计数、-d 只显示重复、-u 只显示唯一,必须先排序 |
cut | 按位置或分隔符截取字段 | -d 与 -f 固定分隔符,不支持正则 |
tr | 字符级替换与删除 | -d 删除、-s 压缩重复、-c 取补集 |
paste | 按列合并 | -d 指定分隔符 |
find | 按属性查找文件 | -name、-mtime、-size、-perm、-print0 |
xargs | 把输入转为参数批量执行 | -0 处理含特殊字符的文件名、-n 每次传参个数、-P 并行、-I 占位替换 |
jq | 处理结构化数据 | . 展示、.[] 展开、select() 过滤、-r 原始输出 |
# 排序与去重的三个典型组合
sort access.log | uniq -c | sort -rn | head -20 # 按整行统计频次
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head # 按列统计频次
sort -t, -k3 -n data.csv | head # 按第 3 列数值排序
# 稳定排序与区域设置:脚本中固定使用 C 区域以获得确定顺序
LC_ALL=C sort -k1,1 access.log | head
# 文件名批量处理:用空字符分隔避免含空格文件名被拆开
find /data -type f -name '*.log' -print0 | xargs -0 -n 100 gzip
find /data -type f -name '*.tmp' -print0 | xargs -0 -r rm -f -- # -r 表示无输入时不执行
# 字段提取与拼接
cut -d: -f1,3 /etc/passwd | head
paste -d, <(cut -d: -f1 /etc/passwd) <(cut -d: -f3 /etc/passwd) | head
# 结构化数据处理
curl -s http://internal/api/items | jq -r '.data[] | select(.status=="FAILED") | .id'
2.6 性能与陷阱
| 陷阱 | 表现 | 处置 |
|---|---|---|
| 多次遍历大文件 | 脚本耗时随管道数量线性增长 | 用一次 awk 完成多项统计 |
| 区域设置不一致 | 排序结果在不同机器上不同,正则匹配范围不同 | 脚本中显式设置 LC_ALL=C |
| 匹配到二进制文件 | 输出"匹配到二进制文件"而未显示内容 | 使用 -a 或有意识地排除 |
| 管道缓冲 | 输出延迟出现,日志实时性差 | 使用 stdbuf -oL 关闭行缓冲 |
| 制表符与多个空格 | 按空格切分时字段数不对 | 明确分隔符,或让 awk 按空白切分 |
| 反向引用未生效 | 正则中括号未转义或未使用扩展模式 | 使用扩展模式或在基本正则中转义 |
三、实现
3.1 日志分析套路
# 状态码分布
awk '{print $9}' access.log | sort | uniq -c | sort -rn
# 5xx 错误的时间分布(按小时)
awk '$9 ~ /^5/ {print substr($4, 2, 14)}' access.log | sort | uniq -c
# 请求量 TOP 地址与对应状态码分布
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
awk '$1 == "10.0.0.11" {print $9}' access.log | sort | uniq -c | sort -rn
# 慢请求(需日志包含耗时字段,示例为第 10 列)
awk '$10 > 1 {printf "%.3f %s %s\n", $10, $1, $7}' access.log | sort -rn | head -20
# 单次遍历完成多项统计(避免多次扫描大文件)
awk '
{
status[$9]++
total++
if ($10 + 0 > 1) slow++
if ($9 ~ /^5/) err++
}
END {
printf "总请求=%d 5xx=%d 慢请求=%d\n", total, err, slow
for (s in status) printf "状态码 %s: %d\n", s, status[s]
}' access.log
3.2 配置提取套路
# 提取某个配置段(从段头到下一个段头之前)
awk '/^\[server\]/{flag=1; next} /^\[/{flag=0} flag' config.ini
# 提取段内某个键的值
awk -F'=' '/^\[server\]/{flag=1; next} /^\[/{flag=0} flag && $1 ~ /^ *port *$/ {gsub(/ /, "", $2); print $2}' config.ini
# 去掉注释与空行后查看有效配置
sed '/^[[:space:]]*#/d; /^[[:space:]]*$/d' config.ini
# 键值文件转为环境变量形式(跳过注释与空行)
while IFS='=' read -r key value; do
[[ -z $key || $key == \#* ]] && continue
printf 'export %s=%q\n' "${key// /}" "$value"
done < app.properties
要点:按段提取用 awk 的状态标志比 sed 的范围地址更直观;键值提取要去除空白并按注释与空行过滤。
3.3 数据汇总套路
# 按字段分组求和并按数值排序
awk -F, '{sum[$1] += $3} END {for (k in sum) printf "%s,%d\n", k, sum[k]}' data.csv \
| sort -t, -k2 -rn | head
# 去重计数(按两列组合去重)
awk -F, '{key = $1 FS $2; if (!(key in seen)) {seen[key] = 1; count++}} END {print count}' data.csv
# 每个分组的最大值
awk -F, '{if ($3 > max[$1]) max[$1] = $3} END {for (k in max) print k, max[k]}' data.csv
# 两个文件的关联(按键连接,输入需先排序)
join -t, <(LC_ALL=C sort -t, -k1,1 a.csv) <(LC_ALL=C sort -t, -k1,1 b.csv)
# 列的差集与交集(需要排序且去重)
comm -23 <(LC_ALL=C sort -u a.txt) <(LC_ALL=C sort -u b.txt) # 只在 a 中
comm -12 <(LC_ALL=C sort -u a.txt) <(LC_ALL=C sort -u b.txt) # 两者都有
3.4 批量文件操作套路
# 先查看将要处理的内容,再执行(避免误操作)
grep -rl 'old_domain' --include='*.conf' /etc/app | head
grep -rl 'old_domain' --include='*.conf' /etc/app | xargs -r sed -i.bak 's/old_domain/new_domain/g'
# 批量改名:先打印再执行
find . -name '*.txt' -print0 | while IFS= read -r -d '' f; do
printf 'mv -- %q %q\n' "$f" "${f%.txt}.md"
done
# 确认无误后去掉 printf,改为执行 mv
# 按时间清理(先列出,再删除)
find /data/logs -type f -name '*.log' -mtime +30 -print | head
find /data/logs -type f -name '*.log' -mtime +30 -delete
# 并行处理(注意下游承受能力)
find /data/in -type f -print0 | xargs -0 -n 1 -P 4 -I {} process.sh {}
要点:批量修改与删除一律遵循"先打印、再执行"的顺序,避免因通配或路径错误造成不可逆后果。
3.5 常见问题对照
| 现象 | 常见原因 | 处置 |
|---|---|---|
| 统计结果与预期不符 | 字段分隔符与字段位置理解错误 | 先用 awk '{print NF}' 与打印指定字段核对 |
| 排序结果在不同机器上不一致 | 区域设置不同导致排序规则不同 | 显式设置 LC_ALL=C |
uniq -c 结果不准 | 未先排序,只统计相邻重复 | 先排序再去重 |
| 正则匹配不到 | 使用了基本正则却写了扩展语法 | 使用扩展模式或补充转义 |
| 替换后文件被改坏 | 就地修改未备份 | 使用带备份后缀的就地修改 |
| 大文件处理很慢 | 多次遍历或反复调用外部命令 | 合并为一次 awk 完成 |
| 输出延迟出现 | 管道缓冲 | 使用行缓冲或减少管道层级 |
| 文件名含空格时命令报错 | 未使用空字符分隔 | 使用 -print0 与 -0 |
| 匹配到二进制文件无输出 | 默认提示而不输出内容 | 使用 -a 或先过滤文件类型 |
find -exec 每个文件执行一次,慢 | 使用了逐个执行的形式 | 改为一次性批量传入参数 |
| 关联两文件结果为空 | 输入未按连接键排序 | 先按键排序再连接 |
| 分组统计的行数不全 | 分隔符含多余空白导致键不一致 | 统一去除空白或改用固定分隔符 |
四、总结
- 文本是 Unix 进程协作的通用接口,日志与配置处理本质上是筛选、变换、统计三类操作的组合。
- 判断依据决定工具选择:按块筛选用筛选工具,按行内结构处理与统计用 awk,按位置与模式做整体变换用 sed。
- 正则存在方言差异,基本正则中分组与加号与竖线需要转义;使用字符类而非手写范围可正确处理非 ASCII 字符。
- 内容包含正则元字符时应使用固定字符串匹配,既避免转义问题也更快。
- sed 的结构是"地址加命令",适合规则化的行级变换,不适合带状态的分组统计;就地修改必须带备份。
- awk 的模型是"逐行、按字段、模式与动作分离",可在开始与结束阶段做汇总,是统计任务的首选工具。
- 排序与去重工具的分工是"先排序再去重",去重工具只处理相邻重复;连接与差集操作要求输入已排序。
- 文件名批量处理必须使用空字符分隔,避免含空格与特殊字符的文件名被拆开。
- 脚本中应显式固定区域设置,否则排序与匹配结果会随环境变化,属于典型的"本地正常、线上异常"来源。
- 批量修改与删除遵循"先打印、再执行"的顺序,这是避免不可逆误操作的唯一可靠手段。