本文说明重定向的进阶用法与文件描述符操作。标准流的基础概念与三类基础重定向见 终端与标准流,变量与展开见 变量与参数展开,通配与展开顺序见 通配与展开顺序,文本处理见 文本处理工具,错误处理与脚本工程见 错误处理与脚本工程,进程与文件描述符的关系见 进程管理。
一、起源
1.1 文件描述符的本质
- 进程不能直接操作文件,只能通过内核分配的编号引用已打开的文件,这个编号即文件描述符。
- 每个进程启动时,内核已按约定打开三个描述符:0 为标准输入、1 为标准输出、2 为标准错误。
- 描述符是进程的属性,指向内核中的打开文件表项,因此同一描述符在不同进程中可以指向不同对象。
1.2 基础重定向的不足
标准流文档覆盖了覆盖写入、追加写入、错误合并与丢弃四类基础用法。以下场景需要更完整的重定向能力:
- 需要把多行文本作为命令的输入,而不借助临时文件。
- 需要同时读写同一个文件,或在脚本中精确控制某个编号的通道。
- 需要借助额外的描述符实现日志分流、锁文件与并行控制。
- 需要把命令输出作为文件参数传给只接受文件名的程序。
1.3 取舍
| 选择 | 获得 | 付出 |
|---|---|---|
| 使用管道与进程替换串联 | 无中间文件、简洁 | 需要理解描述符与作用顺序,出错时不易定位 |
| 使用临时文件串联 | 结构直观、便于观察中间结果 | 需要处理临时文件的创建、清理与权限 |
二、原理
2.1 重定向的作用时机与顺序
- 重定向由 Shell 在处理命令时按书写顺序从左到右依次生效,顺序不同结果完全不同。
- 重定向的目标是"当前时刻描述符指向的对象",因此先复制后改变引用会保留原指向。
# 判断依据:2>&1 复制的是 1 号"此刻"指向的对象
cmd > out.log 2>&1 # 1 号先指向文件,2 号复制后也指向文件,两者都写入文件
cmd 2>&1 > out.log # 2 号先复制 1 号(终端),1 号再指向文件,错误仍打印到终端
说明:判断某次重定向是否生效,只需按从左到右的顺序,逐个记录每个描述符在那一刻指向的对象。
2.2 描述符复制与关闭
| 写法 | 含义 |
|---|---|
n>&m | 使 n 号描述符复制 m 号当前指向的对象 |
n<&m | 同上,用于输入方向 |
n>&- | 关闭 n 号描述符 |
n<&- | 同上,用于输入方向 |
exec n>file | 在当前 Shell 中打开 n 号并持续有效 |
exec n>&- | 在当前 Shell 中关闭 n 号 |
# 为当前 Shell 打开一个额外描述符,后续命令可复用
exec 3> /tmp/extra.log
printf '写入额外通道\n' >&3
exec 3>&- # 用完后关闭,避免描述符泄漏
# 借额外描述符同时保留原始标准输出
exec 4>&1 # 备份 1 号
exec 1> /tmp/all.log # 1 号改指文件
printf '进入文件\n'
exec 1>&4 # 恢复 1 号
exec 4>&-
printf '回到终端\n'
要点:exec 形式的重定向作用于当前 Shell,而非单条命令;打开的描述符需要显式关闭,长期运行的脚本中描述符泄漏会累积。
2.3 打开模式与覆盖保护
| 写法 | 模式 | 说明 |
|---|---|---|
> | 截断写入 | 文件存在则清空 |
>> | 追加写入 | 不清空,写到末尾 |
< | 只读 | 作为输入 |
<> | 读写 | 不截断,可同时读写 |
>| | 强制截断 | 与 > 相同,但可绕过覆盖保护 |
# 覆盖保护:开启后普通 > 不会覆盖已存在的文件
set -o noclobber
echo x > existing.txt # 报错:文件已存在
echo x >| existing.txt # 使用强制形式绕过保护
# 关闭保护,恢复默认行为
set +o noclobber
覆盖保护用于防止误覆盖,但会使依赖 > 的脚本行为改变,因此只在交互式或明确需要时临时开启,并在脚本中避免依赖该状态。
2.4 here document
here document 把一段文本作为命令的标准输入,内容从下一行开始,直到遇到与起始标记相同的行结束。
# 基本形式:内容中的变量与命令替换会展开
cat <<EOF
当前用户:$(id -un)
家目录:$HOME
EOF
# 标记加引号:内容完全按字面处理,不做任何展开
cat <<'EOF'
原始内容:$HOME 不会被替换
EOF
# 缩进形式:用 <<- 允许用制表符缩进,结束标记前的制表符被忽略
if true; then
cat <<-EOF
缩进内容
EOF
fi
| 形式 | 展开行为 | 适用 |
|---|---|---|
| 未加引号 | 变量、命令替换与算术展开 | 需要插入动态值 |
| 单引号标记 | 完全字面 | 内容含 $、反引号等需要原样保留 |
| 反斜杠转义标记 | 效果同引号 | 需要转义起始标记时 |
说明:<<- 只去除行首的制表符,不去除空格,因此缩进必须使用制表符。
2.5 here string
here string 把单个字符串作为标准输入,是 here document 的简化形式。
# 把字符串作为输入
grep -q 'OK' <<< "$result"
read -r first rest <<< "a b c"
# 相比「回显加管道」,here string 不额外启动进程,写法更直接
2.6 命名管道与进程替换
命名管道是在文件系统中存在名称的管道,可被多个进程按文件方式打开:
# 创建并作为普通文件使用,写入端与读取端可分别在不同命令中
mkfifo /tmp/myfifo
producer > /tmp/myfifo &
consumer < /tmp/myfifo
进程替换把命令的输入或输出表现为一个可打开的文件名,供只接受文件参数的程序使用:
# 输出作为文件:<(...)
diff <(sort a.txt) <(sort b.txt)
# 输入作为文件:>(...)
tee >(gzip > out.gz) > /dev/null
# 底层对应 /dev/fd 下的描述符路径,可据此理解其"表现为文件"的原因
ls -l /dev/fd
要点:进程替换依赖系统的文件描述符目录支持,在多数现代 Linux 上可用;在部分受限环境或较早的系统中可能不可用,脚本若需跨环境应改为临时文件方案。
2.7 管道与重定向的区别
| 机制 | 连接对象 | 示例 |
|---|---|---|
| 管道 | 前一个进程的标准输出与后一个进程的标准输入 | cmd1 | cmd2 |
| 重定向 | 进程的描述符与文件或另一个描述符 | cmd > file |
管道只连接标准输出,标准错误默认不经管道;需要让标准错误进入管道时必须先合并。管道两侧是并发运行的独立进程,而重定向只是改变单个进程的描述符指向。
三、实现
3.1 多行文本输入
# 生成配置文件:内容较长时用 here document,避免多次追加
cat > /etc/app/app.conf <<'EOF'
[server]
port=8080
[log]
level=info
EOF
# 需要插入动态值时改用可展开标记
cat > /etc/app/app.conf <<EOF
[server]
port=${PORT:-8080}
host=$(hostname)
EOF
# 用 here string 做单值判断,避免启动额外进程
if grep -q 'ERROR' <<< "$line"; then
printf '命中错误:%s\n' "$line"
fi
3.2 同一文件的读写
# 错误:输入与输出指向同一文件,输出截断发生在读取之前,文件被清空
sort data.txt > data.txt
# 做法一:借助临时文件,先写临时文件再原子替换
tmp="$(mktemp)"
sort data.txt > "$tmp" && mv -- "$tmp" data.txt
# 做法二:就地修改工具本身带备份机制
sed -i.bak 's/old/new/g' data.txt
要点:对同一文件的读写必须经由中间文件,直接读写同一路径会先截断再读取,导致数据丢失。
3.3 用 exec 管理描述符
# 单实例锁:用描述符持有锁,进程退出时锁自动释放
exec 9> /var/lock/app.lock
if ! flock -n 9; then
printf '已有实例在运行\n' >&2
exit 1
fi
# 跟踪输出重定向到独立通道,避免与业务输出混杂
exec 5> /tmp/trace.log
BASH_XTRACEFD=5
set -x
critical_step
set +x
exec 5>&-
3.4 输出分流
# 同时写入文件与终端
cmd | tee -a run.log
# 同时写入文件并对错误单独处理
cmd > >(tee -a run.log) 2> >(tee -a err.log >&2)
# 只记录错误、丢弃正常输出
cmd > /dev/null 2>> err.log
3.5 常见陷阱
| 陷阱 | 表现 | 处置 |
|---|---|---|
| 合并顺序写反 | 错误未进入预期文件,仍打印到终端 | 按从左到右顺序核对描述符指向 |
| 读写同一文件 | 文件被先清空,数据丢失 | 改用临时文件或就地修改工具 |
| here document 标记未加引号 | 内容中的 $ 被意外展开 | 需要字面内容时给标记加引号 |
| here document 结束标记不匹配 | 命令一直等待输入或报错 | 结束标记必须独占一行且完全一致 |
| 无意义的管道读取 | 使用额外进程只为读取文件 | 直接对文件操作,避免无谓的追加管道 |
| 覆盖保护未预期生效 | 脚本中 > 报文件已存在 | 明确开启或关闭该选项,不依赖默认状态 |
说明:仅为了把文件内容交给命令而使用 cat 加管道,会启动一个无必要的进程;多数程序可直接接收文件名参数,应优先直接操作。
3.6 常见问题对照
| 现象 | 常见原因 | 处置 |
|---|---|---|
| 错误信息仍打印到终端 | 2>&1 与 > 的顺序写反 | 调整为先指向终端再重定向输出 |
| 日志文件为空 | 重定向只覆盖了标准输出,输出实际走了标准错误 | 明确合并或分别重定向 |
| 脚本等待输入不结束 | here document 结束标记拼写或缩进不一致 | 修正结束标记,独占一行且与起始标记一致 |
| 变量在配置文件中未被替换 | here document 起始标记加了引号 | 需要展开时去掉引号,需要字面时保留引号 |
| 强制覆盖仍报错 | 覆盖保护生效 | 使用强制截断形式或先关闭保护 |
| 描述符泄漏 | 打开的额外描述符未关闭 | 用完后显式关闭 |
| 进程替换报找不到文件 | 环境不支持该特性 | 改用临时文件方案 |
| 后台任务写管道报错退出 | 读取端已关闭,写入触发管道终止信号 | 忽略该信号或保证读取端存活 |
| 就地修改后文件被改坏 | 未保留备份 | 使用带备份后缀的就地修改 |
| 追加重定向未换行导致内容粘连 | 前一次写入没有以换行结尾 | 追加前确保以换行结尾,或用格式化输出 |
四、总结
- 文件描述符是进程引用已打开文件的编号,0、1、2 是内核按约定预先打开的标准通道。
- 重定向按从左到右的顺序生效,描述符复制的是它"此刻"指向的对象,顺序不同结果完全不同。
- 通过描述符复制与关闭可以实现备份标准输出、日志分流与单实例锁等控制。
- 覆盖保护用于防止误覆盖,但会改变脚本行为,应显式控制而不依赖默认状态。
- here document 提供多行输入,标记是否加引号决定内容是否展开,是生成配置文件的常用手段。
- here string 提供单字符串输入,避免为读取一个值启动额外进程。
- 命名管道以文件形式提供管道,进程替换把命令输入输出表现为文件参数,前者可跨命令、后者用于单条命令组合。
- 管道连接的是进程,重定向连接的是描述符与文件,管道只传递标准输出。
- 对同一文件的读写必须借助中间文件,直接读写同一路径会因先截断而后读取导致数据丢失。
- 常见故障集中在合并顺序、读写同一文件、here document 标记与描述符泄漏四处,均可按描述符指向逐项核对定位。