本文说明重定向的进阶用法与文件描述符操作。标准流的基础概念与三类基础重定向见 终端与标准流,变量与展开见 变量与参数展开,通配与展开顺序见 通配与展开顺序,文本处理见 文本处理工具,错误处理与脚本工程见 错误处理与脚本工程,进程与文件描述符的关系见 进程管理。

一、起源

1.1 文件描述符的本质

  1. 进程不能直接操作文件,只能通过内核分配的编号引用已打开的文件,这个编号即文件描述符。
  2. 每个进程启动时,内核已按约定打开三个描述符:0 为标准输入、1 为标准输出、2 为标准错误。
  3. 描述符是进程的属性,指向内核中的打开文件表项,因此同一描述符在不同进程中可以指向不同对象。

1.2 基础重定向的不足

标准流文档覆盖了覆盖写入、追加写入、错误合并与丢弃四类基础用法。以下场景需要更完整的重定向能力:

  1. 需要把多行文本作为命令的输入,而不借助临时文件。
  2. 需要同时读写同一个文件,或在脚本中精确控制某个编号的通道。
  3. 需要借助额外的描述符实现日志分流、锁文件与并行控制。
  4. 需要把命令输出作为文件参数传给只接受文件名的程序。

1.3 取舍

选择 获得 付出
使用管道与进程替换串联 无中间文件、简洁 需要理解描述符与作用顺序,出错时不易定位
使用临时文件串联 结构直观、便于观察中间结果 需要处理临时文件的创建、清理与权限

二、原理

2.1 重定向的作用时机与顺序

  1. 重定向由 Shell 在处理命令时按书写顺序从左到右依次生效,顺序不同结果完全不同。
  2. 重定向的目标是"当前时刻描述符指向的对象",因此先复制后改变引用会保留原指向。
# 判断依据:2>&1 复制的是 1 号"此刻"指向的对象
cmd > out.log 2>&1     # 1 号先指向文件,2 号复制后也指向文件,两者都写入文件
cmd 2>&1 > out.log     # 2 号先复制 1 号(终端),1 号再指向文件,错误仍打印到终端

说明:判断某次重定向是否生效,只需按从左到右的顺序,逐个记录每个描述符在那一刻指向的对象。

2.2 描述符复制与关闭

写法 含义
n>&m 使 n 号描述符复制 m 号当前指向的对象
n<&m 同上,用于输入方向
n>&- 关闭 n 号描述符
n<&- 同上,用于输入方向
exec n>file 在当前 Shell 中打开 n 号并持续有效
exec n>&- 在当前 Shell 中关闭 n 号
# 为当前 Shell 打开一个额外描述符,后续命令可复用
exec 3> /tmp/extra.log
printf '写入额外通道\n' >&3
exec 3>&-                 # 用完后关闭,避免描述符泄漏

# 借额外描述符同时保留原始标准输出
exec 4>&1                 # 备份 1 号
exec 1> /tmp/all.log      # 1 号改指文件
printf '进入文件\n'
exec 1>&4                 # 恢复 1 号
exec 4>&-
printf '回到终端\n'

要点:exec 形式的重定向作用于当前 Shell,而非单条命令;打开的描述符需要显式关闭,长期运行的脚本中描述符泄漏会累积。

2.3 打开模式与覆盖保护

写法 模式 说明
> 截断写入 文件存在则清空
>> 追加写入 不清空,写到末尾
< 只读 作为输入
<> 读写 不截断,可同时读写
>| 强制截断 与 > 相同,但可绕过覆盖保护
# 覆盖保护:开启后普通 > 不会覆盖已存在的文件
set -o noclobber
echo x > existing.txt      # 报错:文件已存在
echo x >| existing.txt     # 使用强制形式绕过保护

# 关闭保护,恢复默认行为
set +o noclobber

覆盖保护用于防止误覆盖,但会使依赖 > 的脚本行为改变,因此只在交互式或明确需要时临时开启,并在脚本中避免依赖该状态。

2.4 here document

here document 把一段文本作为命令的标准输入,内容从下一行开始,直到遇到与起始标记相同的行结束。

# 基本形式:内容中的变量与命令替换会展开
cat <<EOF
当前用户:$(id -un)
家目录:$HOME
EOF

# 标记加引号:内容完全按字面处理,不做任何展开
cat <<'EOF'
原始内容:$HOME 不会被替换
EOF

# 缩进形式:用 <<- 允许用制表符缩进,结束标记前的制表符被忽略
if true; then
    cat <<-EOF
	缩进内容
	EOF
fi
形式 展开行为 适用
未加引号 变量、命令替换与算术展开 需要插入动态值
单引号标记 完全字面 内容含 $、反引号等需要原样保留
反斜杠转义标记 效果同引号 需要转义起始标记时

说明:<<- 只去除行首的制表符,不去除空格,因此缩进必须使用制表符。

2.5 here string

here string 把单个字符串作为标准输入,是 here document 的简化形式。

# 把字符串作为输入
grep -q 'OK' <<< "$result"
read -r first rest <<< "a b c"

# 相比「回显加管道」,here string 不额外启动进程,写法更直接

2.6 命名管道与进程替换

命名管道是在文件系统中存在名称的管道,可被多个进程按文件方式打开:

# 创建并作为普通文件使用,写入端与读取端可分别在不同命令中
mkfifo /tmp/myfifo
producer > /tmp/myfifo &
consumer < /tmp/myfifo

进程替换把命令的输入或输出表现为一个可打开的文件名,供只接受文件参数的程序使用:

# 输出作为文件:<(...)
diff <(sort a.txt) <(sort b.txt)

# 输入作为文件:>(...)
tee >(gzip > out.gz) > /dev/null

# 底层对应 /dev/fd 下的描述符路径,可据此理解其"表现为文件"的原因
ls -l /dev/fd

要点:进程替换依赖系统的文件描述符目录支持,在多数现代 Linux 上可用;在部分受限环境或较早的系统中可能不可用,脚本若需跨环境应改为临时文件方案。

2.7 管道与重定向的区别

机制 连接对象 示例
管道 前一个进程的标准输出与后一个进程的标准输入 cmd1 | cmd2
重定向 进程的描述符与文件或另一个描述符 cmd > file

管道只连接标准输出,标准错误默认不经管道;需要让标准错误进入管道时必须先合并。管道两侧是并发运行的独立进程,而重定向只是改变单个进程的描述符指向。

三、实现

3.1 多行文本输入

# 生成配置文件:内容较长时用 here document,避免多次追加
cat > /etc/app/app.conf <<'EOF'
[server]
port=8080
[log]
level=info
EOF

# 需要插入动态值时改用可展开标记
cat > /etc/app/app.conf <<EOF
[server]
port=${PORT:-8080}
host=$(hostname)
EOF

# 用 here string 做单值判断,避免启动额外进程
if grep -q 'ERROR' <<< "$line"; then
    printf '命中错误:%s\n' "$line"
fi

3.2 同一文件的读写

# 错误:输入与输出指向同一文件,输出截断发生在读取之前,文件被清空
sort data.txt > data.txt

# 做法一:借助临时文件,先写临时文件再原子替换
tmp="$(mktemp)"
sort data.txt > "$tmp" && mv -- "$tmp" data.txt

# 做法二:就地修改工具本身带备份机制
sed -i.bak 's/old/new/g' data.txt

要点:对同一文件的读写必须经由中间文件,直接读写同一路径会先截断再读取,导致数据丢失。

3.3 用 exec 管理描述符

# 单实例锁:用描述符持有锁,进程退出时锁自动释放
exec 9> /var/lock/app.lock
if ! flock -n 9; then
    printf '已有实例在运行\n' >&2
    exit 1
fi

# 跟踪输出重定向到独立通道,避免与业务输出混杂
exec 5> /tmp/trace.log
BASH_XTRACEFD=5
set -x
critical_step
set +x
exec 5>&-

3.4 输出分流

# 同时写入文件与终端
cmd | tee -a run.log

# 同时写入文件并对错误单独处理
cmd > >(tee -a run.log) 2> >(tee -a err.log >&2)

# 只记录错误、丢弃正常输出
cmd > /dev/null 2>> err.log

3.5 常见陷阱

陷阱 表现 处置
合并顺序写反 错误未进入预期文件,仍打印到终端 按从左到右顺序核对描述符指向
读写同一文件 文件被先清空,数据丢失 改用临时文件或就地修改工具
here document 标记未加引号 内容中的 $ 被意外展开 需要字面内容时给标记加引号
here document 结束标记不匹配 命令一直等待输入或报错 结束标记必须独占一行且完全一致
无意义的管道读取 使用额外进程只为读取文件 直接对文件操作,避免无谓的追加管道
覆盖保护未预期生效 脚本中 > 报文件已存在 明确开启或关闭该选项,不依赖默认状态

说明:仅为了把文件内容交给命令而使用 cat 加管道,会启动一个无必要的进程;多数程序可直接接收文件名参数,应优先直接操作。

3.6 常见问题对照

现象 常见原因 处置
错误信息仍打印到终端 2>&1 与 > 的顺序写反 调整为先指向终端再重定向输出
日志文件为空 重定向只覆盖了标准输出,输出实际走了标准错误 明确合并或分别重定向
脚本等待输入不结束 here document 结束标记拼写或缩进不一致 修正结束标记,独占一行且与起始标记一致
变量在配置文件中未被替换 here document 起始标记加了引号 需要展开时去掉引号,需要字面时保留引号
强制覆盖仍报错 覆盖保护生效 使用强制截断形式或先关闭保护
描述符泄漏 打开的额外描述符未关闭 用完后显式关闭
进程替换报找不到文件 环境不支持该特性 改用临时文件方案
后台任务写管道报错退出 读取端已关闭,写入触发管道终止信号 忽略该信号或保证读取端存活
就地修改后文件被改坏 未保留备份 使用带备份后缀的就地修改
追加重定向未换行导致内容粘连 前一次写入没有以换行结尾 追加前确保以换行结尾,或用格式化输出

四、总结

  1. 文件描述符是进程引用已打开文件的编号,0、1、2 是内核按约定预先打开的标准通道。
  2. 重定向按从左到右的顺序生效,描述符复制的是它"此刻"指向的对象,顺序不同结果完全不同。
  3. 通过描述符复制与关闭可以实现备份标准输出、日志分流与单实例锁等控制。
  4. 覆盖保护用于防止误覆盖,但会改变脚本行为,应显式控制而不依赖默认状态。
  5. here document 提供多行输入,标记是否加引号决定内容是否展开,是生成配置文件的常用手段。
  6. here string 提供单字符串输入,避免为读取一个值启动额外进程。
  7. 命名管道以文件形式提供管道,进程替换把命令输入输出表现为文件参数,前者可跨命令、后者用于单条命令组合。
  8. 管道连接的是进程,重定向连接的是描述符与文件,管道只传递标准输出。
  9. 对同一文件的读写必须借助中间文件,直接读写同一路径会因先截断而后读取导致数据丢失。
  10. 常见故障集中在合并顺序、读写同一文件、here document 标记与描述符泄漏四处,均可按描述符指向逐项核对定位。