本文说明 Shell 在命令执行前的多层展开机制与通配规则。变量、引号与分词的基本规则见 变量与参数展开,重定向与文件描述符见 重定向与文件描述符,流程控制与循环见 流程控制与函数,文本处理工具见 文本处理工具,内建命令与命令查找见 内建命令与命令查找,脚本工程规范见 错误处理与脚本工程。
一、起源
1.1 命令执行前的多层展开
Shell 不是把输入原样交给内核,而是在执行命令前对文本做一系列有序的变换:
- 每一层展开解决一类书写需求,如批量构造字符串、引用变量、插入命令结果、匹配文件名。
- 各层有固定顺序,顺序决定了某一层的结果是否会被下一层继续处理。
- 引号的作用本质上是在某个环节"截断"后续变换,因此理解顺序才能理解引号为什么有效。
1.2 顺序决定行为的两个例子
- 花括号展开在变量展开之前进行,因此花括号内的变量写法不会被展开,需要把变量放在花括号之外。
- pathname 通配发生在分词之后,而对变量加引号会阻止分词与通配,因此引号内的通配字符不会被当作模式。
1.3 取舍
| 选择 | 获得 | 付出 |
|---|---|---|
| 充分利用展开 | 写法简洁、可批量构造与匹配 | 需要掌握顺序,边界数据下容易出错 |
| 依赖外部工具处理 | 行为直观、可控 | 需要额外进程,简单任务反而更繁琐 |
二、原理
2.1 完整展开顺序
以 bash 为例,展开按以下顺序进行:
| 顺序 | 展开 | 说明 |
|---|---|---|
| 1 | 花括号展开 | 构造多个字符串,不做文件名匹配 |
| 2 | 波浪号展开 | 展开为家目录路径 |
| 3 | 参数展开、算术展开、命令替换 | 从引号外开始,按嵌套顺序处理 |
| 4 | 分词 | 按分隔符把结果拆成多个单词 |
| 5 | pathname 通配 | 把含模式字符的单词替换为匹配的文件名 |
| 6 | 去引号 | 移除引号字符,得到最终参数 |
两条关键结论:
- 顺序靠前的展开,其产物会成为靠后展开的输入;反之不成立。
- 引号从第 3 步起改变行为:双引号阻止第 4、5 步,单引号连第 3 步也阻止。
2.2 花括号展开
花括号展开用于批量构造字符串,不检查路径是否存在:
# 逗号列表
echo file.{txt,md,bak} # file.txt file.md file.bak
# 序列:起止与步长
echo {1..5} # 1 2 3 4 5
echo {5..1} # 5 4 3 2 1
echo {1..10..2} # 1 3 5 7 9
echo {a..e} # a b c d e
echo {01..05} # 01 02 03 04 05
# 前缀后缀会与花括号内容组合
mkdir -p /data/app{1,2,3}/{logs,conf}
# 可嵌套
echo {a,b{1,2}} # a b1 b2
要点与限制:
- 花括号展开只做字符串组合,不判断文件是否存在,因此产物可能在后续通配中无匹配。
{a..e}这类字符序列依赖区域设置与版本,跨环境使用应确认行为。- 花括号内的变量不会被展开,变量需要花括号展开时,应把变量放在花括号之外或改用其他方式构造。
2.3 波浪号展开
| 写法 | 含义 |
|---|---|
~ | 当前用户家目录 |
~用户名 | 指定用户家目录 |
~+ | 当前工作目录 |
~- | 上一次的工作目录 |
波浪号只在单词开头且未被引号包裹时展开,位于单词中间或引号内时按字面处理。
2.4 参数展开与命令替换
变量展开、默认值与替代展开、算术展开、命令替换与进程替换的完整写法见 变量与参数展开。本节只强调其在顺序中的位置:
- 这三类展开从引号外的位置开始处理,且按嵌套结构由内向外解析。
- 未加引号时,其展开结果会继续参与分词与通配;加了双引号则只保留展开,不再分词与通配。
- 命令替换会去除末尾换行,这一行为与后续分词共同决定了"按行处理"必须显式控制分隔符。
2.5 分词
分词依据分隔符变量,默认包含空格、制表符与换行。分词只作用于未加引号的展开结果,是"变量值含空格时命令收到多个参数"的直接原因。逐行处理与分隔符控制的写法见 变量与参数展开。
2.6 pathname 通配
通配在分词之后进行,把含模式字符的单词替换为匹配的文件名:
| 模式 | 匹配 |
|---|---|
* | 任意长度字符串,不含路径分隔符 |
? | 任意单个字符 |
[abc] | 集合中的任一字符 |
[a-z] | 范围内的任一字符 |
[!abc] 或 [^abc] | 不在集合中的字符 |
[[:digit:]] | 字符类,与区域设置一致 |
四条规则:
- 通配不与以点开头的文件匹配,除非模式本身以点开头或开启了相应选项。
- 没有匹配时,模式按原样保留,这是"文件为空时循环执行一次"的原因。
- 匹配结果按当前区域设置排序,脚本中需要确定顺序时应固定区域设置。
- 通配只匹配已存在的路径,因此结果是文件名列表而非字符串列表。
# 常见写法
for f in *.log; do
[[ -e "$f" ]] || continue # 无匹配时跳过,避免按原样处理
printf '%s\n' "$f"
done
# 匹配以点开头的隐藏文件需要显式写出点
ls .*.conf
# 固定区域设置以获得确定顺序
LC_ALL=C ls *.log
2.7 扩展模式与递归通配
扩展模式与递归通配提供比基础通配更强的表达能力,但需要先开启对应选项:
| 模式 | 含义 | 开启选项 |
|---|---|---|
?(模式列表) | 匹配零次或一次 | extglob |
*(模式列表) | 匹配零次或多次 | extglob |
+(模式列表) | 匹配一次或多次 | extglob |
@(模式列表) | 匹配其中恰好一个 | extglob |
!(模式列表) | 匹配不在此列表中的内容 | extglob |
** | 递归匹配任意层级目录 | globstar |
shopt -s extglob
ls !(*.bak|*.tmp) # 排除若干后缀
shopt -s globstar
ls /data/**/*.log # 递归匹配各层级下的日志文件
shopt -u extglob globstar # 用完后关闭,避免影响后续解析
要点:扩展模式属于非标准语法,在关闭选项时其中的特殊字符会被当作字面字符,脚本中若依赖扩展模式,应在使用处显式开启并在结束后关闭。
2.8 控制通配行为的选项
| 选项 | 作用 |
|---|---|
nullglob | 无匹配时展开为空,而不是保留原样 |
failglob | 无匹配时报错,命令不执行 |
noglob | 关闭通配,所有模式字符按字面处理 |
dotglob | 使 * 也匹配以点开头的文件 |
nocaseglob | 通配时忽略大小写 |
globstar | 启用 ** 递归匹配 |
extglob | 启用扩展模式 |
# 让无匹配的循环不再执行一次,可替代循环内的存在性判断
shopt -s nullglob
files=(*.log)
# 临时关闭通配,把含模式字符的字符串原样传递
set -o noglob
cmd --pattern '*.log'
set +o noglob
选择依据:nullglob 让无匹配成为空列表,适合以数组接收;failglob 让无匹配成为错误,适合"必须匹配到"的场景;noglob 用于需要把含模式字符的字符串原样传出的场景。
2.9 去引号
去引号是最后一步,移除用于分组与阻止展开的引号字符,得到真正传给命令的参数。因此引号本身不会出现在参数内容中,参数中真正需要的字面引号应通过转义或嵌套引号表达。
三、实现
3.1 引用与通配的取舍
| 目标 | 写法 | 说明 |
|---|---|---|
| 按模式匹配本层文件 | 不加引号 | rm -- *.tmp 由通配展开再传给命令 |
| 把含模式字符的字符串原样传出 | 加引号 | cmd -- '*.tmp' 参数即字面模式 |
| 变量值展开后再按空格分词 | 不加引号 | 需要分词时使用,需清楚后果 |
| 变量值原样作为单个参数 | 加引号 | 默认选择 |
# 变量指向一个模式时,需要先展开为文件名列表再处理
pattern='*.log'
# 不推荐:不加引号会分词并通配,语义与预期不符
# 推荐:显式用通配或在循环内匹配
for f in *.log; do
printf '%s\n' "$f"
done
要点:需要"由变量提供模式"时,不能依赖不加引号的二次展开,因为分词会先拆开变量值;正确做法是把模式写成字面通配,或改用数组保存匹配结果。
3.2 安全遍历
# 通配遍历:适合本层、数量可控、无递归需求
for f in /data/*.log; do
[[ -e "$f" ]] || continue
printf '%s\n' "$f"
done
# 空字符分隔:适合递归、数量大、文件名可能含空格的场景
find /data -type f -name '*.log' -print0 |
while IFS= read -r -d '' f; do
printf '%s\n' "$f"
done
选择依据:通配结果按排序给出、写法简洁,但无法递归且受命令行长度限制;查找工具支持递归、条件筛选与空字符分隔,适合不确定的路径集合。
3.3 批量构造与筛选
# 批量创建目录结构
mkdir -p /opt/{app1,app2}/{bin,conf,logs}
# 批量重命名:先打印再执行
for f in *.txt; do
[[ -e "$f" ]] || continue
printf 'mv -- %q %q\n' "$f" "${f%.txt}.md"
done
# 按扩展名筛选并排除备份文件
shopt -s extglob
for f in !(*.bak).conf; do
[[ -e "$f" ]] || continue
printf '%s\n' "$f"
done
3.4 常见陷阱
| 陷阱 | 表现 | 处置 |
|---|---|---|
| 无匹配仍执行一次 | 模式按原样传给命令,命令报找不到文件 | 循环内判断存在性,或开启无匹配为空选项 |
| 变量提供模式失效 | 变量值先被分词,模式被拆开 | 改用字面通配或数组保存结果 |
| 点文件无法匹配 | * 不匹配以点开头的文件 | 显式写出点,或开启匹配点文件选项 |
| 排序结果不稳定 | 区域设置不同导致顺序不同 | 固定区域设置 |
| 花括号内变量未展开 | 花括号展开早于变量展开 | 把变量放在花括号之外 |
| 扩展模式未开启 | 特殊字符被当作字面 | 使用前显式开启扩展模式选项 |
| 递归通配未生效 | 递归选项未开启 | 开启递归选项后再使用 |
| 命令参数超长 | 通配结果过多超出命令行长度限制 | 改用查找工具配合空字符分隔传入 |
| 引号内模式未生效 | 引号阻止了通配 | 需要匹配时去掉引号 |
| 花括号产物不存在 | 花括号展开不检查路径 | 需要判存在时改用通配或先创建 |
3.5 常见问题对照
| 现象 | 常见原因 | 处置 |
|---|---|---|
| 目录为空时脚本仍尝试处理 | 无匹配时模式原样保留 | 循环内判断存在性,或开启无匹配为空选项 |
| 含空格的路径被拆开 | 使用了不带分隔控制的遍历 | 改用空字符分隔的查找与读取 |
| 模式匹配不到隐藏文件 | 基础通配不匹配点文件 | 显式写出点或开启对应选项 |
| 同名匹配顺序在机器间不同 | 区域设置不一致 | 固定区域设置 |
| 变量提供的模式不匹配 | 变量值被分词 | 改用字面通配或数组 |
| 花括号展开结果与预期不符 | 序列或嵌套写法理解偏差 | 先打印展开结果核对 |
| 删除操作命中范围过大 | 通配范围超出预期 | 先打印待处理清单再执行 |
| 扩展模式报语法错误 | 未开启选项或写错括号 | 显式开启选项并核对写法 |
四、总结
- Shell 在执行命令前会做多层展开,顺序为花括号、波浪号、参数与命令替换、分词、pathname 通配、去引号。
- 顺序决定行为:靠前展开的产物会成为靠后展开的输入,引号的作用是在某个环节截断后续变换。
- 花括号展开只做字符串构造,不检查路径是否存在,且其内部变量不会被展开。
- 波浪号只在单词开头且未被引号包裹时展开。
- 变量与命令替换的结果在未加引号时会继续参与分词与通配,加双引号后只保留展开。
- 通配发生在分词之后,不与点文件匹配、无匹配时保留原样、结果按区域设置排序。
- 扩展模式与递归通配增强了表达能力,但属于非标准语法,使用前需显式开启选项。
- 通配行为由一组选项控制,无匹配时为空、报错或保留原样三种策略应显式选择。
- 需要由变量提供模式时不应对变量做不加引号的二次展开,应改用字面通配或数组保存结果。
- 路径集合不确定时应使用查找工具配合空字符分隔,批量修改与删除一律遵循先打印再执行。