本文说明 Shell 在命令执行前的多层展开机制与通配规则。变量、引号与分词的基本规则见 变量与参数展开,重定向与文件描述符见 重定向与文件描述符,流程控制与循环见 流程控制与函数,文本处理工具见 文本处理工具,内建命令与命令查找见 内建命令与命令查找,脚本工程规范见 错误处理与脚本工程。

一、起源

1.1 命令执行前的多层展开

Shell 不是把输入原样交给内核,而是在执行命令前对文本做一系列有序的变换:

  1. 每一层展开解决一类书写需求,如批量构造字符串、引用变量、插入命令结果、匹配文件名。
  2. 各层有固定顺序,顺序决定了某一层的结果是否会被下一层继续处理。
  3. 引号的作用本质上是在某个环节"截断"后续变换,因此理解顺序才能理解引号为什么有效。

1.2 顺序决定行为的两个例子

  1. 花括号展开在变量展开之前进行,因此花括号内的变量写法不会被展开,需要把变量放在花括号之外。
  2. pathname 通配发生在分词之后,而对变量加引号会阻止分词与通配,因此引号内的通配字符不会被当作模式。

1.3 取舍

选择 获得 付出
充分利用展开 写法简洁、可批量构造与匹配 需要掌握顺序,边界数据下容易出错
依赖外部工具处理 行为直观、可控 需要额外进程,简单任务反而更繁琐

二、原理

2.1 完整展开顺序

以 bash 为例,展开按以下顺序进行:

顺序 展开 说明
1 花括号展开 构造多个字符串,不做文件名匹配
2 波浪号展开 展开为家目录路径
3 参数展开、算术展开、命令替换 从引号外开始,按嵌套顺序处理
4 分词 按分隔符把结果拆成多个单词
5 pathname 通配 把含模式字符的单词替换为匹配的文件名
6 去引号 移除引号字符,得到最终参数

两条关键结论:

  1. 顺序靠前的展开,其产物会成为靠后展开的输入;反之不成立。
  2. 引号从第 3 步起改变行为:双引号阻止第 4、5 步,单引号连第 3 步也阻止。

2.2 花括号展开

花括号展开用于批量构造字符串,不检查路径是否存在:

# 逗号列表
echo file.{txt,md,bak}            # file.txt file.md file.bak

# 序列:起止与步长
echo {1..5}                       # 1 2 3 4 5
echo {5..1}                       # 5 4 3 2 1
echo {1..10..2}                   # 1 3 5 7 9
echo {a..e}                       # a b c d e
echo {01..05}                     # 01 02 03 04 05

# 前缀后缀会与花括号内容组合
mkdir -p /data/app{1,2,3}/{logs,conf}

# 可嵌套
echo {a,b{1,2}}                   # a b1 b2

要点与限制:

  • 花括号展开只做字符串组合,不判断文件是否存在,因此产物可能在后续通配中无匹配。
  • {a..e} 这类字符序列依赖区域设置与版本,跨环境使用应确认行为。
  • 花括号内的变量不会被展开,变量需要花括号展开时,应把变量放在花括号之外或改用其他方式构造。

2.3 波浪号展开

写法 含义
~ 当前用户家目录
~用户名 指定用户家目录
~+ 当前工作目录
~- 上一次的工作目录

波浪号只在单词开头且未被引号包裹时展开,位于单词中间或引号内时按字面处理。

2.4 参数展开与命令替换

变量展开、默认值与替代展开、算术展开、命令替换与进程替换的完整写法见 变量与参数展开。本节只强调其在顺序中的位置:

  1. 这三类展开从引号外的位置开始处理,且按嵌套结构由内向外解析。
  2. 未加引号时,其展开结果会继续参与分词与通配;加了双引号则只保留展开,不再分词与通配。
  3. 命令替换会去除末尾换行,这一行为与后续分词共同决定了"按行处理"必须显式控制分隔符。

2.5 分词

分词依据分隔符变量,默认包含空格、制表符与换行。分词只作用于未加引号的展开结果,是"变量值含空格时命令收到多个参数"的直接原因。逐行处理与分隔符控制的写法见 变量与参数展开。

2.6 pathname 通配

通配在分词之后进行,把含模式字符的单词替换为匹配的文件名:

模式 匹配
* 任意长度字符串,不含路径分隔符
? 任意单个字符
[abc] 集合中的任一字符
[a-z] 范围内的任一字符
[!abc] 或 [^abc] 不在集合中的字符
[[:digit:]] 字符类,与区域设置一致

四条规则:

  1. 通配不与以点开头的文件匹配,除非模式本身以点开头或开启了相应选项。
  2. 没有匹配时,模式按原样保留,这是"文件为空时循环执行一次"的原因。
  3. 匹配结果按当前区域设置排序,脚本中需要确定顺序时应固定区域设置。
  4. 通配只匹配已存在的路径,因此结果是文件名列表而非字符串列表。
# 常见写法
for f in *.log; do
    [[ -e "$f" ]] || continue      # 无匹配时跳过,避免按原样处理
    printf '%s\n' "$f"
done

# 匹配以点开头的隐藏文件需要显式写出点
ls .*.conf

# 固定区域设置以获得确定顺序
LC_ALL=C ls *.log

2.7 扩展模式与递归通配

扩展模式与递归通配提供比基础通配更强的表达能力,但需要先开启对应选项:

模式 含义 开启选项
?(模式列表) 匹配零次或一次 extglob
*(模式列表) 匹配零次或多次 extglob
+(模式列表) 匹配一次或多次 extglob
@(模式列表) 匹配其中恰好一个 extglob
!(模式列表) 匹配不在此列表中的内容 extglob
** 递归匹配任意层级目录 globstar
shopt -s extglob
ls !(*.bak|*.tmp)                  # 排除若干后缀

shopt -s globstar
ls /data/**/*.log                  # 递归匹配各层级下的日志文件

shopt -u extglob globstar          # 用完后关闭,避免影响后续解析

要点:扩展模式属于非标准语法,在关闭选项时其中的特殊字符会被当作字面字符,脚本中若依赖扩展模式,应在使用处显式开启并在结束后关闭。

2.8 控制通配行为的选项

选项 作用
nullglob 无匹配时展开为空,而不是保留原样
failglob 无匹配时报错,命令不执行
noglob 关闭通配,所有模式字符按字面处理
dotglob 使 * 也匹配以点开头的文件
nocaseglob 通配时忽略大小写
globstar 启用 ** 递归匹配
extglob 启用扩展模式
# 让无匹配的循环不再执行一次,可替代循环内的存在性判断
shopt -s nullglob
files=(*.log)

# 临时关闭通配,把含模式字符的字符串原样传递
set -o noglob
cmd --pattern '*.log'
set +o noglob

选择依据:nullglob 让无匹配成为空列表,适合以数组接收;failglob 让无匹配成为错误,适合"必须匹配到"的场景;noglob 用于需要把含模式字符的字符串原样传出的场景。

2.9 去引号

去引号是最后一步,移除用于分组与阻止展开的引号字符,得到真正传给命令的参数。因此引号本身不会出现在参数内容中,参数中真正需要的字面引号应通过转义或嵌套引号表达。

三、实现

3.1 引用与通配的取舍

目标 写法 说明
按模式匹配本层文件 不加引号 rm -- *.tmp 由通配展开再传给命令
把含模式字符的字符串原样传出 加引号 cmd -- '*.tmp' 参数即字面模式
变量值展开后再按空格分词 不加引号 需要分词时使用,需清楚后果
变量值原样作为单个参数 加引号 默认选择
# 变量指向一个模式时,需要先展开为文件名列表再处理
pattern='*.log'
# 不推荐:不加引号会分词并通配,语义与预期不符
# 推荐:显式用通配或在循环内匹配
for f in *.log; do
    printf '%s\n' "$f"
done

要点:需要"由变量提供模式"时,不能依赖不加引号的二次展开,因为分词会先拆开变量值;正确做法是把模式写成字面通配,或改用数组保存匹配结果。

3.2 安全遍历

# 通配遍历:适合本层、数量可控、无递归需求
for f in /data/*.log; do
    [[ -e "$f" ]] || continue
    printf '%s\n' "$f"
done

# 空字符分隔:适合递归、数量大、文件名可能含空格的场景
find /data -type f -name '*.log' -print0 |
    while IFS= read -r -d '' f; do
        printf '%s\n' "$f"
    done

选择依据:通配结果按排序给出、写法简洁,但无法递归且受命令行长度限制;查找工具支持递归、条件筛选与空字符分隔,适合不确定的路径集合。

3.3 批量构造与筛选

# 批量创建目录结构
mkdir -p /opt/{app1,app2}/{bin,conf,logs}

# 批量重命名:先打印再执行
for f in *.txt; do
    [[ -e "$f" ]] || continue
    printf 'mv -- %q %q\n' "$f" "${f%.txt}.md"
done

# 按扩展名筛选并排除备份文件
shopt -s extglob
for f in !(*.bak).conf; do
    [[ -e "$f" ]] || continue
    printf '%s\n' "$f"
done

3.4 常见陷阱

陷阱 表现 处置
无匹配仍执行一次 模式按原样传给命令,命令报找不到文件 循环内判断存在性,或开启无匹配为空选项
变量提供模式失效 变量值先被分词,模式被拆开 改用字面通配或数组保存结果
点文件无法匹配 * 不匹配以点开头的文件 显式写出点,或开启匹配点文件选项
排序结果不稳定 区域设置不同导致顺序不同 固定区域设置
花括号内变量未展开 花括号展开早于变量展开 把变量放在花括号之外
扩展模式未开启 特殊字符被当作字面 使用前显式开启扩展模式选项
递归通配未生效 递归选项未开启 开启递归选项后再使用
命令参数超长 通配结果过多超出命令行长度限制 改用查找工具配合空字符分隔传入
引号内模式未生效 引号阻止了通配 需要匹配时去掉引号
花括号产物不存在 花括号展开不检查路径 需要判存在时改用通配或先创建

3.5 常见问题对照

现象 常见原因 处置
目录为空时脚本仍尝试处理 无匹配时模式原样保留 循环内判断存在性,或开启无匹配为空选项
含空格的路径被拆开 使用了不带分隔控制的遍历 改用空字符分隔的查找与读取
模式匹配不到隐藏文件 基础通配不匹配点文件 显式写出点或开启对应选项
同名匹配顺序在机器间不同 区域设置不一致 固定区域设置
变量提供的模式不匹配 变量值被分词 改用字面通配或数组
花括号展开结果与预期不符 序列或嵌套写法理解偏差 先打印展开结果核对
删除操作命中范围过大 通配范围超出预期 先打印待处理清单再执行
扩展模式报语法错误 未开启选项或写错括号 显式开启选项并核对写法

四、总结

  1. Shell 在执行命令前会做多层展开,顺序为花括号、波浪号、参数与命令替换、分词、pathname 通配、去引号。
  2. 顺序决定行为:靠前展开的产物会成为靠后展开的输入,引号的作用是在某个环节截断后续变换。
  3. 花括号展开只做字符串构造,不检查路径是否存在,且其内部变量不会被展开。
  4. 波浪号只在单词开头且未被引号包裹时展开。
  5. 变量与命令替换的结果在未加引号时会继续参与分词与通配,加双引号后只保留展开。
  6. 通配发生在分词之后,不与点文件匹配、无匹配时保留原样、结果按区域设置排序。
  7. 扩展模式与递归通配增强了表达能力,但属于非标准语法,使用前需显式开启选项。
  8. 通配行为由一组选项控制,无匹配时为空、报错或保留原样三种策略应显式选择。
  9. 需要由变量提供模式时不应对变量做不加引号的二次展开,应改用字面通配或数组保存结果。
  10. 路径集合不确定时应使用查找工具配合空字符分隔,批量修改与删除一律遵循先打印再执行。