本文说明 Shell 中的作业控制、后台任务与信号处理。进程与线程的基础见 进程管理 与 系统与进程管理常用命令,服务化与守护见 systemd,定时任务见 计划任务与定时器,错误处理与退出钩子见 错误处理与脚本工程,变量与特殊参数见 变量与参数展开,以最小权限运行的约束见 主机加固与登录安全。
一、起源
1.1 进程的层次与归属
Shell 中的进程不是孤立存在的,它们按层次归属于进程组与会话,信号的作用范围由这一归属关系决定:
| 层次 | 含义 | 影响 |
|---|---|---|
| 进程 | 单个执行实例 | 信号可以直接发给它 |
| 进程组 | 一组相关进程的集合 | 信号发给进程组时组内所有进程都收到 |
| 会话 | 一个或多个进程组的集合,通常与一个终端关联 | 终端关闭时相关进程会收到挂起信号 |
理解这一结构的实际意义是:向一个进程发信号,其子进程不一定收到;反过来,终端关闭时进程收到挂起信号,是因为它仍属于该终端所在的会话。
1.2 三类需求
| 需求 | 场景 | 手段 |
|---|---|---|
| 临时后台任务 | 在交互会话中启动耗时任务,同时继续做别的事 | 作业控制与后台执行 |
| 长期运行的任务 | 需要在退出终端后继续运行 | 脱离终端,或交给服务管理器 |
| 批量并行 | 需要同时处理多个目标且控制并行度 | 后台执行加等待,或批量执行工具的并行选项 |
1.3 取舍
| 选择 | 获得 | 付出 |
|---|---|---|
| 脚本内自行管理进程 | 灵活、无需额外组件 | 需要处理信号转发与清理,容易留下孤儿进程 |
| 交给服务管理器 | 自动重启、日志与资源受控、开机自启 | 需要编写单元文件,不适合一次性任务 |
长期运行的任务优先交给服务管理器,具体做法见 systemd;脚本内只保留一次性任务与短期并行。
二、原理
2.1 作业控制
| 操作 | 说明 |
|---|---|
| 启动到后台 | 命令末尾加 & |
| 挂起前台任务 | 组合键发送终端停止信号,任务转入停止状态 |
| 查看作业 | jobs,输出中的编号是作业号而非进程号 |
| 调回前台 | fg %作业号 |
| 让停止的作业后台继续 | bg %作业号 |
| 向作业发信号 | kill %作业号,或用作业号的其他信号形式 |
| 标识 | 区别 |
|---|---|
| 作业号 | 由当前 Shell 维护,只在本次会话内有效 |
| 进程号 | 全局唯一,可用变量取得最近一个后台任务的进程号 |
作业控制是交互式功能,脚本中不应依赖它:脚本执行时通常没有作业控制能力,使用作业号会失败。
2.2 后台执行与脱离
| 方式 | 效果 | 适用 |
|---|---|---|
末尾加 & | 在当前 Shell 的后台运行,仍属于当前会话 | 交互中的临时任务 |
nohup 命令 & | 忽略挂起信号,退出终端后继续运行 | 短期的后台任务 |
disown | 把已启动的后台作业从 Shell 的作业表中移除 | 已经启动但忘记加忽略挂起信号 |
| 单独会话运行 | 通过新会话完全脱离终端 | 需要彻底脱离的场景 |
三条实践要点:
- 使用忽略挂起信号的方式时必须重定向标准输出与标准错误,否则仍会因尝试向已关闭的终端写入而失败。
- 后台任务的输出应写入带日期的日志文件,否则输出会丢失,事后无法排查。
- 彻底脱离终端的方式适合由脚本自身完成守护化,但更推荐交给服务管理器,以获得自动重启与日志管理。
# 后台任务的标准写法:脱离终端 + 重定向 + 记录进程号
nohup /opt/app/worker.sh >> "/var/log/app/worker.$(date +%F).log" 2>&1 &
worker_pid=$!
printf '%s\n' "$worker_pid" > /run/app/worker.pid
2.3 常用信号
| 信号 | 默认行为 | 是否可捕获 | 典型用途 |
|---|---|---|---|
| SIGHUP | 终止进程 | 可 | 终端关闭时发送,用于触发保存配置与重新读取 |
| SIGINT | 终止进程 | 可 | 交互中终止前台任务,即组合键发送的中断 |
| SIGQUIT | 终止并转储核心 | 可 | 需要保留现场时使用 |
| SIGTERM | 终止进程 | 可 | 标准的停止请求,应优先使用 |
| SIGKILL | 立即终止 | 不可 | 仅在进程无法响应停止请求时使用 |
| SIGUSR1 与 SIGUSR2 | 终止进程 | 可 | 由应用自定义,常用于重新打开日志与切换状态 |
| SIGCHLD | 忽略 | 可 | 子进程状态变化,通常由运行时内部处理 |
| SIGPIPE | 终止进程 | 可 | 向已关闭的管道写入时产生,管道命令组合中常见 |
| SIGSTOP | 暂停进程 | 不可 | 交互挂起 |
| SIGCONT | 恢复运行 | 不可 | 恢复被暂停的进程 |
实践结论:停止请求优先使用可捕获的终止信号,让进程有机会清理资源;强制终止不可捕获,只能作为最后手段,且可能留下不一致的临时文件与锁。
2.4 信号捕获与清理
信号捕获用于在收到外部请求或脚本退出时执行清理动作。两类钩子分工不同:
| 钩子 | 触发时机 | 用途 |
|---|---|---|
| 退出钩子 | 脚本以任何方式退出 | 删除临时文件、释放锁、输出汇总 |
| 错误钩子 | 命令失败时 | 输出上下文信息、记录失败步骤 |
| 信号捕获 | 收到指定信号时 | 优雅停止子进程、保存状态后退出 |
cleanup() {
local code=$?
[[ -n "${tmp_dir:-}" && -d "$tmp_dir" ]] && rm -rf -- "$tmp_dir"
[[ -n "${lock_fd:-}" ]] && eval "exec ${lock_fd}>&-"
exit "$code"
}
trap cleanup EXIT
on_interrupt() {
printf '收到停止请求,正在结束子进程\n' >&2
[[ -n "${child_pid:-}" ]] && kill -TERM "$child_pid" 2>/dev/null || true
exit 130
}
trap on_interrupt INT TERM
信号不会自动传给子进程,这是脚本中最容易被忽略的一点。脚本被终止时,它启动的子进程可能继续运行而成为孤儿。正确做法是在捕获处理中显式转发信号并等待子进程退出。
# 启动子进程后在捕获处理中转发信号
/opt/app/worker.sh &
child_pid=$!
forward() {
printf '转发停止信号给子进程 %s\n' "$child_pid" >&2
kill -TERM "$child_pid" 2>/dev/null || true
wait "$child_pid" 2>/dev/null || true # 等待其真正退出,避免留下孤儿
exit 143
}
trap forward TERM INT
wait "$child_pid" # 以子进程的退出码作为脚本的退出依据
2.5 等待与并行
| 手段 | 说明 |
|---|---|
| 等待全部后台任务 | 逐个等待或用不带参数的等待命令 |
| 等待任意一个结束 | 部分实现提供等待任意一个完成的选项 |
| 控制并行度 | 自行计数或使用批量执行工具的并行选项 |
# 简单并行:等待全部完成并汇总退出码
pids=()
for host in "${hosts[@]}"; do
check_host "$host" &
pids+=("$!")
done
failed=0
for pid in "${pids[@]}"; do
wait "$pid" || failed=$((failed + 1))
done
printf '失败主机数=%d\n' "$failed"
# 控制并行度:每启动固定数量的任务后等待一批
max_parallel=4
running=0
for host in "${hosts[@]}"; do
check_host "$host" &
((running++))
if (( running >= max_parallel )); then
wait -n || true # 等待任意一个结束再启动下一个
((running--))
fi
done
wait
并行度需要与目标端的承受能力匹配:并行度设置过高会把下游打满,这在批量对多台主机执行操作时尤其明显。
2.6 超时与强制终止
# 使用超时命令限制单次执行时间
timeout -k 5 30 curl -sf -o /dev/null https://internal/health
# 自行实现:后台执行加轮询等待,超时后按先礼后兵的顺序终止
run_with_timeout() {
local seconds="$1"; shift
"$@" &
local pid=$!
local waited=0
while kill -0 "$pid" 2>/dev/null; do
if (( waited >= seconds )); then
kill -TERM "$pid" 2>/dev/null || true
sleep 2
kill -KILL "$pid" 2>/dev/null || true
wait "$pid" 2>/dev/null || true
return 124
fi
sleep 1
((waited++))
done
wait "$pid"
}
要点:先发可捕获的终止信号并留出清理时间,再使用强制终止;等待被终止的进程回收,避免产生僵尸进程。
2.7 进程与句柄核对
# 按名称与命令行匹配进程(脚本中优先使用匹配命令行的方式,避免漏掉解释器启动的脚本)
pgrep -a -f 'worker.sh'
ps -o pid,ppid,pgid,sess,etime,rss,cmd -p "$pid"
# 确认父子关系与所属会话(判断是否已被终端影响)
ps -o pid,ppid,pgid,sess,tty,cmd --ppid "$pid"
# 确认进程打开的文件与网络连接
lsof -p "$pid" | head -20
ss -antp | grep "pid=$pid"
# 确认是否为僵尸或停止状态
ps -o pid,stat,cmd -p "$pid"
三、实现
3.1 后台任务模板
#!/usr/bin/env bash
set -euo pipefail
readonly APP_NAME="worker"
readonly RUN_DIR="/run/app"
readonly LOG_DIR="/var/log/app"
readonly PID_FILE="${RUN_DIR}/${APP_NAME}.pid"
mkdir -p -- "$RUN_DIR" "$LOG_DIR"
# 避免重复启动:检查进程是否存在
if [[ -f "$PID_FILE" ]] && kill -0 "$(cat "$PID_FILE")" 2>/dev/null; then
printf '%s 已在运行,进程号=%s\n' "$APP_NAME" "$(cat "$PID_FILE")" >&2
exit 1
fi
# 脱离终端并重定向输出,避免关闭终端后任务中断
nohup /opt/app/worker.sh >> "${LOG_DIR}/${APP_NAME}.$(date +%F).log" 2>&1 &
pid=$!
printf '%s\n' "$pid" > "$PID_FILE"
printf '%s 已启动,进程号=%s\n' "$APP_NAME" "$pid"
3.2 信号转发模板
#!/usr/bin/env bash
set -euo pipefail
child_pid=""
stopping=0
stop_child() {
(( stopping == 1 )) && return
stopping=1
if [[ -n "$child_pid" ]] && kill -0 "$child_pid" 2>/dev/null; then
printf '向子进程 %s 发送停止信号\n' "$child_pid" >&2
kill -TERM "$child_pid" 2>/dev/null || true
# 留出优雅退出时间,超时后强制终止
for _ in {1..10}; do
kill -0 "$child_pid" 2>/dev/null || break
sleep 1
done
kill -KILL "$child_pid" 2>/dev/null || true
wait "$child_pid" 2>/dev/null || true
fi
}
trap 'stop_child; exit 143' TERM
trap 'stop_child; exit 130' INT
trap 'stop_child' EXIT
/opt/app/worker.sh &
child_pid=$!
wait "$child_pid"
要点:三个钩子都要指向同一清理逻辑,并用标志位保证清理只执行一次;退出码按收到的信号返回,便于调用方判断是被停止还是自身失败。
3.3 并行批处理模板
#!/usr/bin/env bash
set -uo pipefail
readonly MAX_PARALLEL=4
readonly TASK_TIMEOUT=60
work_dir="$(mktemp -d)"
trap 'rm -rf -- "$work_dir"' EXIT
run_task() {
local host="$1"
timeout -k 5 "$TASK_TIMEOUT" ssh -o BatchMode=yes -o ConnectTimeout=5 \
"$host" 'uptime' > "${work_dir}/${host}.out" 2>&1
}
pids=()
hosts=()
for host in "$@"; do
while (( $(jobs -pr | wc -l) >= MAX_PARALLEL )); do
sleep 0.2
done
run_task "$host" &
pids+=("$!")
hosts+=("$host")
done
failed=()
for i in "${!pids[@]}"; do
if ! wait "${pids[$i]}"; then
failed+=("${hosts[$i]}")
fi
done
if (( ${#failed[@]} > 0 )); then
printf '失败主机:%s\n' "${failed[*]}" >&2
exit 1
fi
printf '全部 %d 台主机检查完成\n' "${#hosts[@]}"
3.4 常见问题对照
| 现象 | 常见原因 | 处置 |
|---|---|---|
| 退出终端后后台任务中断 | 未忽略挂起信号 | 使用忽略挂起信号的方式启动 |
| 后台任务无输出且无日志 | 输出仍指向已关闭的终端 | 显式重定向标准输出与标准错误 |
| 停止脚本后子进程仍在运行 | 信号不会自动下传给子进程 | 在捕获处理中显式转发并等待 |
| 出现僵尸进程 | 未回收已结束的子进程 | 使用等待命令回收 |
| 强制终止后留下锁文件 | 进程无机会执行清理 | 优先使用可捕获的终止信号,并在启动时检测残留锁 |
| 并行脚本把下游打满 | 并行度未限制 | 按对端承受能力设置并行度 |
| 任务偶发长时间无响应 | 缺少超时控制 | 为外部调用设置超时并分级终止 |
| 重复启动同一任务 | 未做单实例控制 | 使用进程号文件或文件锁保证唯一 |
| 作业号在脚本中报错 | 脚本环境无作业控制 | 改用进程号 |
| 超时后进程未真正结束 | 只发送了可捕获信号而未升级 | 分级终止,必要时使用强制终止并等待回收 |
| 判断进程是否存在误判 | 进程号被回收后复用到其他进程 | 结合命令行匹配与启动时间核对 |
四、总结
- 进程按进程组与会话组织,信号的作用范围由归属关系决定;向单个进程发信号不会自动影响其子进程。
- 作业控制是交互式功能,脚本中应使用进程号而不是作业号,也不能依赖作业控制能力。
- 后台任务的三种脱离方式中,忽略挂起信号适用于短期任务,彻底脱离终端适合脚本自身守护化,长期任务应交给服务管理器。
- 后台任务必须重定向输出并记录进程号,否则输出丢失且无法判断任务是否在运行。
- 停止请求优先使用可捕获的终止信号,强制终止不可捕获且可能留下不一致状态,只能作为最后手段。
- 信号不会下传给子进程,这是脚本产生孤儿进程的根因,需要在捕获处理中显式转发并等待回收。
- 退出钩子、错误钩子与信号捕获三者分工不同,应指向同一清理逻辑并用标志位保证只执行一次。
- 并行执行需要控制并行度,且并行度要与下游承受能力匹配;同时必须回收全部子进程并统计失败项。
- 外部调用必须设置超时,终止时按"先可捕获、后强制"的顺序分级执行,并等待进程回收以避免僵尸。
- 判断进程是否存活不能只看进程号,需要结合命令行匹配与启动时间,避免因进程号复用产生误判。