本文说明 Shell 中的作业控制、后台任务与信号处理。进程与线程的基础见 进程管理 与 系统与进程管理常用命令,服务化与守护见 systemd,定时任务见 计划任务与定时器,错误处理与退出钩子见 错误处理与脚本工程,变量与特殊参数见 变量与参数展开,以最小权限运行的约束见 主机加固与登录安全。

一、起源

1.1 进程的层次与归属

Shell 中的进程不是孤立存在的,它们按层次归属于进程组与会话,信号的作用范围由这一归属关系决定:

层次 含义 影响
进程 单个执行实例 信号可以直接发给它
进程组 一组相关进程的集合 信号发给进程组时组内所有进程都收到
会话 一个或多个进程组的集合,通常与一个终端关联 终端关闭时相关进程会收到挂起信号

理解这一结构的实际意义是:向一个进程发信号,其子进程不一定收到;反过来,终端关闭时进程收到挂起信号,是因为它仍属于该终端所在的会话。

1.2 三类需求

需求 场景 手段
临时后台任务 在交互会话中启动耗时任务,同时继续做别的事 作业控制与后台执行
长期运行的任务 需要在退出终端后继续运行 脱离终端,或交给服务管理器
批量并行 需要同时处理多个目标且控制并行度 后台执行加等待,或批量执行工具的并行选项

1.3 取舍

选择 获得 付出
脚本内自行管理进程 灵活、无需额外组件 需要处理信号转发与清理,容易留下孤儿进程
交给服务管理器 自动重启、日志与资源受控、开机自启 需要编写单元文件,不适合一次性任务

长期运行的任务优先交给服务管理器,具体做法见 systemd;脚本内只保留一次性任务与短期并行。

二、原理

2.1 作业控制

操作 说明
启动到后台 命令末尾加 &
挂起前台任务 组合键发送终端停止信号,任务转入停止状态
查看作业 jobs,输出中的编号是作业号而非进程号
调回前台 fg %作业号
让停止的作业后台继续 bg %作业号
向作业发信号 kill %作业号,或用作业号的其他信号形式
标识 区别
作业号 由当前 Shell 维护,只在本次会话内有效
进程号 全局唯一,可用变量取得最近一个后台任务的进程号

作业控制是交互式功能,脚本中不应依赖它:脚本执行时通常没有作业控制能力,使用作业号会失败。

2.2 后台执行与脱离

方式 效果 适用
末尾加 & 在当前 Shell 的后台运行,仍属于当前会话 交互中的临时任务
nohup 命令 & 忽略挂起信号,退出终端后继续运行 短期的后台任务
disown 把已启动的后台作业从 Shell 的作业表中移除 已经启动但忘记加忽略挂起信号
单独会话运行 通过新会话完全脱离终端 需要彻底脱离的场景

三条实践要点:

  • 使用忽略挂起信号的方式时必须重定向标准输出与标准错误,否则仍会因尝试向已关闭的终端写入而失败。
  • 后台任务的输出应写入带日期的日志文件,否则输出会丢失,事后无法排查。
  • 彻底脱离终端的方式适合由脚本自身完成守护化,但更推荐交给服务管理器,以获得自动重启与日志管理。
# 后台任务的标准写法:脱离终端 + 重定向 + 记录进程号
nohup /opt/app/worker.sh >> "/var/log/app/worker.$(date +%F).log" 2>&1 &
worker_pid=$!
printf '%s\n' "$worker_pid" > /run/app/worker.pid

2.3 常用信号

信号 默认行为 是否可捕获 典型用途
SIGHUP 终止进程 可 终端关闭时发送,用于触发保存配置与重新读取
SIGINT 终止进程 可 交互中终止前台任务,即组合键发送的中断
SIGQUIT 终止并转储核心 可 需要保留现场时使用
SIGTERM 终止进程 可 标准的停止请求,应优先使用
SIGKILL 立即终止 不可 仅在进程无法响应停止请求时使用
SIGUSR1 与 SIGUSR2 终止进程 可 由应用自定义,常用于重新打开日志与切换状态
SIGCHLD 忽略 可 子进程状态变化,通常由运行时内部处理
SIGPIPE 终止进程 可 向已关闭的管道写入时产生,管道命令组合中常见
SIGSTOP 暂停进程 不可 交互挂起
SIGCONT 恢复运行 不可 恢复被暂停的进程

实践结论:停止请求优先使用可捕获的终止信号,让进程有机会清理资源;强制终止不可捕获,只能作为最后手段,且可能留下不一致的临时文件与锁。

2.4 信号捕获与清理

信号捕获用于在收到外部请求或脚本退出时执行清理动作。两类钩子分工不同:

钩子 触发时机 用途
退出钩子 脚本以任何方式退出 删除临时文件、释放锁、输出汇总
错误钩子 命令失败时 输出上下文信息、记录失败步骤
信号捕获 收到指定信号时 优雅停止子进程、保存状态后退出
cleanup() {
    local code=$?
    [[ -n "${tmp_dir:-}" && -d "$tmp_dir" ]] && rm -rf -- "$tmp_dir"
    [[ -n "${lock_fd:-}" ]] && eval "exec ${lock_fd}>&-"
    exit "$code"
}
trap cleanup EXIT

on_interrupt() {
    printf '收到停止请求,正在结束子进程\n' >&2
    [[ -n "${child_pid:-}" ]] && kill -TERM "$child_pid" 2>/dev/null || true
    exit 130
}
trap on_interrupt INT TERM

信号不会自动传给子进程,这是脚本中最容易被忽略的一点。脚本被终止时,它启动的子进程可能继续运行而成为孤儿。正确做法是在捕获处理中显式转发信号并等待子进程退出。

# 启动子进程后在捕获处理中转发信号
/opt/app/worker.sh &
child_pid=$!

forward() {
    printf '转发停止信号给子进程 %s\n' "$child_pid" >&2
    kill -TERM "$child_pid" 2>/dev/null || true
    wait "$child_pid" 2>/dev/null || true     # 等待其真正退出,避免留下孤儿
    exit 143
}
trap forward TERM INT

wait "$child_pid"        # 以子进程的退出码作为脚本的退出依据

2.5 等待与并行

手段 说明
等待全部后台任务 逐个等待或用不带参数的等待命令
等待任意一个结束 部分实现提供等待任意一个完成的选项
控制并行度 自行计数或使用批量执行工具的并行选项
# 简单并行:等待全部完成并汇总退出码
pids=()
for host in "${hosts[@]}"; do
    check_host "$host" &
    pids+=("$!")
done

failed=0
for pid in "${pids[@]}"; do
    wait "$pid" || failed=$((failed + 1))
done
printf '失败主机数=%d\n' "$failed"

# 控制并行度:每启动固定数量的任务后等待一批
max_parallel=4
running=0
for host in "${hosts[@]}"; do
    check_host "$host" &
    ((running++))
    if (( running >= max_parallel )); then
        wait -n || true        # 等待任意一个结束再启动下一个
        ((running--))
    fi
done
wait

并行度需要与目标端的承受能力匹配:并行度设置过高会把下游打满,这在批量对多台主机执行操作时尤其明显。

2.6 超时与强制终止

# 使用超时命令限制单次执行时间
timeout -k 5 30 curl -sf -o /dev/null https://internal/health

# 自行实现:后台执行加轮询等待,超时后按先礼后兵的顺序终止
run_with_timeout() {
    local seconds="$1"; shift
    "$@" &
    local pid=$!
    local waited=0
    while kill -0 "$pid" 2>/dev/null; do
        if (( waited >= seconds )); then
            kill -TERM "$pid" 2>/dev/null || true
            sleep 2
            kill -KILL "$pid" 2>/dev/null || true
            wait "$pid" 2>/dev/null || true
            return 124
        fi
        sleep 1
        ((waited++))
    done
    wait "$pid"
}

要点:先发可捕获的终止信号并留出清理时间,再使用强制终止;等待被终止的进程回收,避免产生僵尸进程。

2.7 进程与句柄核对

# 按名称与命令行匹配进程(脚本中优先使用匹配命令行的方式,避免漏掉解释器启动的脚本)
pgrep -a -f 'worker.sh'
ps -o pid,ppid,pgid,sess,etime,rss,cmd -p "$pid"

# 确认父子关系与所属会话(判断是否已被终端影响)
ps -o pid,ppid,pgid,sess,tty,cmd --ppid "$pid"

# 确认进程打开的文件与网络连接
lsof -p "$pid" | head -20
ss -antp | grep "pid=$pid"

# 确认是否为僵尸或停止状态
ps -o pid,stat,cmd -p "$pid"

三、实现

3.1 后台任务模板

#!/usr/bin/env bash
set -euo pipefail

readonly APP_NAME="worker"
readonly RUN_DIR="/run/app"
readonly LOG_DIR="/var/log/app"
readonly PID_FILE="${RUN_DIR}/${APP_NAME}.pid"

mkdir -p -- "$RUN_DIR" "$LOG_DIR"

# 避免重复启动:检查进程是否存在
if [[ -f "$PID_FILE" ]] && kill -0 "$(cat "$PID_FILE")" 2>/dev/null; then
    printf '%s 已在运行,进程号=%s\n' "$APP_NAME" "$(cat "$PID_FILE")" >&2
    exit 1
fi

# 脱离终端并重定向输出,避免关闭终端后任务中断
nohup /opt/app/worker.sh >> "${LOG_DIR}/${APP_NAME}.$(date +%F).log" 2>&1 &
pid=$!
printf '%s\n' "$pid" > "$PID_FILE"

printf '%s 已启动,进程号=%s\n' "$APP_NAME" "$pid"

3.2 信号转发模板

#!/usr/bin/env bash
set -euo pipefail

child_pid=""
stopping=0

stop_child() {
    (( stopping == 1 )) && return
    stopping=1
    if [[ -n "$child_pid" ]] && kill -0 "$child_pid" 2>/dev/null; then
        printf '向子进程 %s 发送停止信号\n' "$child_pid" >&2
        kill -TERM "$child_pid" 2>/dev/null || true
        # 留出优雅退出时间,超时后强制终止
        for _ in {1..10}; do
            kill -0 "$child_pid" 2>/dev/null || break
            sleep 1
        done
        kill -KILL "$child_pid" 2>/dev/null || true
        wait "$child_pid" 2>/dev/null || true
    fi
}

trap 'stop_child; exit 143' TERM
trap 'stop_child; exit 130' INT
trap 'stop_child' EXIT

/opt/app/worker.sh &
child_pid=$!

wait "$child_pid"

要点:三个钩子都要指向同一清理逻辑,并用标志位保证清理只执行一次;退出码按收到的信号返回,便于调用方判断是被停止还是自身失败。

3.3 并行批处理模板

#!/usr/bin/env bash
set -uo pipefail

readonly MAX_PARALLEL=4
readonly TASK_TIMEOUT=60
work_dir="$(mktemp -d)"
trap 'rm -rf -- "$work_dir"' EXIT

run_task() {
    local host="$1"
    timeout -k 5 "$TASK_TIMEOUT" ssh -o BatchMode=yes -o ConnectTimeout=5 \
        "$host" 'uptime' > "${work_dir}/${host}.out" 2>&1
}

pids=()
hosts=()
for host in "$@"; do
    while (( $(jobs -pr | wc -l) >= MAX_PARALLEL )); do
        sleep 0.2
    done
    run_task "$host" &
    pids+=("$!")
    hosts+=("$host")
done

failed=()
for i in "${!pids[@]}"; do
    if ! wait "${pids[$i]}"; then
        failed+=("${hosts[$i]}")
    fi
done

if (( ${#failed[@]} > 0 )); then
    printf '失败主机:%s\n' "${failed[*]}" >&2
    exit 1
fi
printf '全部 %d 台主机检查完成\n' "${#hosts[@]}"

3.4 常见问题对照

现象 常见原因 处置
退出终端后后台任务中断 未忽略挂起信号 使用忽略挂起信号的方式启动
后台任务无输出且无日志 输出仍指向已关闭的终端 显式重定向标准输出与标准错误
停止脚本后子进程仍在运行 信号不会自动下传给子进程 在捕获处理中显式转发并等待
出现僵尸进程 未回收已结束的子进程 使用等待命令回收
强制终止后留下锁文件 进程无机会执行清理 优先使用可捕获的终止信号,并在启动时检测残留锁
并行脚本把下游打满 并行度未限制 按对端承受能力设置并行度
任务偶发长时间无响应 缺少超时控制 为外部调用设置超时并分级终止
重复启动同一任务 未做单实例控制 使用进程号文件或文件锁保证唯一
作业号在脚本中报错 脚本环境无作业控制 改用进程号
超时后进程未真正结束 只发送了可捕获信号而未升级 分级终止,必要时使用强制终止并等待回收
判断进程是否存在误判 进程号被回收后复用到其他进程 结合命令行匹配与启动时间核对

四、总结

  1. 进程按进程组与会话组织,信号的作用范围由归属关系决定;向单个进程发信号不会自动影响其子进程。
  2. 作业控制是交互式功能,脚本中应使用进程号而不是作业号,也不能依赖作业控制能力。
  3. 后台任务的三种脱离方式中,忽略挂起信号适用于短期任务,彻底脱离终端适合脚本自身守护化,长期任务应交给服务管理器。
  4. 后台任务必须重定向输出并记录进程号,否则输出丢失且无法判断任务是否在运行。
  5. 停止请求优先使用可捕获的终止信号,强制终止不可捕获且可能留下不一致状态,只能作为最后手段。
  6. 信号不会下传给子进程,这是脚本产生孤儿进程的根因,需要在捕获处理中显式转发并等待回收。
  7. 退出钩子、错误钩子与信号捕获三者分工不同,应指向同一清理逻辑并用标志位保证只执行一次。
  8. 并行执行需要控制并行度,且并行度要与下游承受能力匹配;同时必须回收全部子进程并统计失败项。
  9. 外部调用必须设置超时,终止时按"先可捕获、后强制"的顺序分级执行,并等待进程回收以避免僵尸。
  10. 判断进程是否存活不能只看进程号,需要结合命令行匹配与启动时间,避免因进程号复用产生误判。