一、起源:朴素的指令周期太慢
最直观的 CPU 执行方式是"取一条、译码、执行、回写,再取下一条",一条指令走完全程才处理下一条。问题是:执行一条指令的每个阶段只用到了 CPU 的不同部件,串行执行时大部分部件在等待。为了把部件利用率拉满,CPU 引入了一系列工程化改造:
- 流水线:让多条指令的不同阶段重叠执行。
- 分支预测:提前猜测跳转方向,避免等待。
- 乱序执行:在数据就绪的前提下调整执行顺序,填满空闲。
- 超标量:同一时刻发射多条指令。
这些改造让 CPU 性能大幅提升,也带来了软件侧可见的副作用:有序数据比随机数据快(分支预测)、指令的"实际执行顺序"可能与"书写顺序"不同(乱序与存储缓冲)。理解这些机制,才能解释并发中的重排序现象与 volatile、内存屏障的作用。
二、原理
1. 指令周期与时钟
CPU 按时钟(clock) 节拍工作,频率(如 3 GHz)表示每秒节拍数。指令周期分为取指、译码、执行、回写等阶段,一条指令可能需要多个时钟周期。频率不是性能的唯一决定因素:同样频率下,流水线深度、每周期发射指令数、缓存命中率都影响吞吐,因此"主频高"不等于"速度快"。
2. 流水线
流水线把指令周期拆成多个阶段(如取指、译码、执行、访存、回写五级),让不同指令同时处于不同阶段。理想情况下每个时钟周期完成一条指令,吞吐提升数倍。
流水线会遇到三类冒险(hazard),破坏"每周期一条"的理想:
- 结构冒险:多条指令争用同一硬件资源(如同时访存)。
- 数据冒险:后一条指令依赖前一条尚未写回的结果,必须等待或旁路(forwarding)提前传递。
- 控制冒险:遇到分支指令,在结果出来前不知道下一条取哪,需要预测。
冒险会导致气泡(bubble)——流水线中的空拍,是流水线效率损失的来源。
3. 分支预测
分支指令(if、循环、switch)在结果确定前,CPU 必须决定取哪条后续指令。分支预测器根据历史行为猜测方向:
- 预测正确:流水线不停顿,几乎零成本。
- 预测错误:已取入流水线的错误指令全部作废,需要**冲刷(flush)**流水线,代价是十数个周期的浪费。
预测器依赖历史模式,因此:
- 有序数据:循环中的比较结果呈现规律,预测命中率高,程序更快。
- 随机数据:比较结果无规律,预测经常落空,反复冲刷,程序更慢。
这就是"对有序数组求和比对随机数组快"的机制,即使两者指令数量完全相同。软件侧可优化:让热点分支具有稳定的偏向(如把常见情况放 if、罕见情况放 else),或减少数据依赖的分支。
4. 乱序执行
指令间的数据依赖导致流水线等待。乱序执行(Out-of-Order Execution)允许 CPU 在不影响最终结果的前提下,把已就绪的指令提前执行,把因等待依赖而产生的空隙填满。
关键约束:乱序执行只调整执行顺序,提交(commit)顺序仍按程序顺序,保证单线程的语义不变。为此 CPU 引入:
- 保留站 / 重排序缓冲(ROB):暂存已执行但未提交的指令与结果。
- 寄存器重命名:消除"假依赖"(两条指令恰好用同一寄存器但无数据依赖)。
乱序执行是单核性能的重要来源,但让"指令实际执行顺序"与"书写顺序"解耦,是并发中重排序现象的硬件根源。
5. 存储缓冲与内存序
写操作相对慢(要写缓存/内存),CPU 引入存储缓冲(Store Buffer):写指令先把值放入缓冲,CPU 继续执行后续指令,由缓冲异步写回。由此产生:
- 写可见性延迟:一个核心的写,可能尚未真正写回,另一核心暂时看不到。
- 重排序:后续的读可能先于前面的写被其他核心观察到。
单核下这些对程序不可见(提交顺序保证语义),但多核下需要显式约束。volatile、synchronized、内存屏障(memory barrier/fence)的作用就是强制特定的顺序与可见性,抑制 CPU 与编译器的重排序。相关语义的完整讨论见 并发编程。
6. 超标量与超线程
- 超标量(Superscalar):同一时钟周期发射多条无依赖的指令到多个执行单元,进一步提升吞吐。
- 超线程(SMT / Hyper-Threading):一个物理核心暴露为两个逻辑 CPU,共享执行单元,在某个线程等待(如缓存未命中)时切换执行另一个线程,提升利用率。它不是真正的双倍核心,争用执行单元时提升有限。
三、实现:软件侧可观测的现象
| 现象 | 根因 | 应对 |
|---|---|---|
| 有序数据比随机数据快 | 分支预测命中率差异 | 稳定分支偏向、减少数据依赖分支 |
| 两个核心读写共享变量,行为偶发异常 | 缓存一致性 + 存储缓冲 + 乱序 | 用 volatile、锁、原子操作保证可见性与顺序 |
| 主频高但程序不快 | 流水线气泡、缓存未命中、发射宽度受限 | 关注吞吐而非单看主频 |
| 循环展开能提速 | 减少分支与数据冒险,利于超标量 | 编译器自动优化,热点处显式展开 |
总结
- 指令周期是 CPU 执行的基础,流水线通过阶段重叠提升吞吐,冒险与气泡是效率损失来源。
- 分支预测让循环与条件分支几乎零成本,预测失败则冲刷流水线,解释了有序数据更快。
- 乱序执行与存储缓冲让执行顺序与书写顺序解耦,是并发重排序与可见性问题的硬件根源。
- volatile、内存屏障、原子操作建立在缓存一致性与内存序之上,是并发正确性的底层约束。