一、起源:朴素的指令周期太慢

最直观的 CPU 执行方式是"取一条、译码、执行、回写,再取下一条",一条指令走完全程才处理下一条。问题是:执行一条指令的每个阶段只用到了 CPU 的不同部件,串行执行时大部分部件在等待。为了把部件利用率拉满,CPU 引入了一系列工程化改造:

  • 流水线:让多条指令的不同阶段重叠执行。
  • 分支预测:提前猜测跳转方向,避免等待。
  • 乱序执行:在数据就绪的前提下调整执行顺序,填满空闲。
  • 超标量:同一时刻发射多条指令。

这些改造让 CPU 性能大幅提升,也带来了软件侧可见的副作用:有序数据比随机数据快(分支预测)、指令的"实际执行顺序"可能与"书写顺序"不同(乱序与存储缓冲)。理解这些机制,才能解释并发中的重排序现象与 volatile、内存屏障的作用。

二、原理

1. 指令周期与时钟

CPU 按时钟(clock) 节拍工作,频率(如 3 GHz)表示每秒节拍数。指令周期分为取指、译码、执行、回写等阶段,一条指令可能需要多个时钟周期。频率不是性能的唯一决定因素:同样频率下,流水线深度、每周期发射指令数、缓存命中率都影响吞吐,因此"主频高"不等于"速度快"。

2. 流水线

流水线把指令周期拆成多个阶段(如取指、译码、执行、访存、回写五级),让不同指令同时处于不同阶段。理想情况下每个时钟周期完成一条指令,吞吐提升数倍。

流水线会遇到三类冒险(hazard),破坏"每周期一条"的理想:

  • 结构冒险:多条指令争用同一硬件资源(如同时访存)。
  • 数据冒险:后一条指令依赖前一条尚未写回的结果,必须等待或旁路(forwarding)提前传递。
  • 控制冒险:遇到分支指令,在结果出来前不知道下一条取哪,需要预测。

冒险会导致气泡(bubble)——流水线中的空拍,是流水线效率损失的来源。

3. 分支预测

分支指令(if、循环、switch)在结果确定前,CPU 必须决定取哪条后续指令。分支预测器根据历史行为猜测方向:

  • 预测正确:流水线不停顿,几乎零成本。
  • 预测错误:已取入流水线的错误指令全部作废,需要**冲刷(flush)**流水线,代价是十数个周期的浪费。

预测器依赖历史模式,因此:

  • 有序数据:循环中的比较结果呈现规律,预测命中率高,程序更快。
  • 随机数据:比较结果无规律,预测经常落空,反复冲刷,程序更慢。

这就是"对有序数组求和比对随机数组快"的机制,即使两者指令数量完全相同。软件侧可优化:让热点分支具有稳定的偏向(如把常见情况放 if、罕见情况放 else),或减少数据依赖的分支。

4. 乱序执行

指令间的数据依赖导致流水线等待。乱序执行(Out-of-Order Execution)允许 CPU 在不影响最终结果的前提下,把已就绪的指令提前执行,把因等待依赖而产生的空隙填满。

关键约束:乱序执行只调整执行顺序,提交(commit)顺序仍按程序顺序,保证单线程的语义不变。为此 CPU 引入:

  • 保留站 / 重排序缓冲(ROB):暂存已执行但未提交的指令与结果。
  • 寄存器重命名:消除"假依赖"(两条指令恰好用同一寄存器但无数据依赖)。

乱序执行是单核性能的重要来源,但让"指令实际执行顺序"与"书写顺序"解耦,是并发中重排序现象的硬件根源。

5. 存储缓冲与内存序

写操作相对慢(要写缓存/内存),CPU 引入存储缓冲(Store Buffer):写指令先把值放入缓冲,CPU 继续执行后续指令,由缓冲异步写回。由此产生:

  • 写可见性延迟:一个核心的写,可能尚未真正写回,另一核心暂时看不到。
  • 重排序:后续的读可能先于前面的写被其他核心观察到。

单核下这些对程序不可见(提交顺序保证语义),但多核下需要显式约束。volatile、synchronized、内存屏障(memory barrier/fence)的作用就是强制特定的顺序与可见性,抑制 CPU 与编译器的重排序。相关语义的完整讨论见 并发编程。

6. 超标量与超线程

  • 超标量(Superscalar):同一时钟周期发射多条无依赖的指令到多个执行单元,进一步提升吞吐。
  • 超线程(SMT / Hyper-Threading):一个物理核心暴露为两个逻辑 CPU,共享执行单元,在某个线程等待(如缓存未命中)时切换执行另一个线程,提升利用率。它不是真正的双倍核心,争用执行单元时提升有限。

三、实现:软件侧可观测的现象

现象 根因 应对
有序数据比随机数据快 分支预测命中率差异 稳定分支偏向、减少数据依赖分支
两个核心读写共享变量,行为偶发异常 缓存一致性 + 存储缓冲 + 乱序 用 volatile、锁、原子操作保证可见性与顺序
主频高但程序不快 流水线气泡、缓存未命中、发射宽度受限 关注吞吐而非单看主频
循环展开能提速 减少分支与数据冒险,利于超标量 编译器自动优化,热点处显式展开

总结

  • 指令周期是 CPU 执行的基础,流水线通过阶段重叠提升吞吐,冒险与气泡是效率损失来源。
  • 分支预测让循环与条件分支几乎零成本,预测失败则冲刷流水线,解释了有序数据更快。
  • 乱序执行与存储缓冲让执行顺序与书写顺序解耦,是并发重排序与可见性问题的硬件根源。
  • volatile、内存屏障、原子操作建立在缓存一致性与内存序之上,是并发正确性的底层约束。