一、起源:缺少自动化测试的代价

1.1 回归依赖人工验证

没有自动化测试的项目,每次发布前的验证依赖人工逐项点击。这类验证存在三个固有特征:

  • 覆盖不可穷尽:人工只能覆盖主流程与当次改动涉及的分支,异常分支与边界值通常被跳过
  • 结果不可复现:同样的一次操作,因数据状态不同而结论不同,问题无法稳定复现
  • 成本随规模上升:功能数量增长时,回归清单线性膨胀,而可用于回归的人力不增长

结果是发布节奏被验证成本约束,功能越多,发布越少,每次发布的变更量越大,单次失败的影响面越大。

1.2 重构恐惧

缺少测试的保护,代码修改的判定依据只剩"改动是否最小"。为避免触发不可预知的回归,开发者倾向于在原有逻辑上追加条件分支,而不是调整结构。长期累积形成以下现象:

  • 方法内出现连续的 if-else 特例分支,每个分支对应一次历史修复
  • 公共方法被复制到多个类中,修改时无法确认全部副本是否被同步
  • 已废弃的分支无人敢删,因为无法确认是否仍被使用
  • 依赖无法替换,因为替换后没有任何机制确认行为一致

1.3 缺陷发现太晚

缺陷在交付流程中向后传递的成本随阶段递增:

发现阶段 修复方式 相对成本
编码阶段(本地测试) 修改当前代码,立即验证 1
代码评审 补充测试并修改实现 2 至 5
持续集成流水线 定位改动来源,修复并重跑 5 至 10
测试环境 需要重现数据与环境,涉及多模块定位 10 至 30
生产环境 包含影响面评估、回滚、数据修复与用户沟通 30 以上

自动化测试的作用是把缺陷判定前移到编码与集成阶段。收益并非"提高质量"这类无法度量的描述,而是具体的:缺陷被发现的阶段提前,修复成本随之下降。

1.4 测试的真实成本

测试不是无成本的质量保障手段,引入测试体系的同时引入了一组新的成本项:

成本项 表现 成因
编写成本 单次编写约占同等业务代码的 0.5 至 1 倍工作量 需要构造数据、隔离依赖、组织断言
维护成本 每次业务变更需同步修改测试 测试与实现耦合过紧,断言绑定实现细节
脆弱成本 与业务无关的改动导致测试失败 断言了时间戳、随机值、日志文本、内部调用顺序
执行时间成本 反馈变慢,提交后等待时间延长 大量集成测试、容器启动、真实网络调用
环境成本 需要维护数据库与中间件的测试实例 依赖真实外部组件

成本结构与测试分层直接相关:越靠近端到端,单条用例的编写与执行成本越高、稳定性越低、覆盖的业务逻辑越少。因此测试体系的第一个工程问题是分层占比,而不是是否使用某个框架。

二、原理:分层、原则与边界

2.1 测试分层与金字塔

按被测范围与依赖替代程度划分,测试可分为四层:

层次 被测范围 依赖处理 单条用例耗时量级 稳定性
单元测试 单个类或方法 全部外部依赖以测试替身替代 毫秒 高
集成测试 多个组件协作(含数据库、消息、缓存) 依赖为真实实例或轻量替代 百毫秒至秒 中
契约测试 服务之间的接口约定 一方真实、一方以其契约替身替代 百毫秒 高
端到端测试 完整链路(含 UI 或对外 API) 全部真实 秒至分钟 低

成本曲线

  • 编写成本:单元测试低(无环境依赖),端到端测试高(需要环境、数据与清理逻辑)
  • 执行成本:单元测试可并行、无 I/O,端到端测试受进程启动与网络往返限制
  • 定位成本:单元测试失败直接指向方法与分支,端到端测试失败只能定位到"某条链路不通"
  • 稳定性:单元测试的输入完全受控,端到端测试受网络、时序、第三方状态影响

占比取舍

测试金字塔的形态是结论而不是教条。占比由三个因素决定:

  1. 代码性质:以计算、转换、校验为主的模块,单元测试性价比高;以编排、事务、SQL 为主的模块,单元测试只能验证调用过程,价值有限,应提高集成测试占比
  2. 变更频率:高频变更模块需要快速反馈,测试应下沉;低频稳定的基础设施模块可用少量集成测试保障
  3. 失败后果:涉及资金、权限、幂等语义的逻辑,除单元测试外应有集成测试验证真实的数据库约束与事务边界

一个常见失衡形态是"倒金字塔":大量端到端测试加少量单元测试。其表现是流水线执行时间长、失败原因难以定位、测试在本地无法运行而只能依赖 CI 环境。另一个失衡形态是"只有单元测试":全部依赖被替身替代,测试全部通过但上线后接口不兼容、SQL 执行失败、序列化不一致,这类问题单元测试在原理上无法发现。

2.2 单元测试原则

一个用例只验证一个行为

一个测试方法断言多个不相关的行为时,失败信息只能说明"某处不对",且第一个断言失败会掩盖后续断言的结果。判定标准是:测试方法名可以描述出唯一的预期结果,失败时能直接指出被破坏的契约。

FIRST 原则

字母 含义 违反后的表现
F(Fast) 执行快,单条毫秒级 本地不运行测试,反馈依赖流水线
I(Isolated) 用例之间无依赖,可任意顺序执行 单跑通过、全量失败,或必须按顺序执行
R(Repeatable) 任意环境、任意时间结果一致 依赖当前时间、随机数、网络状态导致偶发失败
S(Self-validating) 以断言输出布尔结论,不依赖人眼比对 结果需要人工查看日志或控制台输出
T(Timely) 与实现同步或先于实现编写 实现完成后补测试,测试只是复述实现而非验证契约

断言与可读性

  • 断言应表达业务语义:断言"订单状态为已支付"优于断言"status 字段等于 2"
  • 使用专用断言库提供的可读错误信息,可降低失败时的排查时间
  • 浮点数比较带容差,集合比较关注内容而非顺序,除非顺序属于契约
  • 避免在断言前做复杂计算,计算逻辑本身出错会让断言失去意义

命名与结构

命名应包含三要素:被测方法、输入场景、预期结果。常见形式为 方法名_场景_预期结果,例如 withdraw_balanceInsufficient_throwsException。

结构采用三段式,段间以空行或注释分隔:

@Test
void withdraw_balanceSufficient_decreasesBalance() {
    // Given:构造被测对象与初始状态
    Account account = new Account("A001", new BigDecimal("100.00"));

    // When:执行唯一的一个被测行为
    account.withdraw(new BigDecimal("30.00"));

    // Then:断言预期结果
    assertThat(account.getBalance()).isEqualByComparingTo("70.00");
}

2.3 测试替身

测试替身(Test Double)是替代真实依赖的对象统称,按用途分为四类:

类型 行为 典型用途 是否含断言逻辑
桩(Stub) 对调用返回预设值 让被测代码走通某分支 否
假对象(Fake) 有可用的简化实现 内存数据库、内存队列、内存文件系统 否
模拟(Mock) 预设期望并校验交互 验证是否发出了某次调用 是(交互断言)
间谍(Spy) 包装真实对象,记录调用 只替代部分方法,其余走真实实现 可选

适用边界

  • 优先使用假对象而非模拟:内存实现能同时覆盖调用参数、返回值与状态变化,且不绑定调用次数。例如数据访问层用内存实现,可同时验证"写入"与"查询"的一致性
  • 桩用于构造前置条件,不应作为断言依据。桩设定"返回 false",断言的是业务结果而非"方法被调用"
  • 模拟用于验证对外副作用,即"这个行为必须发生"。适用于消息发送、事件发布、外部支付调用等无法通过返回值观察的效果
  • 间谍用于真实实现难以构造的场景,代价是保留了真实实现的全部复杂度

Mock 过度使用的后果

对每一条依赖都做模拟时,测试实际上在验证"方法内部的调用序列",而调用序列属于实现细节。其后果包括:

  • 重构即失败:把两次查询合并为一次批量查询,行为未变但测试失败
  • 无法发现集成问题:接口签名、序列化格式、SQL 语义等跨边界问题全部被替身屏蔽
  • 测试数量虚高:一个方法对应十条交互断言,覆盖率上升但缺陷发现率未上升
  • 维护成本转移:实现改动后需要逐条调整 when(...) 与 verify(...)

判定是否需要替身的原则是:该依赖是否带来无法接受的成本(网络、时间、不可控状态、难以构造的输入)。若一个依赖是纯计算且无副作用,直接使用真实实现更可靠。

2.4 Spring 测试切片

上下文加载代价

Spring 测试启动时按配置组装应用上下文,包含 Bean 定义解析、依赖注入、代理创建、数据源与连接池初始化。该过程是测试耗时的主要来源。上下文按配置组合缓存并复用,配置参数不同(如不同的 @MockBean 组合、不同的属性值、不同的切片注解)会产生不同的缓存键,导致重复加载。

由此产生的实践要求是:

  1. 同一测试类内的用例复用同一上下文,避免在方法级修改影响上下文定义的配置
  2. @MockBean 会改变缓存键,大量不同组合的 @MockBean 会使缓存失效,应把 mock 集中在少数测试类中
  3. 切片测试的上下文小于完整上下文,优先使用切片

切片注解的作用范围

注解 加载范围 适用对象 未加载部分的处理
@WebMvcTest 控制器、消息转换器、过滤器、参数校验 请求映射、参数绑定、序列化、状态码 Service 层需以 @MockBean 提供
@DataJpaTest 实体映射、Repository、事务配置 映射关系、派生查询、约束 默认在事务中回滚,外部调用需替换
@JdbcTest JdbcTemplate 与数据源 SQL 语句与结果映射 需要真实数据库或嵌入式替代
@JsonTest 序列化与反序列化组件 字段命名、时间格式、多态类型 无外部依赖
@SpringBootTest 完整上下文 跨层链路、事务与配置一致性 耗时最长,应控制数量

容器与事务的机制基础见 Spring Framework 核心体系 中容器与声明式事务章节;切片的具体代码示例见 Spring Boot 企业级项目实践指导手册 第五章。

数据访问层的测试对象(映射规则、派生查询、事务与连接绑定、连接池行为)及其失效方式见 Java 持久层。

事务回滚与数据隔离

测试方法或测试类标注事务注解后,Spring 在测试前后开启并回滚事务,使数据不残留。其边界需要明确:

  • 只对同一线程、同一连接内通过容器管理的操作有效。被测代码若自行开启新连接、切换数据源、使用异步线程或调用真实 HTTP 接口,其中产生的数据不受该事务约束
  • 无法回滚数据库之外的副作用:外部接口调用、消息投递、缓存写入、文件写入均不会被回滚
  • 被测代码若依赖"事务提交后触发"的事件或钩子,回滚模式下这些逻辑不会执行,测试语义与生产不一致
  • 部分数据库的 DDL 会隐式提交事务,涉及建表或改表的测试不能依赖回滚

测试配置与生产配置的差异风险

测试使用独立的配置文件(如 application-test.yml)是常见做法,配置差异本身构成风险来源。典型差异与后果:

差异项 常见做法 风险
数据库 内存数据库替代真实数据库 SQL 方言、函数、约束、事务隔离级别行为不一致
连接池 使用默认小池或直连 连接泄漏、超时行为无法复现
序列化 关闭时间格式化与命名策略 JSON 字段名下划线或时间格式问题进入生产
缓存 关闭缓存 缓存键冲突与失效问题在测试中不出现
安全 关闭鉴权过滤器 权限漏洞在测试中不可见

配置的语法与多环境隔离方式见 Spring Boot application.yml 核心配置。

2.5 外部依赖的测试

外部依赖按类型给出替代方案与代价对照:

依赖类型 真实实例 内存替代 契约测试 打桩服务 主要代价
关系型数据库 容器或独立实例 内存数据库 不适用 不适用 启动耗时与内存占用;方言差异
缓存 容器实例 进程内 Map 不适用 不适用 序列化与过期语义差异
消息队列 容器实例 进程内队列 不适用 不适用 顺序、重复投递、事务边界差异
外部 HTTP 服务 沙箱环境 不适用 消费者驱动契约 本地打桩服务 契约维护成本;打桩数据的真实性
第三方付费接口 沙箱环境 不适用 不适用 本地打桩服务 沙箱与生产行为差异

选择顺序为:数据库与中间件优先使用容器化真实实例,原因是 SQL 方言、约束与投递语义的差异无法通过内存替代消除;纯计算或无状态的外部服务使用打桩;跨团队的服务接口使用契约测试,避免双方对同一接口的理解分歧。

容器化的测试依赖与本地开发环境的构建方式见 Ubuntu 下 Docker 常用配置。

2.6 覆盖率的意义与局限

行覆盖与分支覆盖

指标 统计口径 能发现 不能发现
行覆盖 被执行的代码行占比 完全未被调用的代码 条件只走了单侧分支
分支覆盖 判定条件的每个分支被执行的占比 未覆盖的 else 路径、短路条件的右侧 边界值的取值错误
路径覆盖 多条件组合的执行路径占比 条件组合缺陷 组合数量随条件数指数增长,通常无法全量

分支覆盖对缺陷的指示作用强于行覆盖,原因是未覆盖的分支意味着该路径下没有任何断言。行覆盖率高而分支覆盖率低,通常说明测试只走了主流程。

覆盖率的局限

  1. 覆盖率衡量"代码被执行",不衡量"结果被断言"。执行了全部代码而不写断言的测试同样提高覆盖率
  2. 覆盖率高不意味缺陷发现率高。缺陷集中分布在边界条件、并发时序、异常分支与配置组合中,这些与代码行数不成比例
  3. 覆盖率对新增代码有指示作用,对存量代码的改造收益递减
  4. 高覆盖率可能来自大量交互断言的低价值测试,这类测试在重构时成为负担

门禁阈值的设定

  • 以增量为主:对新增与修改的代码设定阈值(例如新增代码分支覆盖率不低于 70%),存量代码不设硬性回溯要求
  • 阈值取当前实际值向上小幅提高,避免设定无法达成的目标导致整体关闭门禁
  • 排除自动生成的代码(映射工具生成类、协议生成类、配置类)与无逻辑的分支
  • 覆盖率作为趋势指标纳入评审,不单独作为发布阻断条件的唯一依据

2.7 可测试性设计

可测试性是设计的属性,不是测试阶段可以补足的问题。以下设计约束直接决定测试能否编写:

设计约束 反例 可测试的做法
依赖注入与面向接口 方法内 new 出依赖 依赖以构造参数传入,声明为接口或抽象类
时间可注入 直接调用取当前时间 注入时钟对象,测试中传入固定时刻
随机数可注入 直接调用随机生成 注入随机源,或把随机结果作为参数传入
外部调用边界隔离 业务方法内直接发起 HTTP 调用 抽出网关接口,业务只依赖接口
避免静态状态 用静态变量缓存全局状态 状态由实例持有,或通过容器管理
避免隐式副作用 构造方法内写文件、发消息 副作用显式暴露为独立方法

依赖倒置与接口隔离的理论基础见 面向对象编程 中依赖倒置原则章节;静态状态在并发场景下的可见性问题见 Java 并发编程。

三、实现:框架使用与工程落地

3.1 JUnit 5 使用要点

生命周期与执行顺序

注解 执行次数 说明
@BeforeAll / @AfterAll 每个测试类一次 方法须为静态,除非测试类使用单实例生命周期
@BeforeEach / @AfterEach 每个测试方法一次 用于构造与清理用例级状态
@TestInstance(PER_CLASS) 改类级生命周期 允许 @BeforeAll 为非静态方法,便于使用实例字段
@Order 控制执行顺序 默认顺序不做保证,依赖顺序的测试应视为设计缺陷

共享可变字段在并行执行与顺序变化下会产生互相干扰。测试类应保持无状态:实例字段在 @BeforeEach 中重新初始化。

参数化测试

同一逻辑的多组输入用参数化替代复制:

@ParameterizedTest(name = "手机号 {0} 合法性为 {1}")
@CsvSource({
        "13800138000, true",
        "1380013800,  false",
        "23800138000, false",
        "'',          false"
})
void isPhone_returnsExpected(String input, boolean expected) {
    assertThat(validator.isPhone(input)).isEqualTo(expected);
}

@ParameterizedTest
@MethodSource("provideOrders")
void calculate_returnsExpected(Order order, BigDecimal expected) {
    assertThat(calculator.calculate(order)).isEqualByComparingTo(expected);
}

static Stream<Arguments> provideOrders() {
    return Stream.of(
            Arguments.of(new Order(null, null), BigDecimal.ZERO),
            Arguments.of(new Order(new BigDecimal("10"), 2), new BigDecimal("20")));
}

注意 @CsvSource 中空字符串需显式写成 '',全空值会导致参数个数不匹配。

断言与异常断言

// 断言异常类型与消息,并返回异常对象供进一步断言
BusinessException ex = assertThrows(BusinessException.class,
        () -> service.transfer(from, to, new BigDecimal("100")));
assertThat(ex.getErrorCode()).isEqualTo(ErrorCode.BALANCE_INSUFFICIENT);

// 断言超时,防止死锁或外部调用未设置超时导致的挂起
assertTimeoutPreemptively(Duration.ofSeconds(2), () -> service.query(id));

// 分组断言,全部执行后再统一报告失败项
assertAll("用户信息",
        () -> assertThat(vo.getUsername()).isEqualTo("bob"),
        () -> assertThat(vo.getStatus()).isEqualTo(Status.ACTIVE));

assertTimeoutPreemptively 在独立线程中执行被测代码,被测代码若持有共享状态,超时中断后该状态可能不一致,用于纯计算逻辑更合适。

测试环境出现长时间挂起、线程不退出或资源耗尽时,可借助线程转储与动态诊断手段定位,方法见 Java 应用诊断与部署调优。

条件执行与标签分组

@Test
@EnabledOnOs(OS.LINUX)          // 依赖路径分隔符的测试
@EnabledIfEnvironmentVariable(named = "CI", matches = "true")
@Tag("slow")                     // 供构建工具按标签筛选
void pathJoin_returnsExpected() { }

@Test
@Disabled("等待 #1024 修复:时区处理依赖外部服务")
void timezone_returnsExpected() { }

按标签筛选的构建配置示例:

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <configuration>
        <excludedGroups>slow</excludedGroups>
        <includes>
            <include>**/*Test.java</include>
        </includes>
    </configuration>
</plugin>

约定 *Test 为单元测试、*IT 为集成测试,并分别绑定到不同执行阶段,可让快速测试在每次提交时执行、慢速测试在合并前执行。

扩展机制

JUnit 5 的扩展点用于替代此前依赖运行器与规则实现的功能:

扩展点 触发时机 典型用途
BeforeAllCallback / BeforeEachCallback 用例执行前后 初始化容器、准备数据、绑定上下文
ParameterResolver 解析方法参数 注入自定义参数(临时目录、随机端口)
TestExecutionExceptionHandler 捕获用例异常 转换异常类型、附加诊断信息
InvocationInterceptor 环绕调用 统一重试、统一超时、统一事务边界

3.2 Mock 实践

打桩与验证

@ExtendWith(MockitoExtension.class)
class OrderServiceTest {

    @Mock
    private InventoryClient inventoryClient;

    @Mock
    private OrderRepository orderRepository;

    @InjectMocks
    private OrderServiceImpl orderService;

    @Test
    void create_stockEnough_savesOrder() {
        // 打桩:构造前置条件
        when(inventoryClient.lock(anyString(), anyInt()))
                .thenReturn(LockResult.success("LOCK-1"));

        Order order = orderService.create(new CreateOrderCmd("SKU-1", 2));

        // 状态断言为主
        assertThat(order.getStatus()).isEqualTo(OrderStatus.CREATED);
        // 交互断言仅用于无法通过返回值观察的副作用
        verify(inventoryClient).lock("SKU-1", 2);
    }
}

参数匹配

匹配方式 写法 注意
精确值 eq("SKU-1") 依赖 equals 实现,注意值对象未重写 equals 的情况
任意值 any()、anyString()、anyInt() any() 不匹配 null,需用 isNull()
捕获参数 ArgumentCaptor 参数在调用后被内部修改时,需在回调中复制

参数匹配器与字面量不可混用于同一方法调用的参数列表,混用会导致匹配失败或匹配到非预期调用。参数捕获示例:

ArgumentCaptor<Order> captor = ArgumentCaptor.forClass(Order.class);
verify(orderRepository).save(captor.capture());
assertThat(captor.getValue().getAmount()).isEqualByComparingTo("100.00");

返回与抛异常

// 连续返回不同值,模拟重试过程中的状态变化
when(client.query(anyString()))
        .thenReturn(Result.of("OK"))
        .thenThrow(new TimeoutException("read timeout"));

// 依据入参计算结果
when(repository.save(any(User.class))).thenAnswer(invocation -> {
    User user = invocation.getArgument(0);
    user.setId(1L);
    return user;
});

// 打桩 void 方法抛出异常
doThrow(new IllegalStateException("connection closed")).when(channel).close();

优先使用 thenAnswer 而非固定返回值,可避免"打桩返回的对象与被测代码使用方式不匹配"的隐性偏差。

验证调用次数与顺序

verify(repository, times(1)).save(any(Order.class));
verify(repository, never()).deleteById(anyLong());
verify(logClient, atLeastOnce()).record(any());

InOrder inOrder = inOrder(inventoryClient, orderRepository);
inOrder.verify(inventoryClient).lock(anyString(), anyInt());
inOrder.verify(orderRepository).save(any(Order.class));

调用顺序断言只在顺序属于业务契约时使用(例如先扣减库存再创建订单)。若顺序仅是实现的自然结果,顺序断言会阻止后续优化,例如把串行调用改为批量调用。

避免对实现细节过度验证

以下断言属于实现细节,应当避免:

  • 断言私有方法被调用(需借由反射或放宽访问权限才能验证,说明该行为不是对外契约)
  • 断言日志被打印、断言内部异常被捕获的次数
  • 断言同一方法被调用的精确次数,而该次数随实现优化自然变化
  • 断言缓存的读写次数,而非断言最终返回值正确

判定标准是:把实现替换为另一种正确写法后,该断言是否仍然成立。若不成立,该断言不应存在。

3.3 集成测试实践

上下文复用

  • 避免为每个测试类声明不同的 @MockBean 组合,把共享的替身集中在少数配置类中
  • 用 @DirtiesContext 只标注确实污染了上下文的测试类,该注解会使后续测试类重新加载上下文
  • 属性值不同会导致不同上下文缓存,应把变化项集中到少数测试类
  • 通过 spring.test.context.cache.maxSize 观察上下文数量,上下文数量异常增长通常意味着缓存键被无意义地打散

事务回滚与数据清理

策略 适用场景 代价
测试级事务回滚 单线程、容器管理的数据库访问 无法覆盖异步与外部副作用
用例前清理目标表 需要验证事务提交后的效果 清理脚本与表结构耦合,新增表时需同步
每次使用独立库或独立 schema 并行执行测试 资源占用高,创建与销毁耗时
容器化实例随测试启停 完全隔离 启动耗时最长的方案

清理逻辑的破坏性操作需要明确边界。高危:对共享数据库执行 TRUNCATE 或 DELETE 全表清理,会删除他人数据或误伤非测试环境。影响:若连接串指向了开发库或测试环境共享库,清理动作会删除该库全部数据,且 DDL 与 DML 清理通常不进入可回滚的事务。要求:执行前校验连接串指向独立测试库,脚本中禁止硬编码生产或共享环境地址,脚本内保留库名断言,清理动作限定在脚本显式列出的表;回滚方式是依赖该库的备份恢复,恢复方式见 MySQL 备份与恢复。

容器化的依赖

以容器提供数据库与中间件时,需要注意:

  • 镜像版本与生产保持一致,包括小版本,避免行为差异
  • 容器内数据库的字符集、时区、隔离级别需与生产配置对齐
  • 容器启动有就绪延迟,测试需要通过端口探测或日志匹配等待就绪,而不是固定 sleep
  • 容器实例随测试类启停时,多个测试类会反复承担启动成本,可在会话级复用并在本类内清理数据

迁移脚本与初始化数据

  • 测试库结构由与生产同一套迁移脚本创建,避免手工维护的建表语句与生产漂移
  • 初始化数据分为两类:所有测试都需要的字典与基础配置,以及单个测试自行构造的业务数据。两类数据分开管理,前者随迁移脚本维护,后者由测试用例创建
  • 迁移脚本在测试中执行失败会阻塞全部测试,需要独立的最小化校验

并发测试的注意点

  • 并发测试的断言对象是"不变量"是否被破坏,而不是执行顺序
  • 使用循环栅栏(CyclicBarrier)让线程尽可能同时进入临界区,使用倒计时锁(CountDownLatch)等待全部线程结束
  • 并发缺陷有概率性,单次执行通过不能作为结论。可通过提高线程数与迭代次数提高触发概率,或使用专门的并发测试工具做交错探测
  • 并发测试不应依赖固定线程调度顺序,断言中不出现"某线程先执行"的前提

3.4 契约测试与接口兼容

消费者驱动契约的思路

由接口调用方(消费者)定义期望的请求与响应样例,生成契约文件;接口提供方(提供者)在自身构建流程中验证契约,确认当前实现能满足全部消费者的期望。其价值在于把"接口变更是否破坏调用方"从上线后的运行期问题前移为提供方构建期的失败。

流程要点:

  1. 消费者在测试中真实调用本地打桩服务并记录交互,产出契约文件
  2. 契约文件推送至共享仓库或契约代理
  3. 提供方在测试中回放契约:以消费者的请求驱动真实实现,校验响应与契约匹配
  4. 提供方变更接口前拉取全部消费者契约并验证,失败即阻断

接口变更的兼容检查

变更类型 是否兼容 说明
响应新增可选字段 兼容 消费者按需读取,需确认反序列化忽略未知字段
响应删除或重命名字段 不兼容 消费者解析失败或取到空值
请求新增必填字段 不兼容 旧调用方请求校验失败
字段类型或精度变化 不兼容 整数改小数、精度截断都会改变语义
枚举新增取值 视情况 消费者若对未知取值抛异常则不兼容
错误码或状态码语义变化 不兼容 消费者的分支处理逻辑失效

与接口文档的关系

契约是机器校验的样例,文档是给人阅读的说明,两者不能互相替代:契约不会描述字段的业务含义与使用约束,文档不能阻止不兼容变更通过构建。实践方式是契约作为可执行部分由流水线校验,文档从中引用契约中的字段定义,避免两处独立维护同一份字段列表。

微服务场景下契约的落地位置是服务间的声明式调用与接口版本治理,服务间调用的超时、重试、降级与灰度对契约的要求见 Spring Cloud 微服务。

3.5 测试数据管理

构造器与对象工厂

直接 new 对象并逐字段赋值,在字段增多后会形成大量重复代码,且新增必填字段时需修改所有测试。替代方案是集中构造:

public final class OrderFixture {

    public static Order.OrderBuilder defaultOrder() {
        return Order.builder()
                .orderNo("ORD-20260901-0001")
                .userId(1L)
                .status(OrderStatus.CREATED)
                .amount(new BigDecimal("100.00"));
    }

    public static Order paidOrder() {
        return defaultOrder().status(OrderStatus.PAID).build();
    }
}

要点:

  • 工厂提供合理的默认值,测试只覆盖与当前断言相关的字段,使测试意图清晰
  • 每个用例构造独立的数据,不在用例间共享可变对象
  • 唯一性字段(订单号、手机号、用户名)需要包含随机或递增部分,避免并行执行时唯一约束冲突
  • 建造者模式在构造多字段对象时的作用见 设计模式理论与实战手册

测试数据与生产数据的隔离

  • 测试环境禁止导入生产数据。开发与测试库中若混入真实个人信息,需要在评审与审计中作为合规问题处理,合规要求见 linux: 合规与审计落地
  • 需要以接近真实分布的数据做验证时(性能测试、数据迁移验证),数据必须先在源库侧或导入流程中完成脱敏,再交付使用
  • 测试数据库中不应保留真实的外部标识(身份证号、银行卡号、真实手机号、真实邮箱),统一使用合成数据

敏感数据脱敏

字段类型 处理方式 注意
手机号 保留号段与前三位后四位,中间以固定字符替换 需保持长度与格式合法,避免引发校验分支之外的路径
身份证号 保留地区位,其余替换,并重新计算校验位 校验位不合法会导致依赖校验的逻辑无法进入目标分支
银行卡号 保留前六位与后四位 需通过 Luhn 校验时须重新生成合法校验位
姓名 替换为合成姓名 避免保留姓氏与名字的首字组合
邮箱 使用保留域名的合成地址 防止测试环境误发真实邮件

脱敏在开发与测试环境同样属于强制要求,脱敏规则应版本化管理,与数据导入脚本一同评审。

3.6 CI 中的测试

执行顺序与并行

常见的分层执行顺序:

  1. 提交阶段:编译与静态检查,执行带 fast 标签的单元测试
  2. 合并请求阶段:全量单元测试与切片测试
  3. 合并前:集成测试(含容器化依赖)、契约验证
  4. 合并后:端到端测试与冒烟验证

并行执行的约束:

  • 数据库相关的测试并行时必须隔离数据(独立 schema、独立事务或独立库),共享库并行会因唯一约束与事务互锁产生偶发失败
  • 测试之间不应共享端口固定值的服务,端口冲突会导致随机失败
  • 并行度按可用 CPU 与容器内存设定,资源不足时并行反而降低吞吐
  • 并行执行会改变用例之间的执行顺序,任何顺序依赖都会在此暴露

失败重试的取舍与风险

重试能减少偶发失败造成的流水线中断,代价是掩盖真实缺陷:

  • 合理使用:重试次数为一到两次,且记录重试日志;重试成功后仍标记为需排查项
  • 风险一:把概率性并发缺陷当作抖动,实际问题是数据竞争
  • 风险二:把环境容量不足导致的超时当作抖动,掩盖了资源配额与连接池配置问题
  • 风险三:重试使流水线时间不稳定,掩盖了测试套件本身的性能退化
  • 反模式:对全部测试无条件开启重试,使偶发失败不再被记录

测试报告与失败定位

  • 报告需包含失败用例、断言差异、执行耗时、运行环境与构建号
  • 记录失败时的上下文:请求与响应报文、SQL 与参数、关键状态字段,便于在流水线存档过期后仍能定位
  • 报告归档保留时间与流水线日志保留策略对齐,避免问题出现时对应记录已被清理
  • 单元测试与集成测试的报告分开,避免慢速测试的噪声掩盖快速测试的失败

报告中记录的上下文依赖应用侧的日志配置与字段约定,日志级别语义、结构化字段与敏感信息脱敏的规范见 Java 日志与常用类库规范。

覆盖率门禁与质量阈值的落地

  • 门禁在合并请求阶段执行,只对增量代码计算覆盖率
  • 静态检查、编译警告、覆盖率、契约验证这四类检查的阻断范围应明确区分:编译与契约验证作为硬阻断,覆盖率与静态检查按阈值阻断或仅告警
  • 门禁阈值调整属于流程变更,需与新版本一同进入变更记录,测试结果与验证材料是发布评审的输入,衔接方式见 linux: 变更与发布管理

3.7 常见问题

偶发失败

按成因分类排查:

成因 表现 处置
时间依赖 跨零点、月末、夏令时切换时失败 注入固定时钟,断言使用相对时间而非绝对时间
并发与时序 高负载时失败,低负载时通过 去除对执行顺序的假设,增加同步机制,检查共享状态
端口与资源冲突 并行执行时连接被拒绝或端口占用 使用随机端口,测试结束后释放资源
顺序依赖 单独执行通过,全量执行失败 消除类间共享状态,用例前置初始化
外部服务抖动 依赖真实第三方时随机失败 改为本地打桩或契约替身
数据残留 第二次执行因唯一约束失败 用例自行清理其创建的数据

处置原则是修复根因,而不是提高重试次数或放宽断言。偶发失败需要记录发生频率与失败用例,作为技术债务跟踪。

测试污染

表现为一个用例的状态影响另一个用例。常见来源:静态可变字段、共享的 Spring 上下文内被修改的 Bean 状态、缓存、单例、临时文件与固定的测试数据 ID。定位方法是单独执行失败用例,若能通过则确认存在污染。

过于缓慢的测试套件

  • 统计每个测试类的耗时,定位长尾
  • 检查是否在单元测试中启动了 Spring 上下文或容器
  • 检查是否存在固定时长的等待(sleep),改为条件轮询
  • 检查是否在循环中执行数据库写入,改为批量操作
  • 把慢速测试移出提交阶段的执行范围,但保留在合并前的范围,避免被长期忽略

为通过测试而修改断言的坏味道

典型表现为:实现变更后测试失败,处置方式是修改期望值使测试通过。这类改动使测试从"验证契约"退化为"记录当前行为",此前的回归保护价值随之消失。

高危:批量放宽或批量更新断言以使失败测试通过。影响:被放宽的分支失去回归保护,后续同类的真实缺陷不会再被测试发现,且改动分散在多个文件中难以逐条复核。要求:变更前逐条确认失败原因是"被测行为按预期变更"还是"实现引入缺陷",对后者修实现而非改断言;断言值的更新需在提交信息中说明依据(需求编号或接口约定);回滚方式是保留测试文件的版本记录,按提交回退断言改动并重新核对行为。

四、总结

Java 测试体系的取舍可以归纳为以下几点:

  1. 测试的目标是降低缺陷的发现阶段,其收益可通过"问题在哪个阶段被发现"衡量,而不是通过覆盖率数字衡量
  2. 分层占比由代码性质、变更频率与失败后果决定。以编排与 SQL 为主的模块应提高集成测试占比,纯计算模块适合单元测试
  3. 测试替身的选择顺序是真实实现、假对象、桩、模拟。模拟只用于验证无法通过返回值观察的副作用,对调用序列的断言会绑定实现细节
  4. Spring 测试的耗时主要来自上下文加载,切片与缓存复用是控制耗时的两个手段,代价是配置差异带来的行为偏差
  5. 外部依赖优先使用容器化的真实实例,跨团队接口使用契约测试,纯计算依赖使用打桩
  6. 覆盖率用于指示未测试的代码与趋势变化,不作为缺陷发现率的度量;门禁以增量与分支覆盖为主
  7. 可测试性由设计决定,依赖注入、时间与随机数可注入、副作用边界隔离是前置条件
  8. 测试数据的合规要求与生产一致:禁止导入真实数据,脱敏规则版本化,清理动作限定在独立环境
  9. 偶发失败必须定位根因,重试只作为恢复手段,不作为结论;为通过测试而放宽断言会直接削弱回归保护