本文说明编码体系的构成与易混淆边界。Base64 的深入讲解见 Base64 编码,字符集与时间的处理见 时间与字符编码,原语与组合模式见 密码学理论与应用,落地反模式见 加密落地与常见反模式,算法与参数见 加密算法选型与参数配置,证书封装格式见 证书与 PKI 实践,接口的字段与内容类型约定见 HTTP API,浏览器侧的转义与同源问题见 浏览器渲染与 Web 安全,抓包与字段观察见 接口调试、文档与 Mock,令牌结构与凭据传递见 认证与授权,序列化格式与兼容性见 序列化。

一、起源

1.1 编码的三个目的

目的 说明 例子
可传输 把内容转换为通道允许的字符集 把二进制放进只允许文本的字段
可显示 把内容转换为可读形式 十六进制转储、可打印字符
可分割 用固定或可识别的边界组织内容 用分隔符或长度前缀切分字段

1.2 三类操作的对照

维度 编码 哈希 加密
目标 表示与传输 完整性校验与不可逆摘要 保密性
可逆性 可逆(无需密钥) 不可逆 可逆(需密钥)
依赖密钥 不依赖 不依赖(消息认证码需密钥) 依赖
对抗对象 通道与格式限制 篡改与碰撞 窃听
常见误用 当作加密使用 当作用户标识或用于口令存储 用于完整性而不做认证

1.3 取舍

选择 获得 付出
使用标准编码与显式声明 互通性好、问题易定位 报文体积增加,需要正确处理声明
自定编码或依赖隐式约定 报文紧凑 跨系统对接时极易出现解码歧义

二、原理

2.1 Base 系列

变体 字符集特点 长度扩张 填充 适用
标准形式 含加号与斜杠 约三分之一 有 通用文本通道
地址安全变体 用连字符与下划线替换易冲突字符 同上 可省略 出现在地址或令牌中
三十二进制 大写字母与数字 约五分之三 有 需要避免大小写混淆或大小写不敏感通道
五十八进制 去除易混淆字符 接近原始 无 需要人工转录或紧凑标识

三条结论:

  • Base 编码会增加体积,因此大对象应先压缩再编码;反过来先编码再压缩几乎没有收益,因为编码后的内容熵更高。
  • 地址安全变体的出现是因为标准形式中的加号与斜杠在地址与表单场景中需要额外转义。
  • 省略填充的变体要求解码方能够按长度补齐,跨系统对接时必须显式约定是否保留填充。

2.2 十六进制与二进制表示

用途 说明
调试与日志 十六进制便于按字节观察与比对
存储与传输 扩张一倍,仅在需要可读或校验值场景使用
字节序表达 同一数值在不同字节序下十六进制表示不同,比对时必须明确字节序
转储格式 常见转储工具会同时给出十六进制与可打印字符,用于快速定位

2.3 URL 编码与表单编码

关注点 说明
保留字符 具有语法含义的字符需要编码,否则会被解析为分隔符
空格处理 路径与表单中的空格编码结果不同,混用会导致服务端解析差异
路径与查询的差别 两者的保留字符集合与转义规则不完全相同
双重编码 编码结果再次被编码会导致服务端解出非预期内容,是排查"参数不一致"的常见原因
编码时机 应在拼接完整地址时按段编码,而不是对整条地址整体编码

2.4 文本转义

场景 转义方式 关键边界
标记语言 实体转义 转义是语法要求,不能替代输入过滤
结构化文本 引号与反斜杠转义 键名与字符串值都要处理
分隔文件 引号包裹与引号重复 字段内含分隔符与换行时必须正确包裹
正则表达式 元字符转义 用户输入拼接进正则前必须转义
模板 按模板语法转义 关闭自动转义会引入注入风险
结构化查询 参数化而非字符串拼接 转义无法替代参数化,这是注入问题的正解

一条核心结论:转义解决的是"语法冲突",参数化解决的是"数据与代码分离",前者不能替代后者。

2.5 字符集与统一码

关注点 说明
字符集与编码的区别 字符集是字符集合,编码是该集合在字节层面的表示方式
常见编码的适用 通用场景使用覆盖面最广的编码;与遗留系统对接时可能仍需使用区域编码
字节序标记 位于内容起始,用于标识编码与字节序;出现在不应出现的位置会变成可见的乱码字符
规范化 同一字符存在多种等价表示,比较前需要统一到同一规范形式
全角与半角 视觉相似但码位不同,直接比较会被判为不等
长度口径 字节长度与字符长度不同,限制长度与截断时必须明确口径
截断风险 按字节截断可能截断到多字节字符中间,产生乱码或解析失败

"看起来一样却比较不相等" 是国际化与用户输入场景中最常见的问题,根源通常就是未做规范化或全角半角未统一。

2.6 结构化封装

格式 结构 用途与注意
二进制编码形式 紧凑的二进制结构 用于程序解析与传输
文本封装形式 用文本包裹二进制编码内容 便于在文本通道中传输,如证书与密钥文件
三段式令牌 头部与载荷与签名三段,各段使用地址安全编码 签名覆盖的是前两段的编码后文本,因此编码方式变化会直接导致签名校验失败
二维码与条形码 以图形承载编码后的数据 定位是数据载体,容量与纠错能力有限

三段式令牌的关键点是签名与编码的耦合关系:任何对载荷的重新序列化(如键顺序变化、空白差异)都会改变被签名的字节串,从而使校验失败。

2.7 压缩与编码

关注点 说明
目标不同 压缩减小体积,编码改变表示形式,两者都不提供保密性
处理顺序 先压缩后编码;先编码后压缩效果差
压缩与加密的组合 把机密数据与外部可控数据一起压缩后再加密,可能通过长度差异推断机密内容,因此敏感场景应避免这种组合或采用固定长度填充
压缩的判定 对已压缩格式(如常见图片与视频)再次压缩收益极低

2.8 编码在协议中的位置

位置 要求
内容类型声明 声明媒体类型与字符集,接收方据此解码
字段编码约定 由协议规定,不能自行选择便于实现的编码
多层编码 需要明确解码顺序,嵌套编码是排查困难的常见来源
边界与长度 长度字段统计的是编码前还是编码后必须明确

三、实现

3.1 编码选择对照表

场景 推荐 理由
二进制数据放入文本字段 标准 Base 编码 兼容性最好
出现在地址或令牌中 地址安全变体并约定填充 避免额外转义与解析歧义
需要人工抄录的标识 去除易混淆字符的编码 降低转录错误
调试与日志中的字节比对 十六进制 便于按字节核对
用户输入拼入地址 按段进行地址编码 避免保留字符被解析为语法
用户输入拼入标记或模板 按目标语法转义 防止语法冲突
用户输入进入查询条件 参数化 转义不能替代
跨系统比较文本 先规范化再比较 消除等价表示差异
大对象经文本通道传输 先压缩再编码 降低体积

3.2 十项常见混淆

混淆 表现 后果
把 Base 编码当加密 数据以可解码文本存储 等同明文
把哈希当加密 期望从摘要还原原文 功能无法实现
用哈希做用户标识 短标识的摘要可被枚举 标识可被反推
用普通哈希存口令 无盐或快速哈希 可被彩虹表与字典攻击
把十六进制当成加密结果 字节可读 泄露内容
认为转义可防注入 依赖转义过滤输入 存在绕过路径
忽略规范化直接比较 视觉相同却比较不等 登录与校验异常
全角与半角混用 数字与字母看起来相同 检索与匹配失败
先编码后压缩 体积收益极低 浪费计算
解码顺序错误 多层编码未按嵌套顺序解码 解析失败或内容错乱

3.3 规范化与比较实践

# 比较前统一处理的步骤
1. 确认并统一字符编码(避免同一文本在不同编码下长度不同)
2. 按业务需要做规范化(如统一到组合形式或分解形式)
3. 按业务需要统一全角与半角、大小写与首尾空白
4. 明确比较口径:按字节比较还是按规范化后的字符比较
5. 记录处理规则,避免不同模块各自处理导致不一致

# 长度限制与截断
1. 长度限制应明确按字节还是按字符
2. 截断必须在字符边界进行,避免破坏多字节字符
3. 显示层按字符计数,存储层按字节计容量,两者需换算
# 签名与编码的耦合(以三段式令牌为例)
1. 待签名的内容是前两段的编码后文本,而不是解码后的原始字段
2. 修改字段顺序或空白会改变编码后文本,导致签名校验失败
3. 因此载荷序列化必须由同一实现生成,接收方不应重新序列化后校验
4. 调试时应同时对比编码后文本与解码后内容,才能定位到差异

3.4 常见问题对照

现象 常见原因 处置
中文出现乱码 发送与接收的编码声明或实际编码不一致 统一编码并显式声明
文件开头出现不可见或可见杂字符 字节序标记被当作内容处理 按规范处理标记位置
参数在服务端被拆成两段 未对特殊字符做地址编码 按段编码后拼接
参数值多出一层编码 双重编码 定位编码发生的层并只保留一次
凭据校验偶发失败 载荷序列化方式不同导致签名覆盖内容变化 由同一实现生成与校验
视觉相同的文本检索不到 未做规范化或全角半角不统一 入库与检索前统一处理
长度校验拦住正常输入 混淆了字节长度与字符长度 明确口径并换算
截断后出现乱码 按字节截断破坏了多字节字符 改为按字符边界截断
压缩后体积反而变大 对象本身已是压缩格式 跳过压缩
数据以可读文本保存却以为已加密 使用了 Base 编码 改用加密算法
日志中打印密文与密钥 把编码结果误认为不可读而直接输出 统一按敏感信息处理日志
多层编码解不开 解码顺序与嵌套顺序相反 按实际嵌套层次逆序解码

四、总结

  1. 编码解决表示与传输问题,不提供保密性;哈希保证完整性且不可逆,加密提供保密性且需要密钥。
  2. Base 编码会增加体积,因此大对象应先压缩再编码,先编码后压缩几乎没有收益。
  3. 地址安全变体的存在是因为标准形式中的字符在地址与表单中需要额外转义,省略填充时必须显式约定。
  4. 十六进制按字节扩张一倍,适合调试比对,但不等于加密,比对时必须明确字节序。
  5. 保留字符与空格处理在路径与表单中不同,双层编码是参数不一致的常见来源,应按段编码而非整体编码。
  6. 转义解决语法冲突,参数化解决数据与代码分离,转义不能替代参数化,这是注入问题的正解。
  7. 字符集与编码是两个概念,规范化与全角半角统一是文本比较的前提,否则会出现"看起来一样却不相等"。
  8. 长度口径必须明确按字节还是按字符,按字节截断会破坏多字节字符,这是国际化场景的常见缺陷。
  9. 三段式令牌的签名覆盖编码后的文本,因此载荷序列化方式变化会直接导致校验失败,必须由同一实现生成与校验。
  10. 压缩与加密的组合要谨慎:机密数据与外部可控数据一起压缩后再加密可能通过长度差异泄露信息,敏感场景应避免该组合。