二、换行符 CRLF

2.1 起源

机械打字机时代存在两个独立物理动作:
- CR(Carriage Return,回车):打印头回到行首
- LF(Line Feed,换行):纸张上移一行

电传打字机以两个控制字符分别表达这两个动作,计算机系统继承此约定。

ASCII 编码定义:
- CR = \r = 0x0D
- LF = \n = 0x0A

2.2 原理:操作系统换行约定差异

操作系统 换行符 缩写 十六进制
Windows 回车 + 换行 CRLF (\r\n) 0D 0A
Unix / Linux / 现代 macOS 仅换行 LF (\n) 0A
早期 Classic macOS 仅回车 CR (\r) 0D

同一文本「Hello\nWorld」在不同系统下的实际存储:
- Windows 记事本:Hello + \r\n + World
- Linux Vim:Hello + \n + World

2.3 实际影响

场景 现象 原因
Linux 运行 Windows 编写的 Shell/Python 脚本 -bash: $'\r': command not found 或 SyntaxError: EOL while scanning string literal 每行末尾多出 \r,解释器无法识别
Git 跨平台协作 git diff 显示整个文件被修改 团队成员换行符不一致,Git 判定全行变更
HTTP 协议解析 服务器无法解析请求 HTTP 规定请求行/头字段必须以 CRLF 分隔,使用 LF 会导致请求格式非法

2.4 实现与使用

编辑器显示与切换:VS Code、Sublime、Notepad++ 右下角显示当前文件 CRLF/LF,可点击切换。

Git 自动转换:

# Windows:提交时转 LF,检出时转 CRLF
git config --global core.autocrlf true

# Mac/Linux:提交时转 LF,检出时保持 LF
git config --global core.autocrlf input

# 关闭自动转换(仓库内强制统一)
git config --global core.autocrlf false

仓库根目录新增 .gitattributes 文件强制统一:

* text=auto eol=lf
*.bat text eol=crlf
*.sh text eol=lf

格式化工具配置:Prettier / ESLint 强制 LF:

{
  "endOfLine": "lf"
}

2.5 验证手段

# 查看文件换行符(十六进制)
hexdump -C file.txt | head

# 文件类型识别
file file.txt
# 输出含 "with CRLF line terminators" 即为 CRLF

# 查看当前 Git 配置
git config --get core.autocrlf

# 检查仓库中文件换行符
git ls-files --eol

三、字符编码

3.1 BOM 字节顺序标记

起源:UTF-16 存在大端(BE)与小端(LE)字节序差异,需在文件头部以 BOM 标识字节序。微软在 UTF-8 文件头部追加 BOM 字节 EF BB BF 以区分 UTF-8 与 ANSI。

原理:UTF-8 字节序固定,BOM 对 UTF-8 无实际用途。Linux/Unix 工具链默认不识别 UTF-8 BOM,将其视为正文首字符。

实际影响:Windows 记事本保存的 UTF-8 文件上传至 Linux,Python 解释器报错 SyntaxError: Non-UTF-8 code starting with '\xef';Shell 脚本首行 #!/bin/bash 前有 BOM 时解释器找不到。

处理约定:UTF-8 文件不携带 BOM。VS Code、IntelliJ 等编辑器均提供「保存时不带 BOM」选项。

# 检查文件首字节是否为 BOM
hexdump -C file.txt | head -1
# 首行含 "efbb bf" 即存在 BOM

# 移除 BOM
sed -i '1s/^\xEF\xBB\xBF//' file.txt

3.2 NUL 与 EOF

起源:C 语言以 \0(值为 0)作为字符串结束符;早期 Unix 以 EOF(值为 -1 或 Ctrl+D 即 0x04)作为文件结束标记。

原理:文本读写函数 fgets、gets 遇 \0 截断;二进制文件任意位置可能出现 0x00 字节,文本函数无法正确处理。

实现与使用:

函数 适用场景 处理 \0 方式
fgets / gets 文本文件 遇 \0 截断
fread / fwrite 二进制文件 按字节计数,不依赖 \0
// 二进制读写示例
FILE *fp = fopen("data.bin", "rb");
char buf[1024];
size_t n = fread(buf, 1, sizeof(buf), fp);  // 按字节计数

3.3 GB2312 / GBK / GB18030

起源:为兼容 ASCII,中文采用双字节编码。三个标准依次扩展:

标准 字符容量 范围
GB2312 6763 汉字 常用字
GBK 21003 汉字 扩展字
GB18030 70244 汉字 强制国家标准,含少数民族文字

实际影响:网页声明 <meta charset="GBK"> 但用户文件为 GB2312 时,生僻字(如「镕」「玥」)渲染为乱码「�」。

处理约定:新项目统一使用 UTF-8。遗留系统转码:

# GBK 转 UTF-8
iconv -f GBK -t UTF-8 input.txt -o output.txt

# 查看文件编码
file -i input.txt

四、网络协议

4.1 TCP 三次握手与四次挥手

起源:TCP 通过状态机保证可靠传输,连接建立与断开需双向确认双方收发能力。

原理:

三次握手(建立连接):
1. 客户端 → 服务端:SYN
2. 服务端 → 客户端:SYN + ACK(合并发送)
3. 客户端 → 服务端:ACK

四次挥手(断开连接):
1. 客户端 → 服务端:FIN(不再发送数据)
2. 服务端 → 客户端:ACK(确认收到,可能仍有数据未发完)
3. 服务端 → 客户端:FIN(数据发完后)
4. 客户端 → 服务端:ACK

四次比三次多一次的原因:握手时服务端无数据待发,SYN 与 ACK 可合并;挥手时服务端可能仍有数据未发完,ACK 与 FIN 必须分两次发送。

验证手段:

# 抓取 TCP 三次握手
tcpdump -i any -nn 'tcp port 80 and tcp[tcpflags] & tcp-syn != 0'

# Wireshark 过滤
tcp.flags.syn == 1

4.2 HTTP 状态码 418

起源:RFC 2324 定义 HTCPCP(超文本咖啡壶控制协议),418 I'm a teapot 表示「茶壶无法煮咖啡」,属愚人节彩蛋。

原理:非真正错误码,但部分网站在反爬虫或调试逻辑中返回 418 作为拦截标识。

验证手段:

curl -i http://httpbin.org/status/418

五、操作系统与文件系统

5.1 路径分隔符

起源:Unix 以 / 作为根目录与路径分隔符;DOS 以 / 作为命令参数前缀(如 dir /p),微软为避免冲突改用 \ 作为路径分隔符。

原理:

系统 路径分隔符 参数前缀
Windows \ 或 / /
Unix/Linux / -

实际影响:Python 字符串中 C:\Users\name 的 \n 被解析为换行符。

处理方法:

# 原始字符串
path = r"C:\Users\name"

# 双反斜杠
path = "C:\\Users\\name"

# 正斜杠(Windows 也支持)
path = "C:/Users/name"

# 跨平台推荐
import os
path = os.path.join("C:", "Users", "name")

5.2 空设备 /dev/null 与 NUL

起源:Unix 以 /dev/null 作为数据黑洞;Windows 以 NUL(保留设备名)作为等价物。

实现与使用:

# Linux:丢弃输出
command > /dev/null 2>&1

# Windows:丢弃输出
command > NUL 2>&1

# Linux:创建空文件
touch empty.txt

# Windows:创建空文件
type nul > empty.txt
copy con > empty.txt  # Ctrl+Z 结束

5.3 软链接与快捷方式

原理:

类型 实现层 文件扩展名 inode
Linux 符号链接 文件系统层重定向 无 不占用
Windows 快捷方式 资源管理器解析 .lnk 独立文件
Windows 软链接 NTFS 文件系统重定向 无 -

实现与使用:

# Linux 创建符号链接
ln -s /var/log/app.log /opt/app.log

# Windows 创建软链接(需管理员)
mklink /D D:\link D:\target       # 目录软链接
mklink /J D:\junction D:\target   # 目录联接
mklink D:\file_link D:\file       # 文件软链接

验证手段:

# Linux 查看链接
ls -l /opt/app.log
readlink /opt/app.log

# Windows 查看链接
dir /a:l
fsutil reparsepoint query D:\link

六、硬件与单位

6.1 硬盘容量单位差异

起源:硬盘厂商采用 SI 国际单位制(十进制),操作系统采用 IEC 二进制单位。

单位制 标准 进制 1 TB 含字节
SI(厂商) GB / TB 10³ 1,000,000,000,000
IEC(系统) GiB / TiB 2¹⁰ 1,099,511,627,776

原理:1 TB(厂商)= 1,000,000,000,000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 931.32 GiB。Windows 资源管理器将 GiB 显示为 GB,导致显示值小于标称值。

验证手段:

# Linux 以 IEC 单位显示(1024 进制)
df -h

# Linux 以 SI 单位显示(1000 进制)
df -H

# 查看磁盘精确字节数
lsblk -b
blockdev --getsize64 /dev/sda

6.2 Num Lock 模式切换

起源:早期 IBM 键盘小键盘区域默认为光标控制键(上下左右、Home、End),Num Lock 为模式切换开关,而非启用开关。

原理:现代键盘小键盘在 Num Lock 开启时输出数字,关闭时作为光标控制键。指示灯仅反映当前模式状态。


七、综合:MIME 与 Base64

7.1 起源

SMTP 协议最初仅支持 7-bit ASCII 文本传输,无法直接传输图片、视频等二进制数据。MIME(多用途互联网邮件扩展)规范引入 Content-Transfer-Encoding 字段,定义 Base64 等编码方式将二进制数据转为 ASCII 可见字符。

7.2 原理

Base64 编码规则:
- 输入数据按每 3 字节(24 bit)分组
- 拆分为 4 组 6 bit
- 每组映射到字符集 A-Z a-z 0-9 + / 共 64 个字符
- 末尾不足 3 字节时以 = 填充

编码后数据膨胀率:(4 - 3) / 3 ≈ 33.3%。

7.3 实现与使用

邮件附件:MIME multipart 格式携带 Base64 编码的附件内容。

Data URL:

<img src="data:image/png;base64,iVBORw0KGgoAAAANS..." />

URL 安全 Base64:URL 中 + 与 / 需转义为 %2B 与 %2F,或使用 URL 安全字符集 - 与 _。

# 编码
echo -n "hello" | base64
# 输出 aGVsbG8=

# 解码
echo "aGVsbG8=" | base64 -d
# 输出 hello

# 文件编码(对比大小)
ls -l file.bin file.b64

7.4 验证手段

# SMTP 抓包确认 Base64 传输
tcpdump -i any -A 'tcp port 25' | grep -A 4 "Content-Transfer-Encoding"

# Python 验证编码膨胀率
python3 -c "import base64; d=b'x'*1024; print(len(d), len(base64.b64encode(d)))"

八、跨平台处理口诀

统一标准、显式声明、跨平台换行、非 ASCII 转义。

  • 统一标准:项目内统一换行符、编码、路径分隔符
  • 显式声明:在配置文件、.gitattributes、HTTP 头中显式声明编码与格式
  • 跨平台换行:脚本与配置文件统一 LF,Windows 批处理保留 CRLF
  • 非 ASCII 转义:URL、HTTP 头、SMTP 中非 ASCII 字符以 Base64 或百分号编码传输