二、换行符 CRLF
2.1 起源
机械打字机时代存在两个独立物理动作:
- CR(Carriage Return,回车):打印头回到行首
- LF(Line Feed,换行):纸张上移一行
电传打字机以两个控制字符分别表达这两个动作,计算机系统继承此约定。
ASCII 编码定义:
- CR = \r = 0x0D
- LF = \n = 0x0A
2.2 原理:操作系统换行约定差异
| 操作系统 | 换行符 | 缩写 | 十六进制 |
|---|---|---|---|
| Windows | 回车 + 换行 | CRLF (\r\n) | 0D 0A |
| Unix / Linux / 现代 macOS | 仅换行 | LF (\n) | 0A |
| 早期 Classic macOS | 仅回车 | CR (\r) | 0D |
同一文本「Hello\nWorld」在不同系统下的实际存储:
- Windows 记事本:Hello + \r\n + World
- Linux Vim:Hello + \n + World
2.3 实际影响
| 场景 | 现象 | 原因 |
|---|---|---|
| Linux 运行 Windows 编写的 Shell/Python 脚本 | -bash: $'\r': command not found 或 SyntaxError: EOL while scanning string literal | 每行末尾多出 \r,解释器无法识别 |
| Git 跨平台协作 | git diff 显示整个文件被修改 | 团队成员换行符不一致,Git 判定全行变更 |
| HTTP 协议解析 | 服务器无法解析请求 | HTTP 规定请求行/头字段必须以 CRLF 分隔,使用 LF 会导致请求格式非法 |
2.4 实现与使用
编辑器显示与切换:VS Code、Sublime、Notepad++ 右下角显示当前文件 CRLF/LF,可点击切换。
Git 自动转换:
# Windows:提交时转 LF,检出时转 CRLF
git config --global core.autocrlf true
# Mac/Linux:提交时转 LF,检出时保持 LF
git config --global core.autocrlf input
# 关闭自动转换(仓库内强制统一)
git config --global core.autocrlf false
仓库根目录新增 .gitattributes 文件强制统一:
* text=auto eol=lf
*.bat text eol=crlf
*.sh text eol=lf
格式化工具配置:Prettier / ESLint 强制 LF:
{
"endOfLine": "lf"
}
2.5 验证手段
# 查看文件换行符(十六进制)
hexdump -C file.txt | head
# 文件类型识别
file file.txt
# 输出含 "with CRLF line terminators" 即为 CRLF
# 查看当前 Git 配置
git config --get core.autocrlf
# 检查仓库中文件换行符
git ls-files --eol
三、字符编码
3.1 BOM 字节顺序标记
起源:UTF-16 存在大端(BE)与小端(LE)字节序差异,需在文件头部以 BOM 标识字节序。微软在 UTF-8 文件头部追加 BOM 字节 EF BB BF 以区分 UTF-8 与 ANSI。
原理:UTF-8 字节序固定,BOM 对 UTF-8 无实际用途。Linux/Unix 工具链默认不识别 UTF-8 BOM,将其视为正文首字符。
实际影响:Windows 记事本保存的 UTF-8 文件上传至 Linux,Python 解释器报错 SyntaxError: Non-UTF-8 code starting with '\xef';Shell 脚本首行 #!/bin/bash 前有 BOM 时解释器找不到。
处理约定:UTF-8 文件不携带 BOM。VS Code、IntelliJ 等编辑器均提供「保存时不带 BOM」选项。
# 检查文件首字节是否为 BOM
hexdump -C file.txt | head -1
# 首行含 "efbb bf" 即存在 BOM
# 移除 BOM
sed -i '1s/^\xEF\xBB\xBF//' file.txt
3.2 NUL 与 EOF
起源:C 语言以 \0(值为 0)作为字符串结束符;早期 Unix 以 EOF(值为 -1 或 Ctrl+D 即 0x04)作为文件结束标记。
原理:文本读写函数 fgets、gets 遇 \0 截断;二进制文件任意位置可能出现 0x00 字节,文本函数无法正确处理。
实现与使用:
| 函数 | 适用场景 | 处理 \0 方式 |
|---|---|---|
fgets / gets | 文本文件 | 遇 \0 截断 |
fread / fwrite | 二进制文件 | 按字节计数,不依赖 \0 |
// 二进制读写示例
FILE *fp = fopen("data.bin", "rb");
char buf[1024];
size_t n = fread(buf, 1, sizeof(buf), fp); // 按字节计数
3.3 GB2312 / GBK / GB18030
起源:为兼容 ASCII,中文采用双字节编码。三个标准依次扩展:
| 标准 | 字符容量 | 范围 |
|---|---|---|
| GB2312 | 6763 汉字 | 常用字 |
| GBK | 21003 汉字 | 扩展字 |
| GB18030 | 70244 汉字 | 强制国家标准,含少数民族文字 |
实际影响:网页声明 <meta charset="GBK"> 但用户文件为 GB2312 时,生僻字(如「镕」「玥」)渲染为乱码「�」。
处理约定:新项目统一使用 UTF-8。遗留系统转码:
# GBK 转 UTF-8
iconv -f GBK -t UTF-8 input.txt -o output.txt
# 查看文件编码
file -i input.txt
四、网络协议
4.1 TCP 三次握手与四次挥手
起源:TCP 通过状态机保证可靠传输,连接建立与断开需双向确认双方收发能力。
原理:
三次握手(建立连接):
1. 客户端 → 服务端:SYN
2. 服务端 → 客户端:SYN + ACK(合并发送)
3. 客户端 → 服务端:ACK
四次挥手(断开连接):
1. 客户端 → 服务端:FIN(不再发送数据)
2. 服务端 → 客户端:ACK(确认收到,可能仍有数据未发完)
3. 服务端 → 客户端:FIN(数据发完后)
4. 客户端 → 服务端:ACK
四次比三次多一次的原因:握手时服务端无数据待发,SYN 与 ACK 可合并;挥手时服务端可能仍有数据未发完,ACK 与 FIN 必须分两次发送。
验证手段:
# 抓取 TCP 三次握手
tcpdump -i any -nn 'tcp port 80 and tcp[tcpflags] & tcp-syn != 0'
# Wireshark 过滤
tcp.flags.syn == 1
4.2 HTTP 状态码 418
起源:RFC 2324 定义 HTCPCP(超文本咖啡壶控制协议),418 I'm a teapot 表示「茶壶无法煮咖啡」,属愚人节彩蛋。
原理:非真正错误码,但部分网站在反爬虫或调试逻辑中返回 418 作为拦截标识。
验证手段:
curl -i http://httpbin.org/status/418
五、操作系统与文件系统
5.1 路径分隔符
起源:Unix 以 / 作为根目录与路径分隔符;DOS 以 / 作为命令参数前缀(如 dir /p),微软为避免冲突改用 \ 作为路径分隔符。
原理:
| 系统 | 路径分隔符 | 参数前缀 |
|---|---|---|
| Windows | \ 或 / | / |
| Unix/Linux | / | - |
实际影响:Python 字符串中 C:\Users\name 的 \n 被解析为换行符。
处理方法:
# 原始字符串
path = r"C:\Users\name"
# 双反斜杠
path = "C:\\Users\\name"
# 正斜杠(Windows 也支持)
path = "C:/Users/name"
# 跨平台推荐
import os
path = os.path.join("C:", "Users", "name")
5.2 空设备 /dev/null 与 NUL
起源:Unix 以 /dev/null 作为数据黑洞;Windows 以 NUL(保留设备名)作为等价物。
实现与使用:
# Linux:丢弃输出
command > /dev/null 2>&1
# Windows:丢弃输出
command > NUL 2>&1
# Linux:创建空文件
touch empty.txt
# Windows:创建空文件
type nul > empty.txt
copy con > empty.txt # Ctrl+Z 结束
5.3 软链接与快捷方式
原理:
| 类型 | 实现层 | 文件扩展名 | inode |
|---|---|---|---|
| Linux 符号链接 | 文件系统层重定向 | 无 | 不占用 |
| Windows 快捷方式 | 资源管理器解析 | .lnk | 独立文件 |
| Windows 软链接 | NTFS 文件系统重定向 | 无 | - |
实现与使用:
# Linux 创建符号链接
ln -s /var/log/app.log /opt/app.log
# Windows 创建软链接(需管理员)
mklink /D D:\link D:\target # 目录软链接
mklink /J D:\junction D:\target # 目录联接
mklink D:\file_link D:\file # 文件软链接
验证手段:
# Linux 查看链接
ls -l /opt/app.log
readlink /opt/app.log
# Windows 查看链接
dir /a:l
fsutil reparsepoint query D:\link
六、硬件与单位
6.1 硬盘容量单位差异
起源:硬盘厂商采用 SI 国际单位制(十进制),操作系统采用 IEC 二进制单位。
| 单位制 | 标准 | 进制 | 1 TB 含字节 |
|---|---|---|---|
| SI(厂商) | GB / TB | 10³ | 1,000,000,000,000 |
| IEC(系统) | GiB / TiB | 2¹⁰ | 1,099,511,627,776 |
原理:1 TB(厂商)= 1,000,000,000,000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 931.32 GiB。Windows 资源管理器将 GiB 显示为 GB,导致显示值小于标称值。
验证手段:
# Linux 以 IEC 单位显示(1024 进制)
df -h
# Linux 以 SI 单位显示(1000 进制)
df -H
# 查看磁盘精确字节数
lsblk -b
blockdev --getsize64 /dev/sda
6.2 Num Lock 模式切换
起源:早期 IBM 键盘小键盘区域默认为光标控制键(上下左右、Home、End),Num Lock 为模式切换开关,而非启用开关。
原理:现代键盘小键盘在 Num Lock 开启时输出数字,关闭时作为光标控制键。指示灯仅反映当前模式状态。
七、综合:MIME 与 Base64
7.1 起源
SMTP 协议最初仅支持 7-bit ASCII 文本传输,无法直接传输图片、视频等二进制数据。MIME(多用途互联网邮件扩展)规范引入 Content-Transfer-Encoding 字段,定义 Base64 等编码方式将二进制数据转为 ASCII 可见字符。
7.2 原理
Base64 编码规则:
- 输入数据按每 3 字节(24 bit)分组
- 拆分为 4 组 6 bit
- 每组映射到字符集 A-Z a-z 0-9 + / 共 64 个字符
- 末尾不足 3 字节时以 = 填充
编码后数据膨胀率:(4 - 3) / 3 ≈ 33.3%。
7.3 实现与使用
邮件附件:MIME multipart 格式携带 Base64 编码的附件内容。
Data URL:
<img src="data:image/png;base64,iVBORw0KGgoAAAANS..." />
URL 安全 Base64:URL 中 + 与 / 需转义为 %2B 与 %2F,或使用 URL 安全字符集 - 与 _。
# 编码
echo -n "hello" | base64
# 输出 aGVsbG8=
# 解码
echo "aGVsbG8=" | base64 -d
# 输出 hello
# 文件编码(对比大小)
ls -l file.bin file.b64
7.4 验证手段
# SMTP 抓包确认 Base64 传输
tcpdump -i any -A 'tcp port 25' | grep -A 4 "Content-Transfer-Encoding"
# Python 验证编码膨胀率
python3 -c "import base64; d=b'x'*1024; print(len(d), len(base64.b64encode(d)))"
八、跨平台处理口诀
统一标准、显式声明、跨平台换行、非 ASCII 转义。
- 统一标准:项目内统一换行符、编码、路径分隔符
- 显式声明:在配置文件、
.gitattributes、HTTP 头中显式声明编码与格式 - 跨平台换行:脚本与配置文件统一 LF,Windows 批处理保留 CRLF
- 非 ASCII 转义:URL、HTTP 头、SMTP 中非 ASCII 字符以 Base64 或百分号编码传输