信息论与编码篇---信源编码
一、信源编码的分类
信源编码主要分为三大类：
无失真编码（可完全恢复原始数据）
限失真编码（允许一定误差，换更高压缩率）
感知编码（利用人类感知特性）
二、常见信源编码详细介绍
1. 霍夫曼编码（Huffman Coding）
核心思想：给高频符号短码，低频符号长码，像给常用字编个简短代号。
怎么做的：
统计每个符号出现的概率
把概率最小的两个符号合并
重复直到只剩一个节点
从根节点往回分配0和1
举个栗子：
字符：A(60%), B(20%), C(10%), D(10%)
编码结果：A→0, B→10, C→110, D→111
优点：最优变长编码，解码简单
缺点：需要预先知道概率分布
应用：ZIP压缩、JPEG（的一部分）
2. 算术编码（Arithmetic Coding）
核心思想：不把每个符号单独编码，而是把整个消息映射到[0,1)区间的一个小数。
怎么做的：
初始区间[0,1)
每个符号到来，按概率缩小区间
最后用区间内的任意小数代表整个序列
举个栗子：
消息"ABC"，概率A=0.5,B=0.25,C=0.25
→ 最终区间[0.375,0.4375)
→ 取0.4（二进制0.0110011...）表示整个"ABC"
优点：压缩率更高，接近熵极限
缺点：计算复杂，对错误敏感
应用：H.264视频、JPEG2000、7z压缩
3. 游程编码（Run-Length Encoding, RLE）
核心思想：把连续重复的符号用"符号+重复次数"表示。
举个栗子：
原始：AAAAABBBCCCCCC
编码：A5B3C6
优点：超简单，处理重复数据极高效
缺点：对不重复的数据反而会增大体积
应用：BMP图像、传真机、早期压缩
4. LZ系列编码（Lempel-Ziv）
核心思想：建立字典，用指针指向之前出现过的重复字符串。
怎么做的（LZ77）：
维护一个滑动窗口
发现重复字符串时，用(距离,长度)代替
接收端根据指针重建原文
举个栗子：
"ABABAB" → 先发"AB"，遇到第二个"AB"时发(2,2)表示"往前2个字符，复制2个"
优点：不需要预先统计概率，自适应性强
缺点：实现复杂，需要缓冲区
应用：GIF、PNG、ZIP（LZ77+霍夫曼）
5. 变换编码（Transform Coding）
核心思想：把信号从时域变换到频域，保留重要频率，舍弃不重要的。
怎么做的（以JPEG为例）：
把图像分成8×8小块
用DCT变换到频域
保留低频系数（人眼敏感），舍弃高频（人眼不敏感）
量化（造成失真的关键步骤）
编码剩余系数
优点：压缩率高，能利用人类感知特性
缺点：有失真，计算量大
应用：JPEG、MP3、H.264
6. 预测编码（Predictive Coding）
核心思想：不编码原始值，只编码预测值与实际值的差值。
怎么做的：
根据前面的数据预测当前值
计算预测误差（通常很小）
编码这个误差值
举个栗子：
像素值：100, 101, 102, 103
预测：下一个≈上一个
差值：+1, +1, +1（比原始值小得多）
优点：利用数据相关性，差值动态范围小
缺点：预测不准时效果差
应用：DPCM、语音编码、无损JPEG
7. 矢量量化（Vector Quantization, VQ）
核心思想：不一个个编码数值，而是把一组数值（矢量）一起编码，用码本中的索引代替。
怎么做的：
预先训练一个码本（典型矢量的集合）
把输入数据分成矢量
找码本中最接近的矢量
只传输索引
优点：高压缩比，适合有失真场景
缺点：码本设计复杂，需要训练
应用：语音编码、图像压缩、人脸识别
三、编码方法对比表
| 编码方法 | 类型 | 压缩比 | 有无失真 | 复杂度 | 适用场景 |
|---|---|---|---|---|---|
| 霍夫曼 | 统计编码 | 中 | 无 | 低 | 通用文件压缩 |
| 算术编码 | 统计编码 | 高 | 无 | 中 | 视频、图像 |
| 游程编码 | 字典编码 | 低 | 无 | 极低 | 二值图像、传真 |
| LZ系列 | 字典编码 | 中高 | 无 | 中 | ZIP、GIF |
| 变换编码 | 变换编码 | 高 | 有 | 高 | 图像、视频 |
| 预测编码 | 预测编码 | 中 | 两者都有 | 中 | 语音、图像 |
| 矢量量化 | 量化编码 | 高 | 有 | 高 | 语音、特征压缩 |
四、Mermaid总结框图
五、实际应用中的组合拳
现实中的压缩标准都是多种编码方法的组合：
JPEG图像压缩
颜色空间转换
DCT变换（变换编码）
量化（限失真）
Z字形扫描
霍夫曼编码（或算术编码）
ZIP文件压缩
LZ77（找重复字符串）
霍夫曼编码（压缩LZ77的输出）
H.264视频压缩
帧内/帧间预测（预测编码）
DCT变换（变换编码）
量化
CAVLC/CABAC（算术编码变种）
六、核心启示
没有万能编码：不同场景选择不同方法
组合优于单一：实际系统都是多种编码组合
无失真vs限失真：根据需求选择，图像视频常用限失真获得更高压缩比
复杂度vs压缩率：压缩率越高，通常复杂度也越高
打个比方：信源编码就像打包行李的各种技巧：
霍夫曼编码：把常穿的衣服放上面（高频短码）
游程编码：把同样的袜子卷在一起（重复压缩）
变换编码：把羽绒服抽真空（变换后更省空间）
矢量量化：用"套装"的概念打包（矢量代替单个）
实际旅行中（实际应用中），我们会组合使用这些技巧，达到最好的打包效果！