信息论与编码篇---各种熵之间的关系

我们可以从“混乱程度”这个最直观的角度来理解各种熵的关系。

想象你的房间：

• 非常整洁：书在书架，衣服在衣柜 ——熵很低

• 非常混乱：书在地上，衣服在椅子上，袜子在床上 ——熵很高

熵，就是衡量这种“混乱程度”或“不确定性”的指标。

1. 信息熵：一切的起点

这是最核心、最基本的熵。它衡量的是“一件事结果有多难猜”。

• 例子A：抛一枚硬币。正反各50%。你猜中的概率是50%，结果有点不确定。信息熵 = 1比特。

• 例子B：从一副扑克牌里抽一张大王。概率只有1/54，基本猜不中。信息熵很高。

• 例子C：太阳从东边升起。100%确定。信息熵 = 0。

通俗理解：信息熵就是“这件事的平均惊讶程度”。越不可能发生的事，发生了越惊讶，信息熵越高。

2. 交叉熵：用你的思路去猜别人的结果

假设你和朋友都看着同一堆东西，但你们手里的概率表不一样。

• 真实情况：明天80%下雨，20%晴天。（这是真实分布P）

• 你的猜测：你以为50%下雨，50%晴天。（这是猜测分布Q）

交叉熵就是“用你的概率表去猜真实结果时，你平均有多惊讶”。

• 如果明天真的下雨了（概率80%），你只有50%的把握，你会比较惊讶。

• 如果明天晴天（概率20%），你有50%的把握，惊讶程度一般。

通俗理解：交叉熵 =你用错的剧本去猜结局，结果被真相打脸的次数。你的猜测越离谱，交叉熵越大。

关系：交叉熵 ≥ 信息熵。等号成立，当且仅当你的猜测完全等于真实情况（P=Q）。

3. 相对熵：你的思路到底错在哪

相对熵也叫KL散度。它不是直接衡量混乱，而是衡量两个概率分布之间的“差异”。

通俗理解：相对熵 =交叉熵 - 信息熵。

用刚才的例子：

• 信息熵（真实世界的混乱度）= 0.72比特（由80%下雨、20%晴天算出来的）。

• 交叉熵（用你的错误猜测去猜）= 1比特（由50%下雨、50%晴天猜80%下雨算出来的）。

• 相对熵 = 1 - 0.72 = 0.28比特。

这个0.28比特，就是你因为“猜错概率”而额外付出的惊讶成本。

关系：相对熵（KL散度）= 交叉熵 - 信息熵。

4. 联合熵：两个房间一起算

如果你有两个房间，一个卧室一个客厅。

• 信息熵：只看卧室的混乱程度。

• 联合熵：把卧室和客厅加起来，算整个家的混乱程度。

通俗理解：你妈检查卫生。原来只查你卧室，现在查全屋。全屋越乱，联合熵越大。

关系：联合熵 ≥ 单个熵。因为你多考虑了另一个变量。

5. 条件熵：已知一个房间，另一个有多乱

通俗理解：如果你知道客厅已经乱成狗窝了，那卧室还会乱到什么程度？

条件熵就是在已知一个变量的情况下，另一个变量还剩多少不确定性。

关系：联合熵 = 条件熵 + 已知那个变量的熵。

6. 互信息：两个房间有多像

通俗理解：你妈发现，每次客厅乱的时候，卧室也一定乱。这说明客厅的乱和卧室的乱之间有很强的关联。

互信息就是衡量两个变量之间共享的信息量。

关系：

• 互信息 = 信息熵 - 条件熵。

• 如果两个房间完全独立（客厅乱不影响卧室），互信息 = 0。

• 如果两个房间完全同步（客厅乱卧室必乱），互信息 = 卧室的信息熵。

一张图总结所有关系

如果把信息熵比作一个人的全部资产，那么：

• 联合熵= 两个人的总资产

• 条件熵= 知道对方有多少钱后，你还有多少钱

• 互信息= 你们俩共同持有的联名账户

• 交叉熵= 你以为对方很有钱，结果他其实没钱——你的预期偏差

• 相对熵= 交叉熵 - 信息熵 = 你的预期偏差具体有多大

最核心的一句话：

信息熵是你自己的混乱程度；
交叉熵是你猜别人时的混乱程度；
相对熵是你猜别人时多出来的混乱程度。