比特的旅行：自信息、熵、信道容量……一个单位如何丈量整个信息世界

信息论的核心概念，就像一套“通信界的物理法则”，衡量的是不确定性、信息量和传输极限。我用一个“猜硬币与传话游戏”的比喻，帮你把这些概念串成一个完整的体系，并注明对应的单位。

1. 自信息：单个事件的“惊讶值”

含义：当一件你完全没想到的事情发生时，你内心的“惊讶程度”。

• 越是意外的事，自信息越大。

• 确定无疑的事，自信息为 0。

生活比喻：
你朋友说：“我晚饭吃了米饭。”——这几乎没信息量。
他接着说：“我晚饭吃了一颗陨石。”——这会让你震惊，信息量极大。

单位：比特（bit）
一个“是或否”的问题，恰好能消除的不确定性，就是 1 比特。

2. 熵：信源的“平均不确定度”

含义：信源（比如某个人、某本书）发出一个消息时，每个符号平均能带来多少“惊讶值”。可以理解为信源本身的信息密度。

• 如果一个人只说“嗯”，他每句话的熵接近 0。

• 如果另一个人每句话都出乎意料，他的熵就很高。

生活比喻：
天气预报说“明天可能下雨也可能不下”，这个信源的熵较高；
如果报“赤道某地明天肯定是 30℃”，熵就极低。

单位：比特/符号（bit/symbol）
表示每发出一个符号，平均包含了多少比特的不确定性。

3. 互信息：信道里真正传过去的信息量

含义：接收方收到消息后，能消除多少关于信源的不确定性。它是信源熵减去噪声造成的“残留迷惑”。

• 如果信道完美，互信息等于信源熵。

• 如果信道全是噪音，互信息为 0，接收方听到的全是废话。

生活比喻：
你隔着一堵墙听朋友讲话（有噪声）。你听完能猜出他原话的内容量，就是互信息。
墙越厚（噪声越大），互信息越小。

单位：比特/符号（bit/symbol）
与熵同单位，但它专门衡量“传输的真实信息量”。

4. 信道容量：信道的“最高速上限”

含义：在给定的物理信道（如光纤、Wi-Fi、声带）和噪声水平下，理论上每使用一次信道能可靠传输的最大信息量。

• 它如同水管的最大流量，超过就会出错。

• 无论你怎么编码、怎么吼叫，传输速率都不可能超过信道容量。

生活比喻：
一条吵闹的走廊，你喊话能传递信息的速度有个绝对极限。哪怕你发明了暗号、缩短了句子，也突破不了这个天花板。

单位：比特/符号（bit/symbol）或比特/秒（bit/s）
若加上每次传输的时间，就可以换算成每秒比特。

5. 信息率失真函数：允许“走样”时的压缩极限

（你在前文已了解的核心概念，这里纳入完整体系）

含义：在允许一定的保真度损失（失真）的情况下，传输该信源所需的最低信息率。

• 它是“有损压缩”的物理铁律，是信源特性决定的。

• 假如你接受照片稍微模糊一些，那文件就可以压得极小，但不能小于 R(D)R(D)。

单位：比特/符号（bit/symbol）
与熵和互信息相同，但它是给定失真度下的最低传输速率。

【一张体系全景图】

这些概念之间的关系，可以用一个“传话游戏”的故事串起来：

你心里想好一个数字（信源），它本身的不确定性是熵。
你准备用最简洁的方式告诉同伴，但你俩之间隔着一道嘈杂的门（信道）。
同伴听到模糊的喊声，实际获得的信息量是互信息。
这道门在最佳“对喊策略”下能传递的最大信息量，叫作信道容量。
如果规则改成“允许听错，只要大致正确”，那你必须喊出的最少信息量，就是信息率失真函数。

【单位一览表】

从自信息这一砖一瓦，到熵、互信息、信道容量，再到率失真函数，信息论完美地揭示了不确定性如何被度量、传输和压缩。它不仅是通信工程的基石，更是你每次滑动手机画质滑条时，背后那条沉默的数学边界。

6. 自信息 → 熵：从“单次惊讶”到“平均惊讶”

• 关系：熵是自信息的加权平均。

• 通俗解释：你朋友说“我中彩票了”，这个单句的自信息极大；说“我吃早饭了”，自信息极小。把朋友一年到头所有可能说的话，按概率算出每条话的“惊讶值”，再一平均，得到的就是他说话的熵。所以，自信息是衡量单个消息的信息量，熵是衡量这个信源（你朋友）的整体“不靠谱程度”。

7. 熵 → 互信息：从“发送前的不确定”到“收到后消除了多少”

• 关系：互信息 = 信源熵 − 噪声造成的剩余不确定性。

• 通俗解释：你心里想的一个字（信源），本身有不确定性（熵）。你把它喊给同伴，但同伴隔着嘈杂的门听到的是模糊版本。同伴听完后，仍然猜不透的部分叫“疑义度”。互信息就是你原本的熵，减去这部分残留的疑惑。它衡量的是“信道里真正被传递过去的信息量”，是熵在传输过程中幸存下来的那一部分。

8. 互信息 → 信道容量：从“某次传输的吞吐量”到“信道的最大吞量”

• 关系：信道容量是互信息的最大值。

• 通俗解释：同样的嘈杂走廊，你扯着嗓子喊和轻声细语地喊，同伴能听清的信息量（互信息）是不同的。为了让信息传得最多，你会调整喊话策略，比如放慢语速、挑容易分辨的词语。在所有喊法里，能得到的最大互信息，就是这条走廊的信道容量。它是信道的固有属性，不管你如何折腾，传输速度的终极上限就是这个值。

9. 信道容量 vs 信息率失真函数：一个管“传输”，一个管“压缩”，却是天生对偶

• 关系：二者是信息论的两大基本极限，分别回答“信道最多能可靠传多少”和“信源最少能压到多小”。

• 通俗解释：这是最精妙的一对。信道容量告诉你，在一定的噪声下，一条马路单位时间最多能跑过多少辆车。信息率失真函数则告诉你，如果车里的货物允许有些磕碰（失真），那你最少需要发多少辆车才够运。数学上，它们是一对“对偶问题”：信道容量是给定失真（噪声）求最大通过量，率失真是给定失真求最小发送量。一个天花板，一个地板。

10. 信息率失真函数 ↔ 互信息：R(D) 本身就是一种特殊的“最小互信息”

• 关系：信息率失真函数定义为，在允许失真 ≤ D 的条件下，信源和重建信号之间互信息的最小值。

• 通俗解释：你为了节省话费，要把原话压缩。压缩后的“简要版”和原话之间，共享的信息量就是互信息。你压缩得越狠，这个互信息越小，意思走样越大。R(D)就是在要求走样不超过某个程度的前提下，这个共享信息量还能小到什么程度。所以，率失真函数本质上是在约束下求互信息的下确界。

11. 熵 → 信息率失真函数：无损压缩是失真为零的特例

• 关系：当失真 D = 0 时，R(0) 就等于信源的熵（对离散信源）。

• 通俗解释：如果你要求一字不差、一点不走样，那么压缩后的最少比特数，就是信源本来的熵。也就是说，无损压缩的下限正是熵。而一旦允许一点失真，R(D) 就可以大大低于熵。所以，率失真函数是熵在有损情况下的推广，它把“压缩多少”和“保真多少”绑在了一起。

12. 自信息 → 互信息：从“单点信息”到“共享信息”

• 关系：互信息可以看成“点互信息”的平均，点互信息是自信息的差值形式。

• 通俗解释：如果知道了事件 y 后，事件 x 的自信息从 −log p(x) 变成了 −log p(x|y)，这个减少的量就是点互信息。把所有 x, y 组合平均，就是互信息。简单说，自信息衡量单个事件的意外程度，互信息衡量两个事件之间的关联程度。自信息是信息论最小的细胞，互信息是连接两个变量的桥梁。

图中的五步逻辑链解读：

1. 自信息 → 熵：把信源所有可能消息的“单次惊讶值”按概率加权平均，就得到信源的熵，代表信源的整体不确定性。

2. 熵 → 互信息：信息经过有噪声的信道后，接收方仍有残留迷惑（疑义度），熵减去这部分就是互信息——真正被传递的信息量。

3. 互信息 → 信道容量：调整信源的说话策略，使互信息达到最大，这个最大值就是信道容量，是传输速率的天花板。

4. 信道容量 ↔ 率失真函数（对偶）：信道容量是给定噪声下求最大通过量，率失真是给定保真度下求最小压缩量，两者是信息论的两大基本极限。

5. 互信息 → 率失真函数：率失真函数本质是在失真不超过D的约束下，信源与重建信号之间互信息的最小值，是有损压缩的绝对下限。

6. 率失真函数 → 熵（D=0）：若要求完全无损，所需速率就是熵本身；允许失真后，R(D) 可以远低于熵。

整个体系从单个消息的惊讶值出发，延展为信源和信道的全部极限法则，用同一单位“比特”串联起信息度量、传输与压缩的完整图景。