如何理解信息？How to understand the information?

中文

信息论是一个历史很悠久的学科，从无线通信到人工智能，信息论都为其提供了理论支撑。信息论是一种对抽象的信息进行量化建模的方法，因为比较与我们过往的观念不同，导致对于初学者来说比较难以理解。对于刚开始接触信息论的人来说，信息论中存在很多难以理解的概念。因此，本文想要以一种直接且容易理解的方法解释信息论中的一些令人难以理解的概念，帮助自己和其他初学者快速理解信息论的本质。
本文要介绍的是信息论的基础：什么是信息。

事件、随机变量、随机过程

在现实世界中，我们获取信息的方式可以简单概括为，理解内容，获取信息。在信息论中，信息的描述依赖于概率论，用概率的方式来描述世界。因此，我们首先需要明确事件Event、随机变量random variable和随机过程stochastic process的区别。

以roll骰子为例，样本空间\(\Omega=\{1,2,3,4,5,6\}\)，roll出偶数是一个事件\(A=\{2,4,6\}\)。roll出的数字为一个随机变量\(X\)，有\(p(X=1)=p(X=2)=...=p(X=6)=\frac{1}{6}\)。随机过程是一族依赖于参数的随机变量，如果我们roll T次骰子，则有随机过程\(\{X_t,t\in T \}\)，用来研究每次roll骰子之间的联系。

这是一个很简单的例子，但是也可以看出来这三者之间的区别，后者是对前者的进一步抽象。在学习信息论的过程中，一定要搞清楚一个定义研究的对象是什么。

信息量

在理解的随机变量的概念后，我们可以正式开始理解“信息”的概念。在信息论中，信息是“消除不确定性”的量，其研究对象是事件。

信息量的核心在于：越是不确定的事件，能带来的信息就越多。

这样说可能难以理解，所以还是结合roll骰子的例子来解释。用一个杯子盖住骰子并摇晃，在拿开杯子之前，我们并不知道骰子具体是什么。在开奖的那一刻，我们获取了骰子的信息，一定6个面中有1个面朝上。骰子的不确定性可以用面数来描述，即12个面的骰子所包含的信息比6面骰子更多。开奖12面骰子时我们能获得的信息比开奖6面时更多。

信息的获取是不确定性坍缩的过程。因为12面骰子于6面相比不确定性更大，所以不确定性坍缩为确定结果时，获得的信息更多。打一个不太恰当的比喻，骰子的不确定性就像是一个云团，面数越多云团体积越大。开奖时云团将收缩到我们手中的骰子上，云团体积越大，我们获得的信息就越多。

在信息论中用概率来描述这种不确定性坍缩的程度，即事件的自信息Self-information

\[I(x)=-\log p(x). \]

6面点数为1的事件\(x_1^6\)的自信息为

\[I(x_1^6)=-\log p(x_1^6) \\ =-\log \frac{1}{6} \\ =\log 6, \]

而12面点数为1的事件\(x_1^{12}\)的自信息为

\[I(x_1^{12})=-\log p(x_1^{12}) \\ =\log 12. \]

事件的概率越小，其确定后可以获取的信息就越多。或者说，事件的概率小，意味着存在更多其他的事件是。当获取信息时，尽管这些事件没有发生，但是没有发生这个结论本身也包含着信息，所以事件概率越小，包含的信息就更多。

English