2025-11-19 10:51:01 星期三
姨妈痛的要死...
7.1 信道容量的例子
定义（信道容量）：离散无记忆信道的信息信道容量 (channel capacity) 定义为 \(C = \max_{p(x)} I(X; Y)\)，这里的最大值取自所有可能的输入分布 \(p(x)\)。
进一步：给出信道容量一个可操作的定义
定义（信道容量）：信道容量是信道的最高可达码率（单位：比特/信道使用），在此码率下，信息能够以任意小的差错概率传输。这即是香农第二定理的核心结论。
-
离散信道 数学模型：\(\{X,p(y|x),Y\}\)
如果输出概率仅依赖于输入符号，与以前的输入、输出均无关，这种信道称为无记忆信道(memoryless channel). -
无噪声二元信道
传输比特无误接收，该信道一次可以传输1比特。可以简单通过信道容量的定义计算：在p(x)=(0.5, 0.5)时，有C=maxI(X;Y)=1 bit
简单计算过程：设p(x=0)=p, p(x=1)=1-p , 下面计算\(I(X;Y)=H(Y)-H(Y|X)\), 因为是无噪声信道，所以传过去x就得到y，没有损失，所以\(H(Y)=H(X)\), \(H(Y|X)=0\), 对H(X)求max就有C=maxI(X;Y)=1 bit
-
无重叠输出的有噪声信道
尽管信道看起来有“噪声”（输入到输出的映射是随机的），但接收端能无错误地解码原始比特，因为输出集合被划分为两个不相交的子集 {1,2} 和 {3,4}，分别对应输入 0 和 1。
下面我们来计算这个信道容量：\(I(X;Y)=H(Y)-H(Y|X)\), 假设\(p(X=0)=\omega,\quad p(X=1)=1-\omega\)- 计算\(H(Y|X)=H(Y|X=0)+H(Y|X=1)=\omega\cdot1+(1-\omega)\cdot1=1\)
- 计算\(H(Y)\),Y的分布是\(\left(\frac{\omega}{2},\frac{\omega}{2},\frac{1-\omega}{2},\frac{1-\omega}{2}\right)\), 那么直接计算就有\(\begin{gathered} H(Y)=-2\cdot\frac{\omega}{2}\log\frac{\omega}{2}-2\cdot\frac{1-\omega}{2}\log\frac{1-\omega}{2} \\ =-\omega\log\frac{\omega}{2}-(1-\omega)\log\frac{1-\omega}{2} \\ =-\omega(\log\omega-1)-(1-\omega)(\log(1-\omega)-1) \\ =-\omega\log\omega-(1-\omega)\log(1-\omega)+\omega+(1-\omega) \\ =-\omega\log\omega-(1-\omega)\log(1-\omega)+1 \end{gathered}\)
所以\(I(X;Y)=H(Y)-H(Y|X)=-\omega\log\omega-(1-\omega)\log(1-\omega)+1-1=-\omega\log\omega-(1-\omega)\log(1-\omega)\)， 在\(\omega=0.5\)时取最大值 1 比特。
-
二元对称信道
\begin{aligned}
I(X ; Y) & =H(Y)-H(Y \mid X) \
& =H(Y)-\sum p(x) H(Y \mid X=x) \
& =H(Y)-\sum p(x) H(p) \
& =H(Y)-H(p) \
& \leqslant 1-H(p)
\end最后一个不等号是因为Y为二元随机变量。
-
离散无记忆信道
\(p(y^n| x^n)=\prod_{i=1}^{n} p(y_i|x_i)\)