准对称离散无记忆信道容量的矩阵分解法推广与严谨证明(P124302086杨雪)
摘要:本文针对离散无记忆信道(DMC)中一类重要的信道——准对称信道(Quasi-Symmetric Channel),对其信道容量的“矩阵分解法”计算公式进行了严格的数学推导与证明。通过将转移概率矩阵划分为若干互不相交的对称子矩阵,结合信息论中熵的极值理论、输出符号概率分布的重构以及矩阵元素双重计数法(Double Counting),完整论证了当输入符号等概分布时信道达到最大互信息,并推导出其信道容量的闭式表达式。最终,通过一个全新构建的三阶非对称微调矩阵进行了算例验证。
一、 基本概念与问题描述
1.1 准对称离散无记忆信道定义
设离散无记忆信道的输入符号集为,输出符号集为
。信道的转移概率矩阵为
,其大小为
:
若矩阵可以按列划分为
个互不相交的子矩阵
,且每一个子矩阵
(大小为
)都满足“每一行都是其他行的置换(排列),每一列都是其他列的置换”,则称该信道为准对称信道。
1.2 参数定义
根据准对称信道的强对称几何性质,对于任意第个子矩阵
:
- 行元素之和(
):因每行元素相同或互为置换,其行和在子矩阵内部均相等,记为
。
- 列元素之和(
):因每列元素相同或互为置换,其列和在子矩阵内部均相等,记为
。
- 输入行向量性质:由于各个子矩阵拼接后构成完整的
,整个矩阵
的任意一行所包含的元素集合是完全相同的,将其总集记为
,其中
为总列数。
二、 核心定理
对于输入符号数为的准对称离散无记忆信道,其信道容量
可由下式唯一确定:
其中'表现为转移概率矩阵中任意一行的条件熵
。
三、 数学证明与推导
步骤 1:条件熵的恒等性与容量公式简化
由于信道具有行置换对称性,对于任意指定的输入符号,其条件熵为常数:
由于该值与具体的输入状态无关,因此平均条件熵
可以直接提取平移:
根据信道容量的定义,由于HY|X已被固定,极大化互信息等价于极大化输出熵:
步骤 2:等概输入分布的合理性论证
设输入概率分布为。输出熵
是输入分布
的严格凹函数(Strictly Concave Function)。由于准对称矩阵中各行可以通过置换相互转换,系统对任意输入符号具有代数对称性。根据凸优化中的对称性定理,当且仅当输入满足均匀的等概分布时,输出熵
达到全局极大值:
步骤 3:子矩阵规模的几何双重计数(Double Counting)
考虑第个子矩阵
,其行数为
,设其列数为
。
我们通过行、列两种不同的视角来计算该子矩阵内所有元素的总和:
- 按行求和:每行和为
,共
行:
- 按列求和:每列和为
,共
列:
由此建立拓扑恒等式:
由于各个子矩阵空间互不相交且全覆盖总矩阵
,根据全概率限制,原始矩阵
每一行的总和必须为
。因此有:
步骤 4:等概输入下的输出概率分布计算
将等概分布代入全概率公式,任意一个输出符号
的概率为:
其中为第
列的列和。
若该列隶属于第个子矩阵
,则其列和必然为
。因此,隶属于同一子矩阵的所有输出符号概率完全简并:
步骤 5:输出熵 H(Y)的代数展开与化简
根据输出熵定义,引入子矩阵指标进行分组求和:
由于第个分组中共有
个元素,上式简化为:
将步骤3中的几何归约式代入:
利用对数性质展开并分离项:
结合归一化条件,输出熵的极大值精简为:
步骤 6:合成信道容量闭式解
将极大输出熵与平均条件熵
代入容量定义式,即得:
证毕。
四、实例验证
为了验证上述推导的普适性,我们自行构建一个具有 2 个输入符号、4 个输出符号(,
)的全新准对称信道。其转移概率矩阵
设为:
1. 传统方法计算(对照组)
输入等概。
- 条件熵:
每行均为,故
输出概率:
输出熵:
信道容量:
2. 矩阵分解法计算(实验组)
将矩阵拆分为三个不相交的对称子矩阵
):
- 子矩阵
(前两列):
行和
- 列和
子矩阵
(第三列)
行和
- 子矩阵
列和子矩阵=(第四列):
行和
列和
代入本文证明的矩阵分解公式:
合并后两项(因为):
计算该项的值:
最终求得容量:
结论:通过全新的三子矩阵数据进行验算,矩阵分解法求得的容量与定义法完全一致,再次证明了该定理推导的无误性与严密性。
