限平均功率下高斯随机变量微分熵最大熵定理完整证明与MATLAB仿真（P124302058曾果彬）

1 .调研背景与研究目的
连续随机变量微分熵 h(X) 描述模拟信源的平均信息量，不同于离散熵，连续熵可正可负，且存在约束极值规律。
信息论核心结论：在平均功率（二阶矩）固定的所有连续随机变量中，高斯分布的微分熵唯一达到最大值，该结论称为限功率最大熵定理。
香农AWGN信道容量公式、模拟信源率失真函数、最优调制波形设计全部建立在该定理之上。

本次调研任务：
1. 使用相对熵（KL散度）严格证明限平均功率最大熵定理；
2. 推导均匀、三角、拉普拉斯、高斯四种分布在相同功率下的微分熵解析式；
3. MATLAB仿真对比相同功率下四类分布的微分熵数值，验证定理；

2. 基础预备知识
2.1 微分熵定义
连续随机变量 X，概率密度 p(x)，微分熵：


2.2 相对熵（KL散度）
两个密度 p(x), q(x) 的相对熵恒非负：

等号成立当且仅当

2.3 平均功率约束
随机变量平均功率（二阶原点矩）固定：

P 为给定常数，代表信号平均功率。

2.4 零均值高斯分布微分熵
零均值、方差 \sigma^2=P 的高斯分布密度：

代入微分熵积分得：


3 .定理严格数学证明
定理表述：设连续随机变量 X 满足，g(x) 为同功率零均值高斯密度，则：

等号仅当 X 服从高斯分布。

证明步骤：
1. 构造相对熵，自然对数形式展开：

左侧即为（换底关系）。
2. 代入高斯密度对数项：

右侧积分拆分：

3. 代回不等式并转换为以2为底对数：

两边除以 ln2：

由相对熵性质，仅当 p(x)=g(x) 时取等，证明完毕。

4 .四类同功率分布微分熵理论对比
固定平均功率，分别推导解析式：

(1) 高斯分布

(2)均匀分布 U[-a,a]
满足

(3) 拉普拉斯分布


(4)三角分布（对称区间）
，微分熵数值恒小于高斯。

理论结论：相同功率约束下，高斯熵最大。

5 .MATLAB仿真实现（原创代码，区别网络通用脚本）
5.1 仿真目标
固定平均功率 P=1，计算均匀、拉普拉斯、三角、高斯分布微分熵数值并柱状图对比；遍历多组功率 P，绘制四种分布熵随功率变化曲线，直观验证定理。

5.2 仿真结果分析
1. 固定功率柱状图：高斯分布微分熵数值显著高于其余三类分布；
2. 功率变化曲线：随平均功率增大，四类分布熵同步上升，但高斯曲线始终位于最上方，差值稳定存在；
3. 物理解释：高斯随机信号的不确定性、携带信息量是同功率信号中上限，这也是通信系统噪声天然服从高斯分布的核心原因。

6.调研总结

1. 通过KL相对熵严格证明：平均功率约束下，仅高斯分布微分熵取得全局最大值；
2. 理论解析式与MATLAB仿真双重验证，均匀、拉普拉斯、三角分布信息量均低于同功率高斯信号；
3. 该定理是连续信道信息论的基石，直接支撑香农信道容量、率失真函数两大核心理论；
4. 工程层面解释了无线通信最优发射波形、噪声特性、高阶调制设计的底层逻辑，具备完整理论与实际价值。