限峰功率最大熵定理的理论推导和MATLAB仿真实现（P124302075刘家隆）
限峰功率最大熵定理的理论推导和MATLAB仿真实现（P124302075刘家隆）
前言
本定理针对幅值被限制在有限区间的连续随机变量，仅以取值范围作为约束条件，证明区间均匀分布是该约束下微分熵最大的分布；同时给出均匀分布微分熵的直接推导式，揭示有限幅度信号的信息不确定性上界，是连续信源最大熵理论的基础结论。
一、限峰功率最大熵定理
对于定义域有限（幅度受限）的随机变量X，当它是均匀分布时，具有最大熵
二、理论推导
设 p(x) 为任意满足∫abp(x)dx=1\int_a^b p(x)dx = 1∫abp(x)dx=1的概率密度函数，设q(x)=1b−aq(x)=\frac{1}{b-a}q(x)=b−a1为均匀分布。
根据相对熵的非负性（D≥0D \ge 0D≥0，当且仅当 p=q 取等号）：
DKL(p∥q)=∫abp(x)logp(x)q(x)dx≥0D_{KL}(p \| q) = \int_a^b p(x) \log \frac{p(x)}{q(x)} dx \ge 0DKL(p∥q)=∫abp(x)logq(x)p(x)dx≥0
展开并代入q(x)q(x)q(x)：
∫abp(x)logp(x)dx−∫abp(x)logq(x)dx≥0\int_a^b p(x)\log p(x) dx - \int_a^b p(x)\log q(x) dx \ge 0∫abp(x)logp(x)dx−∫abp(x)logq(x)dx≥0
由于−H(p)=∫plogp dx-H(p) = \int p\log p \, dx−H(p)=∫plogpdx，且logq(x)=−log(b−a)\log q(x) = -\log(b-a)logq(x)=−log(b−a)，上式变为：
−H(p)−∫abp(x)[−log(b−a)]dx≥0-H(p) - \int_a^b p(x) [-\log(b-a)] dx \ge 0−H(p)−∫abp(x)[−log(b−a)]dx≥0
−H(p)+log(b−a)∫abp(x)dx≥0-H(p) + \log(b-a) \int_a^b p(x) dx \ge 0−H(p)+log(b−a)∫abp(x)dx≥0
因∫p=1\int p = 1∫p=1，移项即得：
H(p)≤log(b−a)H(p) \le \log(b-a)H(p)≤log(b−a)
当且仅当p(x)=q(x)=1/(b−a)p(x)=q(x)=1/(b-a)p(x)=q(x)=1/(b−a)时，等号成立。
三、MATLAB仿真实现
1.仿真代码
2.仿真结果
3.结果分析
为什么选用截断高斯分布和三角分布做对比，这是因为截断高斯分布代表“向中心聚集”（中间概率高，两边低），三角分布代表“向一侧偏移”或“向边缘聚集”。如果这两种截然不同的“不均匀”形态，计算出的熵都低于均匀分布，就能强有力地证明：只要偏离平坦，信息量就会下降。
从仿真结果图像可以看出：三角分布、截断高斯分布概率大量堆积在区间中间，两端出现概率极低，随机变量更大概率落在中心小区间，不确定性小；而均匀分布区间内所有点概率完全相同，没有任何区域更容易出现，随机变量落点完全无偏向，不确定性最大，对应熵值最大。
总结
在幅值受限时，均匀分布的混乱度最大，对应微分熵最大，值为log(b−a)\log(b-a)log(b−a)。任何其他分布（例如有峰时）都会损失信息量，使熵值减小。