人工智能之数学基础:贝叶斯、极大似然、后验估计的关系
本文重点
贝叶斯估计、极大似然估计和后验估计是统计学中用于参数估计的核心方法，三者通过不同的逻辑框架处理数据与先验信息的关系，在理论和应用层面形成互补与递进。在篇文章之前，我们学习了极大似然估计、极大后验估计以及贝叶斯公式，那么从本文将弄清楚它们之间的关系究竟是什么？
定义与核心思想
- 极大似然估计（MLE）
属于频率学派方法，认为参数是固定但未知的常数。其核心思想是：在给定观测数据的情况下，寻找使该数据出现概率最大的参数值。例如，抛硬币实验中，若观察到10次中有7次正面，MLE会估计正面概率为0.7，因为它直接最大化观测结果的似然性，不依赖任何先验假设。 - 贝叶斯估计
属于贝叶斯学派方法，将参数视为随机变量，服从某种先验分布。其核心思想是：结合先验信息和观测数据，通过贝叶斯定理更新参数的后验分布，最终通过后验分布的期望、中位数或众数进行点估计。例如，在抛硬币实验中，若先验认为正面概率服从均值为0.5的Beta分布，贝叶斯估计会融合先验与观测数据，得到更稳健的估计值。 - 后验估计
是贝叶斯估计的实践形式，特指通过最大化后验概率密度函数（MAP）得到的参数估计值。它可视为贝叶斯估计的简化版本，在保留先验信息的同时，通过优化方法（如梯度下降）直接求解参数，而非计算完整的后验分布。