人工智能之数学基础：大数定律之切比雪夫不等式

本文重点

切比雪夫不等式是概率论与统计学中的核心工具，由俄国数学家切比雪夫于19世纪提出。它为任意分布的随机变量提供了偏离期望值的概率上界，仅依赖期望与方差信息，揭示了方差对数据集中趋势的控制作用。切比雪夫不等式以简洁的数学形式揭示了方差的核心作用——方差越小，数据越集中。它为概率估计提供了“安全网”，并通过支撑大数定律，构建了从“不确定性”到“可量化决策”的桥梁。尽管其概率边界保守，但在分布未知或样本量有限时，仍是数据科学与统计学中不可或缺的理论基石。

切比雪夫不等式

切比雪夫不等式建立了随机变量的数学期望和标准差之间的关系。设随机变量X具有期望μ和方差σ²，则对任意正数ε，有

通过这个公式可以看到：它为随机变量偏离数学期望的概率提供了一个估计上界。

直观理解就是随机变量X距离数学期望越远，则落入该区间的概率越小。

随机变量X的方差σ²越小，事件{|X-μ|<ε}的概率越大，即X取的值越集中在于它的期望μ附近。也就是说只要知道随机变量的方差，就可以在X的分布未知的情况下，估计概率值P{|X-μ|<ε}或P{|X-μ|≥ε}的概率，如下所示：