学习资料：
- UCB, CS70
- MIT 18.650, John A. Rice, Mathematical Statistics and Data Analysis
完成进度：0%
导引
本文是浙江大学《概率论与数理统计》一课的学习笔记．本课涉及概率论与数理统计两个概念，其中前者是后者的基础：
- 概率论：研究随机现象的数量规律．
- 数理统计：基于概率论，对随机现象观察得来的数据，分析整理推断，研究统计规律．
本文的前三章属于概率论，后四章属于数理统计．
随机事件与概率
概率是对不确定性的度量．在历史上，如何定义之，分成了两种不同的学派：频率学派（Frequentist）和贝叶斯学派（Bayesian）．国内概率论这门学科更偏向频率学派．我们来看一些关于概率的表述：
- 抛硬币得到正面的概率是 \(50 \%\)．
- 本素性测试（primality testing）算法将合数误判为素数的概率不超过 \(10^{-12}\)．
- 本系统故障之间的平均时间大约为 3 天．
- 在 2030 年之前，北京发生地震的概率是 \(10\%\)．
这里前三个表述是频率学派表述．我们可以在此类表述后，找到一个可重复进行的随机试验．比如我们可以抛 10000 次硬币，可以发现出现正面的次数在 5000 左右．历史上有两个人做过这种实验，几乎是所有国内概率论教材开头必写的，这里就不再赘述了．
最后一个表述是贝叶斯学派表述．因为很明显此表述对应的现象是不可重复进行的，我们无法复制很多地球进行北京是否发生地震的观测，并由 \(30\%\) 的频率推断概率．因此，在频率学派的观点下，此表述是毫无意义的．贝叶斯学派下的概率是一种主观的信度．当然，贝叶斯概率对于人类生活也有指导意义，比如天气预报．
总之让我们回到频率学派概率．随机事件，概率等概念都定义在随机试验（random experiment）上．随机试验有可重复进行的特点．随机试验的所有不同结果构成一个集合，称作样本空间（sample space），用 \(\Omega\) 表示．该集合可能是有穷的，也可能是无穷的，但是，我们默认随机试验的结果具有可列性，即样本空间是一个可列集．样本空间中的每个元素称作一个样本点（sample point），用 \(\omega\) 表示．
一个概率空间（probability space）由一个样本空间 \(\Omega\) 和为其中每个样本点 \(\omega \in \Omega\) 赋予的概率 \(\P[\omega]\) 构成．其必须满足两个特性：
- 非负性：\(\forall \omega \in \Omega, 0 \le \P[\omega] \le 1\)．
- 标准性：\(\sum_{\omega \in \Omega} \P[\omega] = 1\)．