概率与期望

概率

定义

定义样本空间 \(\Omega\) 是事件所有可能出现的结果，对于事件 \(A \in \Omega\)，定义 \(A\) 发生的概率是

\[P(A) \]

则满足 \(P(\Omega)=1\)，\(P(A) \in [0,1]\)。

运算

事件定义上是一个集合，所以适用于集合的运算。对于事件 \(A,B\)，\(A \cup B\)记作 \(A+B\)，$A \cap B $ 记作 \(AB\)。

性质

对于事件 \(A,B\)，

• 单调性：若 \(A \subset B，则有 P(A) \le P(B)\)

• 容斥原理：\(P(A+B)=P(A)+P(B)-P(AB)\)

条件概率

若事件 \(A\) 已经发生，此时事件 \(B\) 发生的概率记作

\[P(B|A) \]

由定义得：

• 概率乘法公式：

  \[P(AB)=P(A)P(B|A) \]

  即 \(A,B\) 同时发生的概率是 \((A发生的概率) \times (A发生时B发生的概率)\)

• 全概率公式：

  \[P(B) = \sum_{i=1}^{n} P(A_i)P(B|A_i) \]

  即所有发生条件 \(A\) 时 \(B\) 的概率之和。

期望

定义/全期望公式

下文将离散随机变量记为变量。

对于一个变量 \(X\)，它的所有可能取值为 \(X \in A\)，那么 \(X\) 的期望为

\[E(X)=\sum A_i \cdot P(X=A_i) \]

这就是全期望公式。

例如，投一个等概率的六面骰子，直到投到 \(6\) 后停止，问投掷次数 \(X\) 的期望。

设投到的数字为 \(Y\)，投到 \(6\) 的概率是 \(P(Y=6)=\frac{1}{6}\)，而投到其他数字的概率是 \(P(Y \in \{1,2,3,4,5\})=\frac{5}{6}\)。

根据期望公式，有

\[\begin{aligned} E(X) &=P(Y=6) \times 1+P(Y \in \{1,2,3,4,5\}) \times (1+E(X)) \\ &= \frac{1}{6} \times 1+\frac{5}{6} \times (1+E(X)) \\ \end{aligned} \]

解这个方程，得 \(E(X)=6\)。

期望的线性性

对于两个变量 \(X,Y\)，参数 \(a,b\)，有

\[\begin{aligned} E(aX+bY) &=a \cdot E(X)+b \cdot E(Y) \\ E(X+Y) &= E(X)+E(Y) \end{aligned} \]

其中 \(X,Y\) 可以是不独立的（即允许相互之间有关系，例如 \(Y=X^2\)）。

条件期望

对于两个变量 \(X,Y\)，当满足 \(Y=a\) 时，\(X\) 的期望记作

\[E(X|Y=a) \]