【课堂笔记】概率论-1 - 实践

文章目录

• • 定义
  • • 样本空间（Sample Space）
    • 事件（Event）
    • 事件运算
    • 概率
    • 条件概率（Conditional Probability）
    • 独立性（Independence）
    • 随机变量（Random Variable, r.v.）
    • 分布函数（Distribution Function）
    • 概率质量函数（pmf）与概率密度函数（pdf）
    • 期望（Expectation）
    • 方差与矩（Moments and Variance）
    • 点质量（Point Mass）
    • 正态分布
    • 泊松分布
  • 定理
  • • 德摩根定律（DeMorgan’s Laws）
    • 全概率公式（Law of Total Probability）
    • 贝叶斯公式（Bayes’ Formula）
    • 含有-排除恒等式（Inclusion-Exclusion Identity）
    • 乘法法则（Multiplication Rule）
    • 正态分布的线性变换定理
    • 标准正态分布的基本定理
    • 独立性传递定理（Independence Closure）
    • 独立性对偶定理

定义

样本空间（Sample Space）

• 记作$\Omega$，是一个实验所有可能结果的集合。
• 例如：抛硬币的样本空间是$\{H,T\}$，测量灯泡寿命的样本空间是$[0,\infty )$

事件（Event）

• 事件是样本空间的一个子集$E\subseteq \Omega$，表示某些结果的集合。
• 当实验结果属于$E$时，称事件$E$发生

事件运算

• 并事件 $E\cup F$，E或F发生
• 交事件$EF$或$E\cap F$：$E,F$同时发生
• 互斥事件（Mutually Exclusive）：$EF=\varnothing$，$E$，$F$不能同时发生
• 补事件$E^c$：$E$不发生
• 包含关系$E\subset F$：$E$的所有结果都在$F$中
• 差事件$E-F$：$E$发生但$F$不发生

概率

对任意事件$E$，概率函数$P(E)$需满足：

• 非负性：$P(E)>0$
• 规范性：$P(\Omega )=1$
• 可加性：若$E_1,...,E_n$两两互斥，则
  $$P(\bigcup E_i)=\sum P(E_i)$$

条件概率（Conditional Probability）

定义为$P(E\mid F)=P(EF)/P(F)$，当$P(F)>0$， 表示在事件$F$发生的前提下，事件$E$发生的概率

独立性（Independence）

• 两个事件$E,F$独立，当且仅当$P(EF)=P(E)P(F)$，记为$E\perp \perp F$
• 由条件概率可以得到推论：若$E\perp \perp F$，则$P(E\mid F)=P(E)$
• 多个事件$E,F,G$独立需要满足所有两两独立且联合概率等于概率乘积，即：
  $$P(EFG)=P(E)P(F)P(G)$$

随机变量（Random Variable, r.v.）

• 是定义在样本空间上的实值函数$X(\omega ),\omega \in \Omega$
• 形式上要求可测：对任意 Borel 集$B$，有$X^{-1}(B)\in F$
• 通常用大写字母表示随机变量，用小写字母表示其取值

分布函数（Distribution Function）

• 定义为$F(x)=P(X\le x)$，称为累积分布函数（CDF）。
• 分布函数完全刻画了随机变量的概率性质。

概率质量函数（pmf）与概率密度函数（pdf）

• 离散型：pmf 定义为$p(x)=P(X=x)$
• 连续型：若$F^{\prime }(x)=f(x)$, 则$f(x)$是概率密度函数（pdf），满足：
  $$P(a<X\le b)={\int }_a^{b}f(x)dx$$

期望（Expectation）

• 统一定义为：$$\mathbb{E}[X]={\int }_{\Omega }X(\omega )dP(\omega )={\int }_{\mathbb{R}}xdF(x)$$
• 离散情形：$\mathbb{E}[X]=\sum x_{i}P(x_i)$
• 连续情形：$\mathbb{E}[X]=\int xf(x)dx$

方差与矩（Moments and Variance）

• 第$n$阶矩：$\mathbb{E}[X^n]$
• 均值$\mu =\mathbb{E}[X]$
• 方差$\text{Var}[X]=\mathbb{E}[(X-\mu {)}^2]=\mathbb{E}[X^2]-[\mathbb{E}(X){]}^2$
• 标准差$\text{SD}[X]=\sqrt{\text{Var}(X)}$

方差性质：$\text{Var}[aX+b]=a^2\text{Var}[X]$

点质量（Point Mass）

• $P(X=a)=F(a)-F(a^{-})$，即分布函数在$a$处的跳跃大小
• 若$F$在$a$处连续，则$P(X=a)=0$

正态分布

一个连续型随机变量$X$服从参数为$\mu$和${\sigma }^2$的正态分布，记作
$$X\sim N(\mu ,{\sigma }^2)$$
当它的概率密度函数为：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$

泊松分布

一个离散型随机变量就是若$X$的概率质量函数为：
$$P(X=k)=\frac{e^{-\lambda }{\lambda }^k}{k!},k=0,1,...$$
其中$\lambda >0$是参数，表示单位时间内事件发生的平均次数，则称$X$服从参数为$\lambda$的泊松分布，记为：
$$X\sim \text{Poi}(\lambda )$$
性质：
$$\begin{gathered} \mathbb{E}[X]=\lambda \\ \text{Var}[X]=\lambda \end{gathered}$$

定理

德摩根定律（DeMorgan’s Laws）

并集的补等于补集的交， 交集的补等于补集的并：
$$\begin{gathered} {\left(\bigcup _{i=1}^n{E}_i\right)}^c=\bigcap _{i=1}^n{E}_i^c \\ {\left(\bigcap _{i=1}^n{E}_i\right)}^c=\bigcup _{i=1}^n{E}_i^c \end{gathered}$$

全概率公式（Law of Total Probability）

若 $F_1,F_2,...,F_n$ 两两互斥且 $\bigcup F_i=\Omega$，则：
$$P(E)=\sum P(E\mid F_i)P(F_i)$$

贝叶斯公式（Bayes’ Formula）

$$P(F_i\mid E)=\frac{P(E\mid F_i)P(F_i)}{\sum P(E\mid F_j)P(F_j)}$$

囊括-排除恒等式（Inclusion-Exclusion Identity）

用于计算多个事件并的概率：
$$P(\underset{i=1}{\bigcup ^n}{E}_i)=\sum P(E_i)-\sum _{i<j}P(E_i{E}_j)+\sum _{i<j<k}P(E_i{E}_j{E}_k)-...+(-1{)}^{n+1}P(E_1{E}_2...E_n)$$

乘法法则（Multiplication Rule）

• 公式：
  $$P(EF)=P(E)P(F\mid E)=P(F)P(E\mid F)$$
• 推广到多个事件：
  $$P(E_1{E}_2...E_n)=P(E_1)P(E_2\mid E_1)...P(E_n\mid E_1...E_n)$$

正态分布的线性变换定理

• 若$X\sim N(\mu ,{\sigma }^2)$，则$Y=aX+b\sim N(a\mu +b,a^2{\sigma }^2)$
• 特别地，标准化变量$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$

标准正态分布的根本定理

设$Z\sim N(0,1)$

• $${\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}dx=1$$
• $E[Z]=0$
• $\text{Var}[Z]=1$

独立性传递定理（Independence Closure）

若事件$E,F,G$相互独立，则$E$与由$F,G$构成的任何事件独立，例如：
$$\begin{gathered} E\perp \perp F\cup G \\ E\perp \perp F\cap G \\ E\perp \perp F^c \\ E\perp \perp F\cup G^c \end{gathered}$$

独立性对偶定理

$E\perp \perp F\iff E\perp \perp F^c$