04-全概率公式和贝叶斯公式
全概率公式和贝叶斯公式
一、样本空间的划分
定义设Ω\OmegaΩ为试验EEE的样本空间，$B_1,B_2,\cdots B_n $ 为EEE的一组事件. 若
- BiBj=∅,i≠j, i,j=1,2,…,nB_iB_j = \varnothing ,i \ne j , \, i,j = 1,2,…,nBiBj=∅,i=j,i,j=1,2,…,n;
- B1∪B2∪⋯∪Bn=ΩB_1 \cup B_2 \cup \cdots \cup B_n = \OmegaB1∪B2∪⋯∪Bn=Ω
则称B1,B2,⋯BnB_1,B_2,\cdots B_nB1,B2,⋯Bn为 样本空间Ω\OmegaΩ的一个划分,事件B1,B2,⋯BnB_1,B_2,\cdots B_nB1,B2,⋯Bn构成一个完备事件组(Collectively exhaustive events)。
若B1,B2,⋯BnB_1,B_2,\cdots B_nB1,B2,⋯Bn为 样本空间Ω\OmegaΩ的一个划分，则对每次试验，事件B1,B2,⋯BnB_1,B_2,\cdots B_nB1,B2,⋯Bn中必有一个且仅有一个发生.
二、全概率公式(Total Probability Theorem)
定理设 试验EEE的样本空间为Ω\OmegaΩ，AAA为EEE的事件, $B_1,B_2,\cdots B_n $ 为Ω\OmegaΩ的一个划分，且P(Bi)>0 (i=1,2,⋯n)P(B_i) \gt 0 \, (i = 1,2, \cdots n)P(Bi)>0(i=1,2,⋯n),则
P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋯+P(A∣Bn)P(Bn) P(A) = P(A | B_1)P(B_1) + P(A | B_2)P(B_2) + \cdots + P(A | B_n)P(B_n)P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋯+P(A∣Bn)P(Bn)
上式称为全概率公式
证 因为
A=AΩ=A⋅(B1∪B2⋯∪Bn)=AB1∪AB2⋯∪ABnA = A\Omega = A \cdot (B_1 \cup B_2 \cdots \cup B_n) = AB_1 \cup AB_2 \cdots \cup AB_nA=AΩ=A⋅(B1∪B2⋯∪Bn)=AB1∪AB2⋯∪ABn
且BiBj=∅,i≠j, i,j=1,2,…,nB_iB_j = \varnothing ,i \ne j , \, i,j = 1,2,…,nBiBj=∅,i=j,i,j=1,2,…,n;
则ABi∩ABj=A(BiBj)=∅AB_i \cap AB_j = A(B_i B_j) = \varnothingABi∩ABj=A(BiBj)=∅,因此
P(A)=P(AB1∪AB2⋯∪ABn)=∑k=1nP(ABk)=∑k=1nP(Bk)P(A∣Bk) \begin{align} P(A) &= P(AB_1 \cup AB_2 \cdots \cup AB_n) = \sum_{k=1}^{n} P(AB_k) = \sum_{k=1}^{n} P(B_k) P(A | B_k) \end{align}P(A)=P(AB1∪AB2⋯∪ABn)=k=1∑nP(ABk)=k=1∑nP(Bk)P(A∣Bk)
三、贝叶斯定理(Bayes’ Theorem)
定理设 试验EEE的样本空间为Ω\OmegaΩ，AAA为EEE的事件,B1,B2,⋯BnB_1,B_2,\cdots B_nB1,B2,⋯Bn为Ω\OmegaΩ的一个划分，且P(A)>0,P(Bi)>0 (i=1,2,⋯n)P(A) \gt 0 ,P(B_i) \gt 0 \, (i = 1,2, \cdots n)P(A)>0,P(Bi)>0(i=1,2,⋯n),则
P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋯ ,n P(B_i | A) = \frac{P(A|B_i)P(B_i)}{\displaystyle \sum_{j=1}^{n}P(A | B_j)P(B_j)} , i = 1,2, \cdots ,nP(Bi∣A)=j=1∑nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi),i=1,2,⋯,n
证 由条件概率的定义及全概率公式，得
P(Bi∣A)=P(ABi)P(A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋯ ,n P(B_i | A) =\frac{P(AB_i)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\displaystyle \sum_{j=1}^{n}P(A | B_j)P(B_j)} , i = 1,2, \cdots ,nP(Bi∣A)=P(A)P(ABi)=j=1∑nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi),i=1,2,⋯,n