数值方法 4.23 课堂作业 —— EM算法（E步）
注：本文 极有可能 含有 AI 生成的内容，请仔细甄别（
问题描述
在一个封闭盒子中，有两类外观完全相同但内部均匀程度不同的硬币，记作 A 和 B。
已知初始猜测：
- A 类硬币在盒子中的占比：\(40\%\)
- 投掷 A 硬币正面向上的概率：\(80\%\)
- 投掷 B 硬币正面向上的概率：\(30\%\)
记正面向上、反面向上分别为 \(H,T\)
我们投掷一次硬币，结果为正面向上。
第（1）问
已知：
\[P(A) = 0.4,\quad P(B) = 0.6 \\
P(H \mid A) = 0.8,\quad P(H \mid B) = 0.3
\]
求：$ P(A \mid H) $
解（EM算法中的E步，即贝叶斯公式）：
\[\begin{aligned}
P(A \mid H)
&= \frac{P(H \mid A)P(A)}{P(H \mid A)P(A) + P(H \mid B)P(B)} \\
&= \frac{0.8 \times 0.4}{0.8 \times 0.4 + 0.3 \times 0.6} \\
&= 0.64
\end{aligned}
\]
答案：这枚硬币属于 A 类的概率是 0.64。
第（2）问
修改条件（仅改变正面概率）：
\[P(H \mid A) = 0.9,\quad P(H \mid B) = 0.01
\]
其余不变：\(P(A) = 0.4,\quad P(B) = 0.6\)
求解：
\[P(A \mid H) = \frac{0.9 \times 0.4 = 0.36}{0.36 + 0.01 \times 0.6 = 0.366} \approx 0.9836
\]
答案：约为 0.9836。
所以观测到正面，极有可能是 A。
第（3）问
修改条件（仅改变先验占比）：
\[P(A) = 0.1,\quad P(B) = 0.9
\]
求解：
\[P(A \mid H) = \frac{0.8 \times 0.1 = 0.08}{0.08 + 0.3 \times 0.9 = 0.35} \approx 0.2286
\]
答案：约为 0.2286。
即使观测到正面，由于 A 本身非常稀少，其后验概率仍然不高。
第（4）问：EM算法E步的数学含义及初始值影响
E步的数学含义
在 EM 算法中，E步（Expectation Step） 的核心是：
利用当前模型参数的估计值，计算 隐变量 在给定观测数据下的 后验概率分布 。
本题中：
- 隐变量：硬币属于 A 还是 B
- 观测数据：一次正面
- 当前参数：$ P(A), P(B), P(H \mid A), P(H \mid B) $
- E步输出：$ P(A \mid H) $
数学上就是 贝叶斯公式：
\[P(Z \mid X, \theta) = \frac{P(X \mid Z, \theta) P(Z \mid \theta)}{\sum_Z P(X \mid Z, \theta) P(Z \mid \theta)}
\]
不同初始值对EM的影响
| 初始参数变化 | 对 E 步结果的影响 | 对最终参数估计的影响 |
|---|---|---|
| $ P(H \mid A) $ 偏高 | 后验概率更倾向于 A | 可能高估 A 的正面概率 |
| $ P(H \mid A) $ 偏低 | 后验概率更倾向于 B | 可能低估 A 的正面概率 |
| $ P(A) $ 先验偏低 | 即使看到正面，A 的后验仍偏低 | 需要更多证据才能纠正 |
| 极端初始值（如 $ P(H \mid B) \to 0 $） | E 步输出极端结果 | 可能陷入局部最优或收敛变慢 |
核心规律：
- EM 算法对初始值 敏感
- 不同初始值可能导致收敛到不同局部最优
- E 步本质是“用当前信念更新对隐变量的认知”
- 多轮迭代可以部分修正初始偏差，但无法保证全局最优
第（5）问：多次投掷
- 同一枚硬币，独立投掷 3 次，结果为：正、反、正（H, T, H）
- 使用第（1）问中的初始参数：
\[P(A)=0.4,\quad P(H \mid A)=0.8,\quad P(H \mid B)=0.3
\]
计算似然
\[P(HTH \mid A) = 0.8 \times (1-0.8) \times 0.8 = 0.8 \times 0.2 \times 0.8 = 0.128\\
P(HTH \mid B) = 0.3 \times (1-0.3) \times 0.3 = 0.3 \times 0.7 \times 0.3 = 0.063
\]
求解:
\[P(A \mid HTH) = \frac{0.128 \times 0.4 = 0.0512}{0.0512 + 0.063 \times 0.6 = 0.0890} \approx 0.5753
\]
答案：约为 0.5753。
解释：单次正面时 ( P(A \mid H)=0.64 )，加入反面观测后，由于反面更支持 B（B 出反概率 0.7 > A 出反概率 0.2），A 的后验概率下降至 0.575。