参数估计（三）-- 隐参数模型

隐变量模型

• 学习（例如，通过最大似然）可以采用 EM 算法
• \(p(x | \theta, z)\)，允许自定义从参数生成数据的过程，两步走：
  • 第一步：给出隐变量 \(z\) 的先验 \(p(z)\)（自己选），对 \(z\) 边缘化（积掉 \(z\) )，求出似然函数 \(p(x|\theta)\)
    • \(p(x|\theta)=\int p(x | \theta, z)p(z)dz\)
    • 要边缘化 \(z\)，必须为 \(p(x | z,\theta)\) 选择共轭先验\(p(z)\)，否则上式积分无法解析求解
    • 注意上面 \(z\) 和 \(\theta\) 交换了位置，二者对于 \(x\) 的概率是并列的条件，不影响结果
  • 第二步：按贝叶斯推断求解给定数据集 \(X\) 的模型参数 \(\theta\) 的后验分布 \(p(\theta|X)\)

期望最大化（EM）算法（Dempster et al., 1977；Bishop, 2006）

隐变量模型用途

主成分分析（第10 章）

• 用于降维

高斯混合模型（第11 章）

• 用于密度估计

隐马尔可夫模型（Maybeck, 1979）、动态系统（Ghahramani and Roweis, 1999；Ljung, 1999）

• 用于时间序列建模

元学习和任务泛化（Hausman et al., 2018；Sæmundsson et al., 2018）