贝叶斯网络的评分函数详解
贝叶斯网络的评分函数是用来衡量一个网络结构对数据的拟合程度的关键工具。它在结构学习中起到核心作用，帮助我们从数据中自动发现最优的网络结构。
评分函数的基本概念
评分函数的目的是为每个候选的贝叶斯网络结构分配一个数值分数，分数越高表示该结构越能很好地解释观测数据。评分函数通常基于信息论原理或统计学原理，在最大化模型拟合能力的同时，惩罚过于复杂的模型。
主要评分函数类型
BIC评分（贝叶斯信息准则）
BIC评分是最常用的评分函数之一，它平衡了模型复杂度和数据拟合度。
\[\text{BIC}(G, D) = \log P(D|G, \theta^*) - \frac{|G|}{2}\log N
\]
其中：
- \(P(D|G, \theta^*)\) 是给定网络结构 \(G\) 和最优参数 \(\theta^*\) 下数据 \(D\) 的似然函数
- \(|G|\) 是网络结构中的参数个数
- \(N\) 是数据样本的数量
特点：
- 第一项衡量模型对数据的拟合程度（似然越大越好）
- 第二项是复杂度惩罚项，参数越多、样本越多，惩罚越大
- 当样本量足够大时，BIC倾向于选择更简洁的模型
MDL评分（最小描述长度）
MDL原理基于信息论，认为最好的模型是能用最短编码长度描述数据的模型。
\[\text{MDL}(G, D) = -\log P(D|G, \theta^*) + \frac{|G|}{2}\log N
\]
特点：
- 与BIC评分形式相似（实际上在某些条件下是等价的）
- 强调用最简洁的方式编码数据
- 自动在模型复杂度和拟合能力之间找到平衡
K2评分
K2评分是一种贝叶斯评分函数，基于贝叶斯统计框架。
\[\text{K2}(G, D) = \prod_{i=1}^{n} \prod_{j=1}^{q_i} \frac{\prod_{k=1}^{r_i} (N_{ijk} + \alpha - 1)!}{(N_{ij} + \alpha r_i - 1)!}
\]
其中：
- \(n\) 是变量个数
- \(q_i\) 是第 \(i\) 个变量父节点配置的数量
- \(r_i\) 是第 \(i\) 个变量的取值个数
- \(N_{ijk}\) 是第 \(i\) 个变量在其父节点配置为 \(j\) 且自身取值为 \(k\) 时的计数
- \(\alpha\) 是等价样本大小（通常设为1）
特点：
- 基于贝叶斯框架，假设参数先验为狄利克雷分布
- 具有结构等价性（不同但等价的结构得分相同）
- 对离散变量特别有效
BDe评分（贝叶斯狄利克雷等价）
BDe评分是K2评分的推广，改进了参数先验的设置。
\[\text{BDe}(G, D) = \prod_{i=1}^{n} \prod_{j=1}^{q_i} \frac{\Gamma(\alpha'_{ij})}{\Gamma(\alpha'_{ij} + N_{ij})} \prod_{k=1}^{r_i} \frac{\Gamma(\alpha'_{ijk} + N_{ijk})}{\Gamma(\alpha'_{ijk})}
\]
其中 \(\Gamma\) 是伽玛函数，\(\alpha'_{ij}\) 和 \(\alpha'_{ijk}\) 是基于等价样本大小计算的超参数。
特点：
- 满足贝叶斯狄利克雷等价性
- 对参数先验的设置更加灵活和合理
- 在处理缺失数据时表现更好
评分函数的关键性质
| 性质 | 说明 | 重要性 |
|---|---|---|
| 可分解性 | 评分函数可以分解为各节点的局部评分之和或乘积 | 使得贪心搜索算法可行 |
| 结构等价性 | 马尔可夫等价的不同结构得到相同评分 | 反映了结构学习的内在限制 |
| 一致性 | 样本量趋于无穷时，评分函数能识别真实结构 | 保证算法的渐近正确性 |
| 计算效率 | 可以高效地计算和比较不同结构 | 使大规模学习成为可能 |
评分函数的应用流程
在结构学习中的使用
1. 初始化：从某个初始网络结构开始（如全连接或空图）
2. 评分计算：对当前结构计算评分函数值
3. 结构修改：通过添加、删除或反向边来生成候选结构
4. 评分比较：计算新结构的评分，与当前最优评分比较
5. 结构更新：如果新结构评分更高，则接受该结构
6. 迭代：重复步骤3-5，直到无法找到更优的结构
常见搜索策略
- 贪心搜索：每次选择评分提升最大的修改
- 爬山法：只接受使评分增加的修改
- 禁忌搜索：避免回到最近访问过的结构
- 模拟退火：以一定概率接受评分降低的修改
评分函数的选择建议
选择BIC或MDL当：
- 数据量较大（样本数 > 1000）
- 追求计算效率
- 不确定参数先验的设置
选择K2或BDe当：
- 数据为离散型
- 可以合理设定参数先验
- 需要更好的统计性质
考虑混合方法：
- 结合多个评分函数的结果
- 使用交叉验证验证结构质量
- 在有领域知识时加入先验信息
实际应用中的注意事项
数据预处理：离散化连续变量时要小心，这会影响评分结果
样本量影响：评分函数的行为随样本量变化，小样本时可能不稳定
计算复杂度：完整搜索所有可能结构是NP难问题，实际中需要使用启发式算法
模型验证：不要仅依赖评分函数，应该通过交叉验证、专家知识等方式验证学到的结构
贝叶斯网络的评分函数是连接数据和网络结构的桥梁，选择合适的评分函数对学习质量至关重要。