人工智能-现代方法（四）
20260526
1、概率推断（probabilistic inference）：给定观测证据，为某个查询命题计算后验概率。最直接的处理方式，就是先得到一个完全联合分布（所有变量的组合概率表格），在表格中按项求和归一化，找到某个条件下某个变量的概率分布，后验概率。（第12章）。
（概率推断的真实含义和应用：在目前已知的条件下，推测发生某件事的概率是多少。比如汽车保险，在已知客户驾驶技能、历史事故、驾驶频率、汽车型号等等信息的情况下，推测发生事故的概率是多少，进而预估潜在的保险赔偿额度是多少，从而为保险定价）
2、得到完全概率分布的复杂度极高，比如对于有n个布尔变量的事件，则有2^n个概率条目，这些概率条目都需要从已有样例中进行估计，所需要的样例数极大。这种推断方式代价太高，所以后面提出的独立性、贝叶斯法则、贝叶斯模型、贝叶斯网络、采样等概念，都是一步步在简化这个过程，降低概率推断的复杂度。（12章）
3、独立性：P(a|b)=P(a) 或 P(b|a)=P(b) 或 P(a,b)=P(a)*P(b)
借助独立性可以显著减少指定完全联合分布所需的信息量。比如c 与 ab独立，则P(a,b,c) = P(a,b)*P©，联合概率分布条目从23=8下降为22+2^1=6。
独立性的判断基于领域知识，只要关系足够微弱，也可以认定为独立。（12章）
4、贝叶斯法则(Bayes’s rule) : P(b|a) = P(a|b)*P(b)/P(a)
实践中很有用，通常，我们把一些未知原因（cause）的结果（effect）视为证据，并想要确定这个原因。比如已知症状，想要诊断病因，通常有大量实验数据已知某个疾病出现某个症状的概率，以及人群中有某个疾病，有某个症状的概率。前者叫诊断（diagnostic）方向上的关系，后者叫因果(casual)方向上的关系。因果方向不受短期流行性的影响，诊断方向可能受到影响，诊断知识比因果知识更加脆弱。
5、利用贝叶斯法则和条件独立性，可以把一个有许多条件的后验概率，转化为多个单条件后验概率的乘积。
贝叶斯法则调转条件关系，多条件变单条件，条件独立性再将多变量拆分成小分布子集。（12章）
6、贝叶斯网络（Bayesian network），一个有向无环图（DAG），每个节点对应一个随机变量，有向链路或箭头连接成对的节点，每个节点有个条件概率表（conditional probability table CPT 记录关联概率信息，该节点以父节点为条件的条件概率表） (13章)
有向箭头代表该节点对另一个节点有影响，其他变量相互独立，所以贝叶斯网络也已经指定了整个域的条件独立性关系
7、如何构造贝叶斯网络：按原因先于结果的顺序对变量节点进行排序，从第一个节点开始遍历：在节点之前选择最小父节点集合（有因果关系的），连接节点间的链路，记录条件概率表。（贝叶斯网络中的条件分布的乘积组合，可以表示联合分布中的每一项，进而贝叶斯网络的条件概率表足以表达一个完整的联合分布。为了满足这个定义，构建贝叶斯网络的时候，给定父节点，每个节点与其他节点都要条件独立。注意这里只说前驱节点，因为实际该节点可能还与子孙节点有关）
构造贝叶斯网络时，在变量之间的依赖关系微弱时忽略该链路（认为彼此条件独立），因为通过增加网络额外的复杂性以获得精度上的一点点提高并不值得。 （13章）
8、贝叶斯网络中的条件独立性关系。注意条件独立和独立是不同的概念，独立是绝对的，概念更强；条件独立是相对的，在给定了某个条件的情况下，与另外的变量条件独立，当没有给定该条件变量时，则两个变量之间有关联关系。
前面已经给出贝叶斯网络中的一个条件独立性：给定父节点，一个变量条件独立于它的其他前驱变量。
还有一个：给定父节点，每个变量条件独立于它的非子孙节点。
另一个重要的独立性性质：给定一个变量的父节点、子节点和子节点的父节点，即给定了它的马尔可夫毯（Markov blanket），该变量条件独立于网络中所有其他节点（只与马尔可夫毯上的节点有关）
这个定义是后面使用采样过程的推断算法的基础。 （13章）
9、使用贝叶斯网络进行精确推断：利用乘积法则，将条件概率转换为一个联合概率，联合概率进一步结合未观测变量（非证据变量）转换为完全联合分布对未观测变量的全部求和（12章的求和消元）。完全联合分布则可以利用贝叶斯网络的定义转换为网络中各个节点的条件概率乘积。进而通过贝叶斯网络的条件概率表就能精确求解任意条件概率。
然而在有n个布尔变量的情况下，这个计算的时间复杂度仍会达到2^n。
使用变量消元算法，涉及逐点点积，先求和消元再点积可以减少复杂度，相当于降低了重复计算
精确推断的复杂度是NP困难的 （13章）
10、贝叶斯网络中的近似推理：
思想是基于贝叶斯网络中的概率生成随机事件并计数随机事件，以近似得到条件概率。（不管精确推断还是近似推理，贝叶斯网络及其条件概率表都是已知条件，基于这个条件来查询其他任意的条件概率）
随机采样算法，也称为蒙特卡罗（Monte Carlo）算法。能够提供近似的答案，只要有足够的样本，可以以任意的精度恢复真实概率分布。其中有两类算法：直接采样和马尔可夫链采样。（13章）
到采样这里，是理解的一个坎，理解起来比较费劲，今天来不及记录了，下次再补充。
这一周都在12、13章的概率论和概率推断里面摸爬滚打，跑不出来，进度略慢。后面有意识提提速。有时候看多了，会有点麻木了，串不起来了，这个时候把复杂的那页拍给豆包，它会帮你把框架联系起来，抓住一些重点的东西，比如前面不经意忘记的吉布斯采样的定义，以及概括性的目的，就比较容易串起来，理解这一节，这一章在讲什么。