混合类型随机变量的贝叶斯公式

混合类型随机变量的贝叶斯公式

离散变量用大写PPP表示概率，连续变量用小写ppp表示概率密度。

1. 离散型随机变量（Discrete Random Variables）

当XXX和YYY都是离散型随机变量时，贝叶斯公式用于计算在观测到X=xX=xX=x的条件下，YYY取值为kkk的概率。

公式：
P(Y=k∣X=x)=P(X=x∣Y=k)⋅P(Y=k)P(X=x) P(Y=k \mid X=x) = \frac{P(X=x \mid Y=k) \cdot P(Y=k)}{P(X=x)}P(Y=k∣X=x)=P(X=x)P(X=x∣Y=k)⋅P(Y=k)​

分母展开（全概率公式）：
P(X=x)=∑jP(X=x∣Y=j)⋅P(Y=j) P(X=x) = \sum_{j} P(X=x \mid Y=j) \cdot P(Y=j)P(X=x)=j∑​P(X=x∣Y=j)⋅P(Y=j)

符号说明：

• P(Y=k∣X=x)P(Y=k \mid X=x)P(Y=k∣X=x)：后验概率（Posterior），即观测到数据后，类别为kkk的概率。
• P(X=x∣Y=k)P(X=x \mid Y=k)P(X=x∣Y=k)：似然度（Likelihood），在类别kkk下，观测到数据xxx的概率。
• P(Y=k)P(Y=k)P(Y=k)：先验概率（Prior），类别kkk出现的固有概率。
• P(X=x)P(X=x)P(X=x)：证据因子（Evidence），观测到数据xxx的总概率（归一化常数）。

2. 连续型随机变量（Continuous Random Variables）

当XXX和YYY都是连续型随机变量时，由于单点取值的概率严格为 0（即P(X=x)=0P(X=x)=0P(X=x)=0），不能使用大写PPP，而使用概率密度函数（PDF），即小写ppp。

公式：
p(y∣x)=p(x∣y)⋅p(y)p(x) p(y \mid x) = \frac{p(x \mid y) \cdot p(y)}{p(x)}p(y∣x)=p(x)p(x∣y)⋅p(y)​

分母展开（连续型全概率公式）：
p(x)=∫−∞∞p(x∣y)⋅p(y) dy p(x) = \int_{-\infty}^{\infty} p(x \mid y) \cdot p(y) \, dyp(x)=∫−∞∞​p(x∣y)⋅p(y)dy

符号说明：

• p(y∣x)p(y \mid x)p(y∣x)：后验概率密度函数。
• p(x∣y)p(x \mid y)p(x∣y)：类条件概率密度函数（似然函数）。
• p(y)p(y)p(y)：先验概率密度函数。
• p(x)p(x)p(x)：边缘概率密度函数（归一化常数）。

3. 混合贝叶斯公式

当XXX为连续随机变量，YYY为离散随机变量时，贝叶斯公式写作：

P(Y=k∣X=x)=p(x∣Y=k)⋅P(Y=k)p(x) P(Y=k \mid X=x) = \frac{p(x \mid Y=k) \cdot P(Y=k)}{p(x)}P(Y=k∣X=x)=p(x)p(x∣Y=k)⋅P(Y=k)​

其中分母p(x)p(x)p(x)通过全概率公式计算（求和形式）：

p(x)=∑jp(x∣Y=j)⋅P(Y=j) p(x) = \sum_{j} p(x \mid Y=j) \cdot P(Y=j)p(x)=j∑​p(x∣Y=j)⋅P(Y=j)

• P(Y=k∣X=x)P(Y=k \mid X=x)P(Y=k∣X=x)：后验概率。

  • 这是一个具体的数值（0 到 1 之间）。
  • 含义：在观测到特征值为xxx的条件下，随机变量YYY取值为kkk的概率。

• p(x∣Y=k)p(x \mid Y=k)p(x∣Y=k)：类条件概率密度。

  • 因为XXX是连续变量，这里必须用小写ppp表示密度。
  • 含义：在已知类别为kkk的情况下，特征XXX落在xxx附近的概率密度（即似然度）。

• P(Y=k)P(Y=k)P(Y=k)：先验概率。

  • 因为YYY是离散变量，这里用大写PPP表示事件的概率。
  • 含义：在没有观测数据之前，类别kkk出现的固有概率。

• p(x)p(x)p(x)：边缘概率密度。

  • 因为XXX是连续变量，这里用小写ppp表示密度。
  • 含义：特征XXX取值为xxx的总体密度，起到归一化常数的作用。