协方差矩阵计算

协方差矩阵的计算其实是把“一维协方差公式”推广到多维。我按「定义 → 手算公式 → 矩阵形式 → 实际例子 → 常见坑」来给你一套完整、考试/科研都通用的理解。

一、先给结论（最常用公式）

设你有

• 样本数：(n)
• 特征维度：(d)
• 数据矩阵
  [
  X=
  \begin{bmatrix}
  x_{11}&x_{12}&\cdots&x_{1d}
  x_{21}&x_{22}&\cdots&x_{2d}
  \vdots&\vdots& &\vdots
  x_{n1}&x_{n2}&\cdots&x_{nd}
  \end{bmatrix}
  ]

✅ 样本协方差矩阵（最常见）

[
\boxed{
\Sigma

\frac{1}{n-1}
\sum_{i=1}^{n}
(\mathbf{x}_i-\bar{\mathbf{x}})
(\mathbf{x}_i-\bar{\mathbf{x}})^{T}
}
]

二、每个元素怎么算（最直观）

第 (j,k) 个元素是：

[
\boxed{
\text{Cov}(X_j,X_k)

\frac{1}{n-1}
\sum_{i=1}^n
(x_{ij}-\bar x_j)(x_{ik}-\bar x_k)
}
]

• 对角线：方差
• 非对角线：协方差

三、矩阵形式（线代最爱）

先对数据去均值：

[
\tilde X = X - \mathbf{1}\bar{\mathbf{x}}^{T}
]

协方差矩阵：

[
\boxed{
\Sigma

\frac{1}{n-1}
\tilde X^{T}\tilde X
}
]

📌 这一步在PCA、SVD、特征分析里非常重要。

四、一个完整手算例子（2 维）

样本：
[
(2,3),\ (4,5),\ (6,8)
]

1️⃣ 均值

[
\bar x=4,\quad \bar y=\frac{16}{3}
]

2️⃣ 去均值

[
\begin{array}{c|cc}
& x-\bar x & y-\bar y
\hline
1 & -2 & -\frac{7}{3}
2 & 0 & -\frac{1}{3}
3 & 2 & \frac{8}{3}
\end{array}
]

3️⃣ 协方差

[
\text{Cov}(x,y)

\frac{1}{2}
\left[
(-2)(-\tfrac{7}{3})
+
0(-\tfrac{1}{3})
+
2(\tfrac{8}{3})
\right]
=5
]

4️⃣ 协方差矩阵

[
\boxed{
\Sigma=
\begin{bmatrix}
4 & 5
5 & \tfrac{19}{3}
\end{bmatrix}
}
]

五、分母为什么是 (n-1)？

👉 考试：默认用 (n-1)
👉 深度学习里有时用 (n)

六、协方差矩阵的性质（必背）

• 对称矩阵
• 半正定
• 对角线 ≥ 0
• 特征向量正交（PCA 基础）