高维 PCA
- 维度--> \(x_n \in R^D\)，
- 数据集 \(X = \{x_1, x_2, ..., x_n \}\) 表示
- \(n\) 表示样本数量（number of samples / observations），即数据点的个数
- \(D\) 表示特征维度（dimensionality / number of features），即每个数据点 \(x_i\) 是一个 \(D\) 维向量
- \(x_i = [x_{i1},x_{i2},...,x_{iD}]^T \in R^D\)
- \(D\) 维数据，其协方差矩阵为 \(D×D\)
- 计算该矩阵的特征值和特征向量，复杂度为 \(O(D^3)\)
- 当数据点数量远小于维度时（\(N<<D\)）
- 协方差矩阵 \(S\) 的秩为 \(N\)，它有 \(D−N+1\) 个零特征值
- 存在冗余，将 \(D×D\) 转化为 \(N ×N\) 协方差矩阵，其所有特征值均为正
- 求解 \(N ×N\) 协方差矩阵 \(S'\) 的特征值
- 由协方差矩阵定义
- \(S b_m = \frac{1}{N} X X^\top b_m = \lambda_m b_m\)
- 左乘 \(X^T\)
- \(\frac{1}{N} \underset{N \times N}{X^\top X} \underset{=:c_m}{X^\top b_m} = \lambda_m X^\top b_m \Leftrightarrow \frac{1}{N} X^\top X c_m = \lambda_m c_m\)
- \(XX^⊤\) 的非零特征值与 \(X^⊤X\) 的非零特征值相同
- 可以降维求解（原 \(D\) 现 \(N\)）矩阵 \(\frac{1}{N} X^\top X \in R^{N \times N}\) 对应于 \(\lambda_m\) 的特征向量 \(c_m:=X^T b_m\)
- 假设无重复数据点，则 \(\frac{1}{N} X^\top X \in R^{N \times N}\) 秩为 \(N\)且可逆
- 即： \(\frac{1}{N} X^\top X\) 与数据协方差矩阵 \(S\) 具有相同的非零特征值
- 恢复原始特征向量
- 已有 \(\frac{1}{N} X^\top X\) 的特征向量 \(c_m\)
- 左乘 \(X\)
- \(\frac{1}{N} X X^\top X c_m = \lambda_m X c_m\)
- \(X c_m\) 即为原始协方差矩阵 \(S\) 的 特征向量
- 应用（三）中的 PCA 算法，需将 \(S\) 的特征向量 \(X c_m\) 归一化，使其范数为1
