【信息科学与工程学】【数据科学】第四十八篇 大数据与数据科学和应用数学01

1

降维算法

大数据与数据科学

主成分分析（PCA）

对中心化后的数据集 X∈Rn×d，求第一主成分方向 w1​

该问题本质是最大化投影方差，属线性代数和优化理论。协方差矩阵 S=n1​X⊤X是半正定对称阵，其最大特征值对应的特征向量即为所求。几何上，第一主成分是数据方差最大的方向。

步骤1: 数据中心化：X~=X−n1​1n​1n⊤​X
步骤2: 计算协方差矩阵 S=n1​X~⊤X~
步骤3: 求解特征方程 Sw=λw，取最大特征值 λmax​对应的单位特征向量 w1​
步骤4: 输出 w1​，满足 ∥w1​∥2​=1