在矩阵论和信号处理中，奇异值分解（Singular Value Decomposition, SVD） 是一个极其重要的工具。它不仅是一个数学分解公式，更是连接数据压缩、特征提取和深度学习优化的桥梁 。
矩阵与奇异值的定义
- 对任意矩阵 \(A \in \mathbb{R}^{m \times n}\)，其奇异值分解为：\[A = U\,\Sigma\,V^{\mathsf T} \]
- 其中：
- \(U \in \mathbb{R}^{m \times m}\)：左奇异向量矩阵（正交基，描述输出方向）；
- \(\Sigma \in \mathbb{R}^{m \times n}\)：奇异值对角矩阵（非负实数，按大小排序）；
- \(V \in \mathbb{R}^{n \times n}\)：右奇异向量矩阵（正交基，描述输入方向）。
奇异值的物理/几何意义
- 几何解释：矩阵 \(A\) 作用在单位圆（球）上，会把它拉伸成椭圆（椭球）。椭圆的长短轴长度就是奇异值 \(\sigma_1,\sigma_2,\dots\)，轴的方向由 \(U, V\) 决定。
- 能量解释：奇异值的平方 \(\sigma_i^2\) 表示对应模态（方向）的能量贡献。
- 工程意义：奇异值按从大到小排序，体现矩阵的重要模式——大的对应主体结构，小的多为细节或噪声。
低秩近似（Eckart–Young 定理）
- 用前 \(k\) 个奇异值的最优近似：\[A_k = U_{:,1\!:\!k}\;\Sigma_{1\!:\!k,\,1\!:\!k}\;V_{:,1\!:\!k}^{\mathsf T} \]这是在任意一致范数下（如 Frobenius 范数）对 \(A\) 的最佳秩-\(k\) 近似。