Eckart-Young-Mirsky 定理

以下是对图片中Eckart-Young-Mirsky 定理（谱范数版本）的完整、透彻讲解。图片展示的是该定理在2-范数（谱范数）下的形式，即矩阵的最佳低秩逼近问题。我会先陈述定理，然后逐部分解释图片中的内容，并将所有公式用标准的 LaTeX 格式重新呈现，便于阅读。

定理陈述

设是一个矩阵，其奇异值分解（SVD）为

​,

其中 p=min⁡(m,n) ，奇异值满足 σ1≥σ2≥⋯≥σp≥0 ，U 和 V 的列分别是左、右奇异向量（单位正交）。

Eckart-Young-Mirsky 定理（谱范数版本）：

,

并且最小值由截断 SVD 达到：

这里的是谱范数（算子范数），即矩阵的最大奇异值。

图片内容逐部分解释

1. SVD 分解与截断逼近（上界）

图片左侧写出了矩阵的完整 SVD：

截断前 R 项得到低秩逼近：

误差计算（上界证明）：

用矩阵形式写成：

这是一个对角矩阵（除前 R 行/列全零外），乘以酉矩阵 U 和不改变奇异值。因此误差矩阵的奇异值恰好是，最大奇异值是​，故谱范数

这证明了上界：存在一个秩至多 R R R 的矩阵使逼近误差等于。

2. 下界证明（关键部分，图片右下黄色框）

要证明定理的完备性，还需说明任何秩 ≤ R 的矩阵 A′ 都满足

图片用一个极小化问题巧妙地给出了下界：

考虑子空间（由前 R+1 个右奇异向量张成），维度为 R+1

对任意秩 ≤ R 的矩阵 B （这里用 B 表示任意的 A′ ），由秩-零度定理，B 的像空间维度 ≤ R ，因此限制到 S 上的的像维度 ≤ R ，从而其核维度

于是存在单位向量 x∈S ，，使得 Bx=0

此时

因此谱范数

关键是：对任意这样的 B ，总存在这样的 x∈S ，，使上式成立。要得到对所有 B 都成立的统一下界，我们取最坏情况，即​ 在单位球面上的最小值：

任意 x∈S ，可写成，，则

图片中正是求这个最小值：

约束

由于，目标函数在单位球上的最小值在“最弱方向”取得：取，其余，得到最小值​.

因此，对任意 B （秩 ≤ R ），总有

这就证明了下界。

总结

• 上界：截断 SVD 给出误差恰好​。
• 下界：利用前 R+1 个右奇异向量张成的子空间和秩-零度定理，证明任何低秩逼近误差至少​。

两者结合，截断 SVD 正是谱范数意义下最佳的秩 ≤ R 逼近，误差精确为第 R+1 个奇异值。

（注：存在另一个版本用 Frobenius 范数​，此时最佳误差是，证明更直接，但图片展示的是谱范数版本。）

这个证明非常经典且精炼，子空间维数比秩多 1 是关键，使得总能找到一个方向被低秩矩阵“抹平”，而在该方向上 A 的增益至少是​。