鸽了一周，是时候开始写东西了。
期中考试考完才写，这是一种报复社会的行为（确信）。
建议大家阅读时多想象图像/画图，对理解很有帮助。
1.降维数据
提示：这是未中心化的非标准版本。为了便于理解我们从这里出发。至于中心化在干什么，后面会讲哒~
想象你有一堆数据 $ \vec{x_1}, \vec{x_2}, ... \vec{x_n} $，每一个数据都是一个向量。
每个数据如果有 \(m\) 维，那么就需要 \(nm\) 个数字来表示这些数据。
但是，这些数据可能是有规律的。 比如可能虽然它们是3维向量，但它们都分布在某个2维子空间（平面）里，只是我们测量时略有误差导致它们看起来分布在3维立体空间中。如果我们把这些数据降到2维，那么我们不但能用更少的空间储存这些向量数据，还能看出隐藏的规律。
所以，我们要对数据降维。也就是选取某些向量 $ \vec{z_1}, \vec{z_2}, ... \vec{z_d} $ ，然后将$ \vec{x_i}$近似表示成它们的线性组合 \(\vec{x_i} \approx \sum \lambda_iz_i\)，这样就使得数据从n维被降成了d维。换句话说，相当于在$ \vec{z_1}, \vec{z_2}, ... \vec{z_d} $ 张成的线性空间 \(V_z\) 中找到一些向量 \(\vec{x_1'}, \vec{x_2}', ... \vec{x_n}'\)，使得对所有 \(i\), 有
\(\vec{x_i}' \approx \vec{x_i}\).
但是怎么保证降维的误差不要太大呢？很简单，我们可以通过选取恰当的 $ \vec{z_1}, \vec{z_2}, ... \vec{z_d} $ （等价于选取恰当的 \(V_z\) ），然后再选取恰当的 \(\vec{x_1'}, \vec{x_2}', ... \vec{x_n}'\) ，使得每个\(\vec{x_i}\)到$ \vec{x_i}’$的距离都比较小。
但是怎么衡量误差小不小呢？只要计算距离平方的和 \(\Delta=\sum (\vec{x_i}- \vec{x_i}’)^2\)就可以。（为什么是距离的平方和？数学上这跟勾股定理有关系，工程上这比较方便优化。以后再讲。）