促使深度学习发展的挑战（二十二）

1. 定位导航

前 7 篇（15-21）建立了传统机器学习的完整框架：三要素 → 容量 → 正则化 → 超参数 → MLE → 具体算法 → SGD。但有个更根本的问题还没回答：

为什么需要深度学习？

简单算法（线性回归、SVM、k-NN、决策树）在很多经典问题上表现很好，但在人工智能级任务（图像识别、语音识别、自然语言理解）上彻底失败。本章收官篇剖析这个失败的三个核心原因：

1. 维数灾难（Curse of Dimensionality）：高维空间中样本稀疏
2. 局部不变性先验的局限：传统方法依赖"相邻输入对应相似输出"
3. 流形假设（Manifold Hypothesis）：现实数据高度集中在低维流形

理解这三者，就能理解为什么深度学习是 AI 级任务的必然选择。

2. 维数灾难（Curse of Dimensionality）

2.1 概念解释

维数灾难：当变量维度dd<