深度学习神经网络的理论理解 —— 揭开黑盒背后的数学(七十)
1. 定位导航
🎉第 70 篇里程碑!揭开深度学习"黑盒"背后的数学!
深度学习实践远超理论——它 work,但我们不完全理解为什么。本篇探讨理论界对这些谜题的解释:
| 谜题 | 经典理论预测 | 实际现象 |
|---|---|---|
| 过参数化 | 应该过拟合 | 反而泛化好 |
| 优化 | 非凸应该卡住 | 能找到好解 |
| 泛化 | 参数多应过拟合 | 双下降 |
1.1 为什么重要?
- 理解→ 更好地设计模型
- 预测→ 知道什么会 work
🎉第 70 篇里程碑!揭开深度学习"黑盒"背后的数学!
深度学习实践远超理论——它 work,但我们不完全理解为什么。本篇探讨理论界对这些谜题的解释:
| 谜题 | 经典理论预测 | 实际现象 |
|---|---|---|
| 过参数化 | 应该过拟合 | 反而泛化好 |
| 优化 | 非凸应该卡住 | 能找到好解 |
| 泛化 | 参数多应过拟合 | 双下降 |