如何优雅地从四个方面加深对深度学习的理解

ICML上，深度学习理论成为焦点。普林斯顿教授Sanjeev Arora将其研究分为四类：非凸优化、超参数与泛化、深度意义及生成模型。本文聚焦非凸优化。
非凸优化的两个核心问题

1. 损失函数长什么样？
   高维空间中，全局最小值往往不是孤立点，而是连通的平坦路径。研究表明，任意两个全局最小值都可通过平坦路径连接。这意味着超参数化使鞍点远多于局部极小值——数十亿方向中，非全局最小点几乎总能找到下降方向。
2. SGD为何收敛？
   SGD并非简单近似，它从两个角度被重新理解：
   修改损失函数：SGD等价于在平滑后的损失函数上做梯度下降，能脱离局部极小值，收敛至全局最小附近。
   随机微分方程视角：将SGD视为点云（分布）的演化，其方差与 learning_rate/batch_size 成正比。该分布受曳力（真实梯度）和随机力（内在噪声）驱动，最终收敛至稳定分布。其中，熵项与温度（学习率/批大小比）相关——高温对应平坦极小值，泛化能力更佳。
   结论：学习率/批大小比而非单一超参数更关键。虽然非凸优化是基础，但深度学习的强大更多来自泛化能力，这将是下篇的主题。