SGD随机梯度下降

SGD（Stochastic Gradient Descent，随机梯度下降）是机器学习和深度学习中最为核心的优化算法。简单来说，它是一种用来寻找模型最佳参数（即让损失函数最小化）的方法。

你蒙着眼睛站在一座山上（代表高损失值），想要走到山脚（代表低损失值）。你需要用脚试探一下哪个方向是向下的斜坡，然后迈出一步。

SGD就是这种“试探和迈步”过程的数学版本。

1. 为什么叫“随机梯度下降”？

这个名字可以拆解为三部分来理解：

• 梯度：指向山上最陡峭的方向。在数学中，它告诉我们应该往哪个方向调整参数，损失函数会增加得最快。既然我们要下山，就应该往梯度的反方向走。
• 下降：我们的目标是通过反复沿着梯度的反方向更新参数，让损失函数的值逐渐变小。
• 随机：这是SGD区别于标准梯度下降的关键。
  • 标准梯度下降：为了找到下山的方向，你需要站在山顶，同时测量所有可能的路径（即计算整个数据集所有样本的损失），然后决定一个平均的最佳方向。这样做非常准，但如果山很大（数据集很大），计算量会巨大，导致迈一步要等很久。
  • 随机梯度下降：SGD选择只随便抓一把石子扔出去，根据这一小把石子滚落的方向（即随机选取一个或一小批样本计算梯度），就立刻迈出一步。虽然这个方向不一定是最准确的（带有噪声），但迈步的速度非常快，可以走很多步，最终也能到达山脚。

2. SGD 的工作流程

如果用数学逻辑来表达，SGD的循环非常简单：

1. 随机打乱：将训练数据打乱。
2. 取一小批数据：从数据中抽取一小部分样本（称为Mini-batch，批量大小为1时就是纯SGD）。
3. 计算梯度：只根据这一小批数据，计算当前模型预测的误差，并求出误差对参数的梯度。
4. 更新参数：沿着梯度的反方向调整参数。
   • 公式通常写作：新参数 = 旧参数 - 学习率 × 梯度
   • 学习率：这是一个超参数，控制着你迈步子的大小。学习率太大容易一步跨过头摔跤（错过最优点）；学习率太小则下山太慢。
5. 重复：不断重复步骤2-4，直到整个数据集都被看过一遍（称为一个Epoch），然后开始下一轮。

3. 为什么SGD如此流行？

优点：

• 速度快：尤其是在大数据集上。你不需要等看完所有图片才更新模型，看几张图就更新一次，计算成本极低。
• 易于逃离局部最优点：由于“随机性”带来的噪声，SGD在优化路径上不会那么平稳。当它陷入一个不是很好的小坑（局部最优）时，噪声可能会把它震出来，从而有机会找到更平坦、更好的坑（全局最优或更好的局部最优）。
• 在线学习：可以适应新数据的不断流入，进行实时更新。

缺点：

• 震荡：因为使用的是随机子集的梯度，而不是全局真实的梯度，下降过程往往比较曲折，不像标准梯度下降那样平滑地直奔最低点。
• 超参数敏感：对学习率的设置比较敏感。
• 可能收敛到次优点：虽然随机性有助于逃离，但如果噪声控制不好，也可能始终在最优点附近徘徊，而无法收敛到最精确的点。