1. 学习率
梯度下降的学习率（Learning Rate）是深度学习中最核心、最关键的超参数之一。它决定了模型在每一次迭代中沿着损失函数负梯度方向前进的“步子”有多大。
学习率的目标是在收敛速度和训练稳定性之间找到一个平衡点。
- 收敛速度：学习率越大，参数更新越快，理论上模型收敛到最优解所需的时间越短。
- 训练稳定性：学习率越大，训练过程越容易震荡，甚至导致损失爆炸（发散）；学习率越小，训练过程越平稳，但速度越慢。
2. 学习率的影响与问题
选择合适的学习率至关重要。不恰当的学习率会导致以下问题：
1） 学习率太高 (Too High)
如果学习率太高，每一步更新的幅度过大，可能会完全跳过损失函数的最小值区域。训练过程会变得不稳定，损失值可能会震荡，甚至随着训练的进行而增加，导致模型发散。
2） 学习率太低 (Too Low)
如果学习率太低，每一步更新的幅度太小，模型需要非常多的迭代次数才能收敛。这会导致训练时间过长，效率低下，并且模型可能会陷入局部最小值（Local Minima）而非全局最小值。
3）理想情况
理想的学习率应该使得模型能够稳定且快速地朝着全局最优解收敛。
3. 学习率的调节策略
由于单一固定的学习率很难适用于整个训练过程（训练初期需要大步快跑，训练后期需要小步微调），研究者开发了多种策略来动态调整学习率：
1. 学习率衰减 (Learning Rate Decay / Scheduling)
这是最常见的策略，即随着训练轮次（Epoch）的增加，逐渐减小学习率。常见方法包括：
- 步长衰减 (Step Decay)：每隔固定的 epoch 数量，将学习率乘以一个固定的因子（如 0.1 或 0.5）。
- 指数衰减 (Exponential Decay)：学习率按指数级下降。
- 余弦退火 (Cosine Annealing)：学习率按照余弦函数的形状变化，先减小，在周期结束时突然恢复到最大值，形成周期性变化。
图-余弦函数
2. 自适应学习率算法 (Adaptive Learning Rate Methods)
这些算法可以根据梯度的历史信息，自动为每个参数调整其独特的学习率。流行的优化器包括：
- AdaGrad：累积梯度的平方和，对更新频率高的参数降低学习率。
- RMSprop：AdaGrad 的改进版，使用梯度的移动平均平方，解决了学习率下降过快的问题。
- Adam (Adaptive Moment Estimation)：目前最流行的方法，结合了 RMSprop（二阶矩估计）和动量（一阶矩估计），能自动为每个参数调整合适的学习率。
需要注意的是：学习率与批大小通常需要协同考虑。
核心关系：批大小增加，通常需要提高学习率。
- 直观解释：当你使用大批次时，你的梯度估计更准确、噪音更小。如果你继续使用低学习率，模型的更新步长太小，会浪费大批次计算带来的效率提升，导致训练非常缓慢。提高学习率可以让你利用更准确的梯度迈出更大的步伐。
- 数学解释：有研究表明（如 Kaiming He 等人的论文），在一定范围内，最优学习率与批大小之间存在近似的线性关系：当批大小翻倍时，学习率也应该近似翻倍。
调节策略：
- 固定学习率，改变批大小：如果你在小批量下工作正常，切换到大批量训练时可能会发现收敛速度变慢。此时，适当提高学习率通常会改善性能。
- Warm-up 策略：在大规模训练（大批量）的实践中，通常会使用“学习率预热”（LR Warm-up）策略：在训练开始的前几个 Epoch 中，从一个非常小的学习率逐渐线性增加到目标学习率，以避免训练初期的不稳定性。
批大小和学习率的关系可以大致总结如下：
1）增加批大小，需要增加学习率来适应，可以用线性缩放的规则，成比例放大
2）到一定程度，学习率的增加会缩小，变成批大小的倍
3）到了比较极端的程度，无论批大小再怎么增加，也不能增加学习率了