Adaptive Learning Rate（自适应学习率）
Adaptive Learning Rate（自适应学习率） 是指在模型训练过程中，学习率会根据参数更新的反馈自动调整，而不是使用一个固定值。其核心思想是：
👉 不同参数或不同训练阶段，最优的学习率应该不同。
当 Loss 不在下降，Gradient 不一定是 0
而是梯度太大，在最低的 Loss 中徘徊
不同的参数需要不同的学习速率
different parameters needs different learning rate
在深度学习中，模型的各层参数承担的角色不同，它们的梯度分布、敏感度、训练目标往往不一样。
如果所有参数都用同一个学习率，会导致：
- 有的参数更新太快，导致训练不稳定；
- 有的参数更新太慢，导致收敛变慢甚至停滞。
因此，针对不同参数设定不同学习率，可以让模型收敛更平稳、更快。
Root Mean Square
i 是第 i 个参数，上角标是第几次更新
平方和相加取平均在开根号
RMSProp
加上一个参数控制权重
目前常用的
横向累计了很多，当累计到一定程度的时候，就暴走了产生纵向的
解决上面的办法：加入 $n^t$，随着时间 $n^t$ 逐渐变小，学习率变小
Warm Up
黑科技（目前没有权威解释）：先增加，再减小
其中一个解释：先开始很小探索周围，逐渐扩大，然后再慢慢变小收到 Loss 低点
