人工智能之数学基础：动量梯度下降法
本文重点
我们前面学习了梯度下降算法，本文我们将学习动量梯度下降算法，我们可以看到前面的梯度下降算法存在一些问题，它的上下波动很大，收敛的速度很慢。因此根据这些问题，我们将学习动量梯度下降算法。
如上所示，我们可以看到采用动量的SGD会更快的收敛，下面我们看一下二者的区别。
动量法
我们可以看到这个是动量法的参数更新公式，和梯度下降不同的是这里多了一个rvt-1，其中vt-1是上一时刻的下降方向和梯度，r是一个超参数，那么通过这种方法就完成了一个能量的积累，我们可以看到每次不仅减去当前的，而且还会减去上一时刻的，所以总的来说每次下降的时候会比传统的梯度下降快。
其实这里会有一些加权平均数的概念，但是我在《每天五分钟深度学习》的优化算法模块已经进行了详细的介绍，所以这里就不再进行相关的介绍了，有兴趣的可以看一下