2. 梯度下降算法分类

1. 梯度下降法分类

2. 几种降法下降算法特点

(1️⃣ 全梯度下降算法(Full Gradient Descent)：每次迭代时使用全部样本的梯度值，但每次使用全部数据有弊端：速度太慢、效率低；
2️⃣ 随机梯度下降算法SGD：每次迭代时，随机选择并使用一个样本梯度值；无法保证这个样本的梯度值没有问题，因此不稳定，但是有好处：当用到梯度下降算法时已经时机器学习的第四步 - 模型训练，在第二三步中数据预处理、特征工程中已经将数据处理过了，数据没有问题。因此为提高效率也可以使用随机梯度算法；
两者区别：全梯度下降因为使用了所有的样本，数据更精准，但速度慢；随机梯度下降因为随机使用一个，速度快，但如果这个样本是异常值，则对最终结果会有影响；两者过多或过少；
3️⃣ 小批量梯度下降算法(mini-batch)：每次迭代时，随机选择并使用小批量的样本梯度值从m个样本中，选择x个样本进行迭代(1<x<m)；
因此：m=1时是随机梯度下降、x=t(1<x<m)时是小批量梯度下降、x=m时是全梯度下降；
4️⃣ 随机平均梯度下降算法SAG：每次迭代时，随机选择一个样本的梯度值和以往样本的梯度值的均值。假设选择D样本，计算出的梯度是3；在选择一个G样本，算出的梯度是5，则列表值是[3, 5]，然后计算列表中的梯度值均值4；假设又选择了D样本，梯度是3，与算出的梯度均值4一起，两者再求均值(为3.5)；如果选择的不是D(如7)，则将选择的样本加到样本列表中([3, 5, 7])，再一起求均值得到5；
直到算法收敛。收敛即算法何时结束，两种情况：达到迭代次数、达到设定阈值；随机平均梯度下降算法特点是：开始时算出的值不准，经过大量训练到后期其精准度才会提升；不如选小批量梯度下降算法；因此梯度下降算法中使用最多的是小梯度下降算法；
5️⃣ 总结：全梯度是一次用所有，随机是一次一个，小批量是一次一批(1<t<m)，随即平均梯度是抽样本，将梯度加到列表中，算列表均值；)