交叉方向研0机器学习学习笔记Day3(水平拉跨，各位勿喷)

正则化

正则化是一种通过在原损失函数上增加对参数大小的惩罚项，来限制模型复杂度，从而防止过拟合、提升泛化能力的技术。在此之前，先介绍一下什么叫过拟合。

过拟合：

过拟合是指机器学习模型在训练数据上表现得过于优秀，以至于把数据中的随机噪声和个例也成功拟合，导致它在未见过的数据上表现糟糕

举个栗子：

假设有如下样本点：

采用高次的回归曲线去拟合，正常应该是这样的：

观察上图可知，曲线基本是学习到了样本点的分布特征

但是如果过拟合，就会是这样：

显然，曲线把原先样本的噪声也学习进去了，此时如果新增加新的样本的话会导致模型泛化性极差。

在数学上可以这样理解

显然n=1时，曲线为一条直线，类似于泰勒展开，随着次数增高，曲线对样本的拟合能力越强，如果参数过多就会把噪声也拟合进去，进而造成过拟合。为缓解过拟合，引入了正则化这一技术。

正则化

对于上式，假设我们令后面几项的参数=0,就可以减小精度从而减小对噪声的拟合，正则化就是这一原理，只不过正则化一般是对所有参数进行正则化。

以一元线性回归均方误差损失函数为例

若正则化，此时有

其中为一正侧化系数，一般为一较大值，在模型训练中，都是通过梯度下降进行训练，使损失函数最小，观察上式，显然若想损失函数最小，必须要惩罚上式第二项的模型参数，通过训练，即可将模型中对拟合共享较小的特征进行惩罚，从而避免过拟合。