L1正则化，也称为Lasso 回归（Least Absolute Shrinkage and Selection Operator），是一种在机器学习中用于防止过拟合和进行特征选择的常用技术。它通过在模型的损失函数中添加一个惩罚项来实现这一目的。
L1 正则化的工作原理
L1正则化的核心思想是限制模型系数（权重）的绝对值之和，使其向零收缩（shrinkage）。
L1 正则化的主要特点
- 产生稀疏解（Sparsity）
- L1正则化最突出的特点是能够将某些特征的系数精确地压缩为零。
- 这意味着，模型会自动忽略那些对预测结果不重要的特征，从而产生一个只包含少量重要特征的稀疏模型。
- 这个特性使得L1正则化成为一种有效的特征选择方法。
- 特征选择
- 当数据集包含大量特征，其中许多特征不相关或不重要时，L1正则化可以有效地识别并剔除这些冗余特征。
- 通过将不重要特征的系数降为零，L1正则化简化了模型，提高了可解释性，并减少了过拟合的风险。
- 防止过拟合
- 通过对系数进行惩罚，L1正则化可以限制模型的复杂度，防止模型过度依赖训练数据中的噪声，从而提高模型的泛化能力。
与 L2 正则化的区别
L1 正则化和 L2 正则化是两种常见的正则化方法，但它们有明显的不同：
| 特性 | L1 正则化 (Lasso) | L2 正则化 (Ridge) |
|---|---|---|
| 惩罚项 | 系数的绝对值之和 | 系数的平方和 |
| 系数影响 | 将不重要的系数压缩为零 | 将系数压缩至接近零，但不会精确为零 |
| 模型特点 | 稀疏，可用于特征选择 | 非稀疏，所有特征都保留 |
| 几何解释 | 惩罚项在系数空间中的约束区域是菱形 | 惩罚项在系数空间中的约束区域是圆形 |
| 最佳用途 | 特征数量多，希望进行特征选择 | 解决多重共线性问题，当所有特征都重要时 |
L1 正则化的几何直观解释
从几何角度看，L1 正则化之所有能产生稀疏解，是因为其约束区域（菱形）在坐标轴上有“尖角”。当损失函数的等高线与菱形约束区域相切时，相切点很有可能落在坐标轴上，导致某些系数正好为零。而L2 正则化的圆形约束区域没有尖角，因此相切点很少会落在坐标轴上。