深度学习中常用的三种主要损失函数：L1 Loss (平均绝对误差)、L2 Loss (均方误差) 和 Cross-Entropy Loss (交叉熵损失)。
这三种损失函数各有特点，并适用于不同的任务和场景。
1. L1 Loss (平均绝对误差 / Mean Absolute Error, MAE)
📐 公式
✨ 特点与用途
| 特点 | 描述 |
|---|---|
| 导数 | 导数是常数（在 0 点不连续）。这意味着模型对所有误差的惩罚力度是相同的。 |
| 鲁棒性 | 对离群点（Outliers）具有更强的鲁棒性。因为对大误差的惩罚是线性的，不会像 L2 Loss 那样被平方放大。 |
| 收敛 | 梯度恒定，收敛速度稳定，但由于 $0$ 点梯度不连续，可能导致最终收敛时在最小值附近震荡。 |
| 用途 | 主要用于回归任务，尤其是在数据中包含较多离群点时。 |
2. L2 Loss (均方误差 / Mean Squared Error, MSE)
📐 公式
✨ 特点与用途
| 特点 | 描述 |
|---|---|
| 导数 | 导数与误差大小成线性关系 。误差越大，梯度越大，惩罚越重。 |
| 鲁棒性 | 对离群点不鲁棒。大的误差会被平方放大，导致模型会过度关注并试图修正这些离群点。 |
| 收敛 | 导数连续且平滑，收敛过程稳定。误差接近 0 时，梯度变小，有助于模型精确收敛。 |
| 用途 | 主要用于回归任务。是理论上最常用的损失函数，在要求高精度、对离群点不敏感的场景使用。 |
3. Cross-Entropy Loss (交叉熵损失)
📐 公式
交叉熵损失主要用于分类任务。
✨ 特点与用途
| 特点 | 描述 |
|---|---|
| 适用任务 | 分类任务（将输入映射到离散的类别标签）。 |
| 惩罚机制 | 惩罚与模型预测概率的置信度相关。当模型对正确类别的预测概率很低时，损失会急剧增大。 |
| 优化目标 | 鼓励模型对正确类别给出接近 1 的高概率预测。 |
| 用途 | 二分类（常用于 Sigmoid 激活），多分类（常用于 Softmax 激活）。 |
💡 总结选择原则
- 回归任务（连续值预测）：
- L2 Loss (MSE)： 如果对离群点不敏感，且追求收敛的平滑性。
- L1 Loss (MAE)： 如果数据中离群点较多，且需要更好的鲁棒性。
- 分类任务（离散标签预测）：
- Cross-Entropy Loss： 标准选择，用于评估预测概率分布与真实标签之间的差异。