一、引入
在上一节中，我们已经学习了如何利用梯度下降来不断优化参数。
但一个更本质的问题是：
模型如何判断当前的预测是“好”还是“坏”？
要回答这个问题，我们需要引入一个核心概念——损失函数。
二、从误差到损失函数
在正式讨论损失函数之前，我们先来看“误差（Error）”：
\[\text{误差} = \text{预测值} - \text{真实值}
\]
误差可以衡量单个样本的预测偏差，但当样本数量增多时，会出现一个问题：
正负误差可能相互抵消
例如：一个预测误差为 +1，另一个为 -1，总误差可能为 0，但显然模型并不完美。
因此，我们需要一种不会相互抵消的整体度量方式，这就是损失函数。
三、什么是损失函数
损失函数（Loss Function）用于衡量模型预测值与真实值之间的整体差距。
一般来说：
损失函数的值越小，模型预测效果越好
不同任务会选择不同的损失函数。
四、常见损失函数
1. 均方误差（MSE）
\[L = \frac{1}{n} \sum (y_i - \hat{y}_i)^2
\]
特点：
- 对较大误差惩罚更强
- 函数平滑，易于求导（适合梯度下降）
- 常用于回归问题
2. 平均绝对误差（MAE）
\[L = \frac{1}{n} \sum |y_i - \hat{y}_i|
\]
特点：
- 对异常值更鲁棒
- 对误差的惩罚是线性的
- 但在 0 附近不可导（优化略复杂）
3. 交叉熵损失（Cross Entropy）
\[L = -\sum y \log \hat{y}
\]
特点：
- 常用于分类问题
- 能有效衡量概率分布之间的差异
- 在深度学习中非常常见
五、从损失函数到优化目标
损失函数给出了一个“评价标准”，而机器学习的目标就是：
\[\min_{\theta} L(\theta)
\]
也就是说，我们希望找到一组参数，使损失函数的值尽可能小。
六、损失函数与梯度下降
可以从几何角度来理解二者的关系：
- 损失函数：定义了一片“地形”（高维曲面）
- 参数：对应地形中的一个位置
- 梯度下降：沿着坡度下降，寻找最低点
因此：
损失函数决定“往哪里去”
梯度下降决定“怎么去”
七、总结
- 误差描述单个样本的偏差
- 损失函数衡量整体预测效果
- 优化目标是最小化损失函数
- 梯度下降用于实现这一优化过程
损失函数回答“什么是好”
梯度下降回答“如何变好”
二者共同构成了机器学习中最核心的优化机制。