【Finetune学习】02：训练到底在干什么？
Fintune 前篇： 【Finetune学习】01：为什么你的大模型需要“再学习“？
上一篇我们知道了 Finetune 是什么、什么时候该用。但当你真正打开训练脚本，看到 loss 曲线在跳动、eval 指标在变化，这些数字到底在说什么？
这篇文章回答一个核心问题：训练时真正发生了什么，以及你应该看什么。
一、训练的本质：最小化损失函数
1.1 什么是损失函数？
模型训练的目标只有一个：让模型的输出尽可能接近标准答案。损失函数（Loss Function）就是衡量"差多远"的指标。
对于语言模型的 Finetune，最常用的损失函数是交叉熵损失（Cross-Entropy Loss）：
L = − 1 T ∑ t = 1 T log P θ ( w t ∣ w 1 , w 2 , … , w t − 1 ) \mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T} \log P_\theta(w_t | w_1, w_2, \ldots, w_{t-1})L=−T1t=1∑T