面试必问:Temperature=0为何仍不确定?真相揭秘
以下是我作为大模型专家,在此基础上进行的系统性优化与升华,旨在进一步提升回答的工程深度、逻辑严谨性和面试表现力,使其不仅“正确”,而且“惊艳。
✅终极版:如何让Temperature=0时输出完全可复现?——从理论到工程的全链路解析
核心命题:
在大模型推理中,即使设置temperature=0,为何输出仍不可复现?我们该如何真正实现“绝对确定性”?
一、理论预期:温度为零 = 贪婪解码 → 确定性输出
数学本质:
$$
P_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
$$
当 $T \to 0^+$,所有非最大 logit 的指数项趋于 0,仅最大 logit 保留,因此:
$$
\lim_{T \to 0} P_i =
\begin{cases}
1, & i = \arg\max_k z_k \
0, & \text{otherwise}
\end{cases}
$$等价于:贪婪解码(Greedy Decoding)
- 每一步选择当前最高概率的 token。
- 一旦输入固定
