2.5 采样策略完全指南：温度、top-p、思维链、结构化输出实战

采样策略完全指南：温度、top-p、思维链、结构化输出实战

从概率生成到可控输出，让大模型输出更稳定、更可用。本节基于《AI工程》第2章「Sampling」— Sampling Fundamentals、Sampling Strategies、Test Time Compute、Structured Outputs、The Probabilistic Nature of AI。

一、采样的本质

Chip Huyen 在《AI工程》第2章将采样（Sampling）列为理解基础模型的核心维度。大模型输出是概率分布上的采样。下一个 token 不是唯一答案，而是一组候选及其概率。采样策略决定了如何在候选中选择，从而影响输出的随机性、多样性、稳定性。

书中强调，理解采样的概率本质，是理解幻觉与输出不确定性的根源。本节系统对应书中五个小节：采样基础、采样策略、测试时计算、结构化输出、AI 的概率本质。

二、基础参数：温度（Temperature）

2.1 原理

softmax(zi/T)\text{softmax}(z_i / T)softmax(zi​/T)

• T = 1：保持原始概率
• T > 1：分布更平滑，输出更随机
• T < 1：分布更尖锐，输出更确定
• T = 0：等价于贪心，选概率最高的 token

2.2 场景选择