「幻觉」到底是什么机制：参数记忆、训练目标与缓解路径（不实操玄学）

1 定义澄清：别把一切都叫幻觉

工程上常见三类「看起来像胡说」：

事实错误：模型输出与可核验事实不符（编造引用、错误数值）。
指令漂移：没有违背事实，但没按要求格式或约束输出。
过度自信措辞：用确定语气描述不确定内容。

讨论机制时，要先分清是哪一类；对策并不完全相同。

2 语言模型的训练目标不是「求真」

标准语言建模最大化 (\log p(y\mid x))，本质是对训练分布的模式匹配与平滑泛化。未被监督信号惩罚过的陈述，只要听起来合理，就可能被采样出来。概率高不等于真实。对齐训练（RLHF 类）能提高遵循指令概率与「拒绝胡答」的概率，但仍是近似优化，不能抽象成「模型学会了求真算法」。

3 参数化记忆的边界：知识截止与长尾盲区

模型参数记住了大量统计关联，但对快速变化的现实世界细节必然滞后；同时在长尾实体上，训练信号稀疏，置信区间理应很大。当你强行提问超出分布的细节（冷门论文编号、实时股价），模型仍会试图「补全」，因为它被训练成连贯完整，而非空白我不知道。

4 解码采样加剧不可靠陈述

高温度、宽松 top-p 会抬高长尾 token，使臆造成分更容易出现。反过来低温会减少发散，但可能导致模板腔或复读。解码策略只能调制风格与多样性，不能根治事实错误。

5 RAG：把「应该知道的事实」外置

在企业场景，把文档检索放入上下文，使生成有条件依附文本片段，显著降低「凭空引用」。但若检索缺失或检索错误，模型仍可能顺着错误上下文继续发挥——RAG 降低幻觉率不等于归零。必须有权限过滤与引用标注策略配合。

6 工具调用：把可核验步骤外包

对查询数据库、计算、调用 API 这类任务，与其让模型「口算」，不如走结构化工具输出。工具失败可视，语言模型只负责组织意图与汇总结果，可靠性结构上更强。

7 评估幻觉的常见维度（别再只看 BLEU）

面向事实任务要看：可归因引用是否正确、数值是否与计算器一致、是否存在自相矛盾。开放式闲聊的主观评分噪声更大，要用对抗性问题集与静态基准交替验证。

8 产品层面的护栏（不等于掩耳盗铃）

拒绝回答、分级置信提示、强制免责声明，可降低误导后果；但若底层仍胡乱编造「出处」，说明仍需回到检索与工具链路。体验文案治标不治本。

8.1 引用式训练与「可检查答案」范式

部分路线在指令微调阶段强化「回答必须携带引用片段编号」「不确定就拒绝」，本质是把输出空间收窄到可审计集合。它与单纯加大模型参数不是一回事：约束输出语法往往比盲目扩大模型更有效，代价是要维护引用索引与模板解析器。

8.2 多模态幻觉额外维度

图像问答除了文本幻觉，还有视觉对齐幻觉：模型描述了图中不存在物体，或把 OCR 噪声当真。对策通常是检测分割前置模块 + 不确定则追问，而不是只堆更大 VLM。

8.3 领域差异：医疗、法律、金融的合规红线

在强监管域，错误成本非线性上升。除技术措施外，需要人在回路与版本化知识库；把生成式系统当搜索引擎替代会放大合规风险。技术同学要在需求评审阶段明确可接受错误率与补救流程，避免「上线后再补护栏」的被动。

8.4 监控与回归：别只盯离线指标

线上应记录被用户纠正率、知识库引用命中率、工具调用失败重试率。对热点问题建立红队问题集做每周回归，比单纯追新模型版本更能稳定质量。

8.5 和「创意写作」场景的分流

文学、游戏剧情等允许虚构，与百科问答不是同一套评价标准。产品应显式切换模式：在创作模式降低事实约束、在信息模式打开检索与拒绝策略。把两种需求混在一个系统提示里，用户会混乱，指标也会互相对冲。

8.6 工程师自检清单（收尾用）

遇到疑似幻觉输出时依次问：是否有权威检索命中？是否能调用校验工具？用户问题是否超出训练分布？采样温度是否过高？四问走完再决定是否升级模型，而不是第一反应「换个更大的」。

9 小结

幻觉根源于训练目标与采样机制的组合效应：模型倾向于生成合理连贯文本而非验证真伪；对齐与 RAG/工具能显著缓解但不能魔术般消灭。工程策略应是外置可核验知识 + 结构化输出 + 评测闭环，而不是堆更长 prompt。若只能记一句：先验真伪再生成，而不是先生成再指望模型自检。