为什么大模型会出现幻觉

大模型幻觉的定义

大模型幻觉指模型生成与事实不符、逻辑错误或脱离上下文的内容，表现为虚构信息、错误推理或矛盾输出。这种现象在生成式AI中尤为常见。

训练数据偏差

大模型依赖海量数据训练，若数据包含错误、偏见或不完整信息，模型可能学习到错误关联。例如，数据中某些领域信息不足时，模型会基于有限模式“脑补”答案。

概率驱动的生成机制

模型通过概率预测下一个词，倾向于选择高概率组合而非事实正确性。当上下文模糊时，模型可能生成看似合理但实际错误的序列。数学上，生成概率可表示为：
P(wt∣w1:t−1)=softmax(fθ(w1:t−1))P(w_t|w_{1:t-1}) = \text{softmax}(f_\theta(w_{1:t-1}))P(wt​∣w1:t−1​)=softmax(fθ​(w1:t−1​))
其中fθf_\thetafθ​为模型参数，优化目标是概率似然而非事实验证。

缺乏实时知识更新

静态训练的模型无法获取训练截止后的新知识。当被问及时效性问题时，可能基于过时模式生成答案，导致事实性幻觉。

过度优化与泛化

模型为提升流畅性和连贯性，可能过度拟合训练数据的表面模式。例如，学习到“权威句式”后，即使内容错误也会以高置信度输出。

人类反馈的局限性

基于人类偏好调整的模型（如RLHF）可能强化“讨好式”回答。当用户提问模糊时，模型倾向于生成符合预期但未必准确的回应。

缓解方法示例

• 检索增强生成（RAG）：结合外部知识库实时验证生成内容。
• 不确定性校准：让模型标注答案置信度，如输出“我可能不准确”。
• 多轮验证机制：通过多次生成交叉验证一致性。

幻觉现象本质是当前模型缺乏对世界的真实理解，仅依赖统计模式的结果。技术进步正通过混合符号推理、知识图谱等方法逐步改善这一问题。