A Graph Signal Processing Framework for Hallucination Detection in Large Language Models

文章总结与翻译

一、主要内容

本文针对大型语言模型（LLM）幻觉检测的难题，提出了一种基于图信号处理（GSP）的光谱分析框架。核心思路是将Transformer层建模为由注意力机制诱导的动态图，将令牌嵌入视为图上的信号，通过定义狄利克雷能量、光谱熵、高频能量比等诊断指标，结合计算稳定性的理论保障，实现对幻觉的有效检测。

研究通过GPT-2、DistilGPT-2等多个架构的实验验证，发现了事实性推理的通用光谱模式：呈现"能量山"特征（初始低能量、中期急剧上升、输出层消散），伴随低频收敛、熵值下降、平滑度和连通性提升。而不同类型的幻觉则表现出独特的光谱特征：

• 逻辑矛盾幻觉：光谱稳定性被破坏，熵值骤升、高频能量比振荡，效应量显著（g>1.0）；
• 语义幻觉：光谱保持稳定，但存在连通性漂移（后期层菲德勒值偏离基线）；
• 替换幻觉：表现为中间态扰动，熵值和高频能量比轻微升高。

基于这些光谱特征构建的简单检测器（SHD）准确率达88.75%，显著优于困惑度基线（75%）和SelfCheckGPT风格方法（65%），验证了该框架的实用价值。

二、创新点

1. 提出了全新的LLM分析视角：将Transformer动态建模为图信号，通过光谱图理论建立模型行为与光谱特性的数学关联，为幻觉检测提供了坚实的理论基础。
2. 发现了跨架构的通用光谱模式：事实性推理的"能量山"、熵值下降、平滑度平台等特征在不同规模GPT模型中均存在，揭示了可靠推理的内在光谱规律。
3. 区分了