LLM Agent的幻觉问题诊断与治理：从检测到缓解的完整方案

LLM Agent的幻觉问题诊断与治理：从检测到缓解的完整方案

引言

大型语言模型（LLM）驱动的AI Agentæ­£åœ¨é‡å¡‘å„è¡Œå„ä¸šçš„è‡ªåŠ¨åŒ–æµç¨‹ã€‚ä»Žæ™ºèƒ½å®¢æœåˆ°ä»£ç ç”Ÿæˆï¼Œä»Žç§‘ç ”è¾ åŠ©åˆ°å†³ç­–æ”¯æŒï¼ŒAgentçš„èƒ½åŠ›è¾¹ç•Œä¸æ–­æ‹“å±•ã€‚ç„¶è€Œï¼Œä¸€ä¸ªé•¿æœŸå›°æ‰°ä¸šç•Œçš„æ ¹æœ¬æ€§é—®é¢˜å§‹ç»ˆå­˜åœ¨â€”â€”å¹»è§‰ï¼ˆHallucination）。当Agentè‡ªä¿¡æ»¡æ»¡åœ°è¾“å‡ºé”™è¯¯ä¿¡æ¯ã€ç¼–é€ ä¸å­˜åœ¨çš„å¼•ç”¨ã€æˆ–åœ¨æŽ¨ç†é“¾ä¸­å¼•å ¥é€»è¾‘è°¬è¯¯æ—¶ï¼Œå ¶äº§ç”Ÿçš„åŽæžœå¯èƒ½è¿œè¶ ä¸€æ¬¡ç®€å•çš„å›žç­”é”™è¯¯ï¼šåœ¨åŒ»ç–—åœºæ™¯ä¸­ï¼Œé”™è¯¯çš„è¯Šæ–­å»ºè®®å¯èƒ½å±åŠæ‚£è€ ç”Ÿå‘½ï¼›åœ¨é‡‘èžé¢†åŸŸï¼Œè™šæž„çš„æ•°æ®åˆ†æžå¯èƒ½å¯¼è‡´é‡å¤§æŠ•èµ„å†³ç­–å¤±è¯¯ï¼›åœ¨è½¯ä»¶å¼€å‘ä¸­ï¼Œä¸å­˜åœ¨çš„APIè°ƒç”¨ä¼šè®©æ•´ä¸ªé¡¹ç›®é™·å ¥è°ƒè¯•åœ°ç‹±ã€‚

ä¸Žä¼ ç»Ÿè½¯ä»¶ç³»ç»Ÿçš„"明确失败"不同，LLMçš„å¹»è§‰å¾€å¾€æŠ«ç€ä¸“ä¸šã€æµç• ã€æœ‰è¯´æœåŠ›çš„å¤–è¡£ï¼Œæžéš¾è¢«ç»ˆç«¯ç”¨æˆ·è¯†åˆ«ã€‚æœ¬æ–‡å°†ç³»ç»Ÿæ€§åœ°æ‹†è§£LLM Agentå¹»è§‰é—®é¢˜çš„å®Œæ•´æ²»ç†æ–¹æ¡ˆï¼Œä»Žåˆ†ç±»è¯Šæ–­åˆ°æ£€æµ‹æ–¹æ³•ï¼Œä»Žç½®ä¿¡åº¦æ ¡å‡†åˆ°å¤–éƒ¨éªŒè¯ï¼Œæœ€ç»ˆè½åˆ°å¯è½åœ°çš„ç¼“è§£ç­–ç•¥ï¼Œå¸®åŠ©å¼€å‘è€ æž„å»ºæ›´å¯ä¿¡çš„AI Agent系统。

一、幻觉的三重面孔：类型学分析

è¦æ²»ç†å¹»è§‰ï¼Œé¦–å ˆå¿ é¡»å­¦ä¼šè¯†åˆ«å®ƒã€‚åœ¨å®žé™ ç”Ÿäº§çŽ¯å¢ƒä¸­ï¼ŒAgentçš„å¹»è§‰å¹¶éžå•ä¸€å½¢æ€ï¼Œè€Œæ˜¯å‘ˆçŽ°å‡ºè‡³å°‘ä¸‰ç§æˆªç„¶ä¸åŒçš„ç±»åž‹ï¼Œæ¯ç§ç±»åž‹çš„æˆå› ã€è¡¨çŽ°å’Œæ£€æµ‹æ–¹æ³•éƒ½å¤§ä¸ç›¸åŒã€‚

1.1 事实性幻觉（Factual Hallucination）

事实性幻觉是最直观、也最容易被识别的幻觉类型。它表现为Agentå¯¹å®¢è§‚äº‹å®žçš„é”™è¯¯é™ˆè¿°â€”â€”åŒ æ‹¬ç¼–é€ ä¸å­˜åœ¨çš„äººç‰©ã€åœ°ç‚¹ã€æ•°æ®ï¼Œé”™è¯¯åœ°æè¿°åŽ†å²äº‹ä»¶ï¼Œæˆ–è€ å¯¹ç§‘å­¦æ¦‚å¿µè¿›è¡Œæ­ªæ›²è§£é‡Šã€‚

å ¸åž‹æ¡ˆä¾‹ï¼šæŸçŸ¥è¯†é—®ç­”Agent在回答"量子计算领域有哪些重要的中国科学家"时，生成了一段看似合理的介绍："å¼ æ˜Žè¿œæ•™æŽˆåœ¨2021年提出了'é‡å­çº ç¼ ç¨³å®šæ€§å®šç†'ï¼Œè¯¥å®šç†ä¸ºæ‹“æ‰‘é‡å­è®¡ç®—å¥ å®šäº†åŸºç¡€ã€‚"è¿™æ®µæ–‡å­—è¯­è¨€æµç• ã€é€»è¾‘è‡ªæ´½ï¼Œä½†"å¼ æ˜Žè¿œæ•™æŽˆ"和所谓的"é‡å­çº ç¼ ç¨³å®šæ€§å®šç†"å‡ç³»æ¨¡åž‹æé€ ã€‚

æˆå› åˆ†æžï¼šäº‹å®žæ€§å¹»è§‰çš„æ ¸å¿ƒæˆå› åœ¨äºŽLLMçš„è®­ç»ƒç›®æ ‡ã€‚æ¨¡åž‹é€šè¿‡é¢„æµ‹ä¸‹ä¸€ä¸ªtokenæ¥ä¼˜åŒ–ï¼Œè€Œéžè¿½æ±‚äº‹å®žå‡†ç¡®æ€§ã€‚å½“è®­ç»ƒè¯­æ–™ä¸­ç¼ºä¹ç›¸å ³ä¿¡æ¯ï¼Œæˆ–è€ å¤šä¸ªä¿¡æ¯æºå­˜åœ¨å†²çªæ—¶ï¼Œæ¨¡åž‹å€¾å‘äºŽ"ç”Ÿæˆæœ€æµç• çš„æ–‡æœ¬"而非"输出最准确的答案"。此外，知识截止（knowledge cutoffï¼‰å¯¼è‡´æ¨¡åž‹å¯¹æœ€æ–°äº‹ä»¶ä¸€æ— æ‰€çŸ¥ï¼Œå´ä»ä¼šå°è¯•å›žç­”ã€‚

1.2 推理性幻觉（Reasoning Hallucination）

推理性幻觉更为隐蔽，它发生在Agent的"思考过程"中。即使每一个前提事实都是正确的，Agentä¹Ÿå¯èƒ½åœ¨é€»è¾‘æŽ¨å¯¼ä¸­çŠ¯é”™ï¼Œå¾—å‡ºè’è°¬çš„ç»“è®ºã€‚è¿™ç§å¹»è§‰åœ¨éœ€è¦å¤šæ­¥æŽ¨ç†çš„æ•°å­¦è®¡ç®—ã€é€»è¾‘æŽ¨ç†ã€å› æžœåˆ†æžä»»åŠ¡ä¸­å°¤ä¸ºå¸¸è§ã€‚

å ¸åž‹æ¡ˆä¾‹ï¼šAgent被问及："如果Aå ¬å¸ä»Šå¹´è¥æ”¶å¢žé•¿20%，利润增长10%，而行业平均营收增长15%，利润增长12%，那么Aå ¬å¸çš„ç›ˆåˆ©èƒ½åŠ›æ˜¯æå‡è¿˜æ˜¯ä¸‹é™ï¼Ÿ"

Agentå¯èƒ½è¿™æ ·"推理"："营收增长高于行业平均（20% > 15%），说明Aå ¬å¸å¸‚åœºä»½é¢æ‰©å¤§ï¼›åˆ©æ¶¦å¢žé•¿ä½ŽäºŽè¡Œä¸šå¹³å‡ï¼ˆ10% < 12%ï¼‰ï¼Œè¯´æ˜Žæˆæœ¬ä¸Šå‡ã€‚å› æ­¤Aå ¬å¸çš„ç›ˆåˆ©èƒ½åŠ›åœ¨æå‡ï¼Œå› ä¸ºå¸‚åœºä»½é¢æ‰©å¤§çš„é•¿æœŸä»·å€¼å¤§äºŽçŸ­æœŸåˆ©æ¶¦çŽ‡æ³¢åŠ¨ã€‚"

这个结论的问题在于：它混淆了"å¢žé•¿é€Ÿåº¦å¿«æ ¢"与"盈利能力水平"çš„æ¦‚å¿µï¼Œä¸”å¿½è§†äº†åˆ©æ¶¦å¢žé•¿ç»å¯¹ä½ŽäºŽè¡Œä¸šå¹³å‡è¿™ä¸€ç›´æŽ¥ä¿¡å·ã€‚æ›´å ³é”®çš„æ˜¯ï¼ŒAgentåœ¨æŽ¨ç†è¿‡ç¨‹ä¸­å¼•å ¥äº†ä¸€ä¸ªæœªç»éªŒè¯çš„å‡è®¾â€”â€”"市场份额扩大的长期价值"。

æˆå› åˆ†æžï¼šæŽ¨ç†æ€§å¹»è§‰æºäºŽLLMåœ¨å¤æ‚é€»è¾‘é“¾ä¸Šçš„è„†å¼±æ€§ã€‚è™½ç„¶æ¨¡åž‹åœ¨ç®€å•æŽ¨ç†ä¸Šè¡¨çŽ°è‰¯å¥½ï¼Œä½†å½“æŽ¨ç†æ­¥æ•°å¢žåŠ ã€éœ€è¦å›žæº¯æ£€æŸ¥æˆ–å¤„ç†åäº‹å®žæ¡ä»¶æ—¶ï¼Œé”™è¯¯æ¦‚çŽ‡ä¼šæŒ‡æ•°çº§ä¸Šå‡ã€‚Chain-of-Thought（CoTï¼‰æç¤ºè™½ç„¶æœ‰æ‰€å¸®åŠ©ï¼Œä½†å¹¶ä¸èƒ½æ ¹é™¤é—®é¢˜â€”â€”æ¨¡åž‹å¯èƒ½åªæ˜¯"生成了看似合理的推理过程"，而非真正执行了严谨的逻辑运算。

1.3 引用性幻觉（Citable Hallucination）

引用性幻觉是学术界和专业人士最深恶痛绝的一种类型。Agentåœ¨ç”Ÿæˆå† å®¹æ—¶ï¼Œä¼šç¼–é€ çœ‹ä¼¼æƒå¨çš„æ¥æºâ€”â€”åŒ æ‹¬ä¸å­˜åœ¨çš„è®ºæ–‡ã€é”™è¯¯çš„ä½œè€ ã€è™šå‡çš„DOIç¼–å·ï¼Œç”šè‡³æé€ æ ¹æœ¬ä¸å­˜åœ¨çš„æ³•å¾‹æ¡æ–‡ã€‚

å ¸åž‹æ¡ˆä¾‹ï¼šæŸæ³•å¾‹è¾ åŠ©Agent在回答"ä¸­å›½å ³äºŽæ•°æ®è·¨å¢ƒä¼ è¾“çš„æœ€æ–°æ³•è§„è¦æ±‚"时，引用了"ã€Šæ•°æ®å‡ºå¢ƒå®‰å ¨è¯„ä¼°åŠžæ³•ã€‹ç¬¬18条：'å¤„ç†è¶ è¿‡100万用户个人信息的企业，应当在每年3月31日前向国家网信部门提交年度数据出境报告。'"å®žé™ ä¸Šï¼Œè¯¥åŠžæ³•å ±åªæœ‰20条，且不存在上述规定。

æˆå› åˆ†æžï¼šå¼•ç”¨æ€§å¹»è§‰æ˜¯è®­ç»ƒæ•°æ®ä¸Žæ¨¡åž‹æž¶æž„å ±åŒä½œç”¨çš„ç»“æžœã€‚å­¦æœ¯è¯­æ–™ä¸­å¤§é‡å­˜åœ¨"æ ¹æ®XXç ”ç©¶""如Smith等人（2023）指出"等模板化表达，模型学会了这种"å¼•ç”¨æ ¼å¼"ï¼Œå´æ²¡æœ‰å»ºç«‹èµ·å¼•ç”¨å† å®¹ä¸ŽçœŸå®žæ–‡çŒ®ä¹‹é—´çš„å¯é æ˜ å°„ã€‚å½“æ¨¡åž‹è¢«æ˜Žç¡®è¦æ±‚æä¾›å¼•ç”¨æ—¶ï¼Œå®ƒæ›´å€¾å‘äºŽ"ç”Ÿæˆçœ‹èµ·æ¥æ­£ç¡®çš„å¼•ç”¨æ ¼å¼"，而非检索真实来源。

äºŒã€å¹»è§‰æ£€æµ‹ï¼šä»Žå† éƒ¨ä¿¡å·åˆ°å¤–éƒ¨éªŒè¯

æ£€æµ‹æ˜¯æ²»ç†çš„ç¬¬ä¸€æ­¥ã€‚ä¸€ä¸ªæœ‰æ•ˆçš„å¹»è§‰æ£€æµ‹ç³»ç»Ÿéœ€è¦å¤šå±‚æ¬¡çš„æ£€æµ‹æœºåˆ¶ï¼Œä»Žæ¨¡åž‹å† éƒ¨çš„ç½®ä¿¡åº¦ä¿¡å·åˆ°å¤–éƒ¨çŸ¥è¯†åº“çš„äº¤å‰éªŒè¯ã€‚

2.1 åŸºäºŽå† éƒ¨çŠ¶æ€çš„æ£€æµ‹æ–¹æ³•

LLM在生成tokenæ—¶ï¼Œå ¶å† éƒ¨æ¦‚çŽ‡åˆ†å¸ƒè•´å«ç€ä¸°å¯Œçš„ä¿¡æ¯ã€‚é€šè¿‡åˆ†æžè¿™äº›å† éƒ¨çŠ¶æ€ï¼Œæˆ‘ä»¬å¯ä»¥åœ¨ä¸ä¾èµ–å¤–éƒ¨èµ„æºçš„æƒ å†µä¸‹ï¼Œå¯¹å¹»è§‰é£Žé™©è¿›è¡Œåˆæ­¥è¯„ä¼°ã€‚

置信度熵分析：当模型对某个token的预测概率分布高度分散（高熵）时，往往意味着模型处于"不确定"状态，此时产生幻觉的风险较高。

import torch import numpy as np from transformers import AutoTokenizer, AutoModelForCausalLM def calculate_token_entropy(logits, top_k=10): """ 计算top-k token的预测熵 高熵表示模型不确定，可能产生幻觉 """ probs