RAG幻觉根治手册：系统化消除检索增强生成中的错误输出
RAG 系统产生幻觉不是偶然，而是有明确的根因。本文从幻觉的成因分类入手，给出每类幻觉的系统性解决方案，帮助你把 RAG 准确率从 70% 提升到 95%+。
RAG 系统产生幻觉不是偶然，而是有明确的根因。本文从幻觉的成因分类入手，给出每类幻觉的系统性解决方案，帮助你把 RAG 准确率从 70% 提升到 95%+。
pythonfrom langchain_community.vectorstores import Chromafrom langchain_community.retrievers import BM25Retrieverfrom langchain.retrievers import EnsembleRetriever# 向量检索（语义匹配）vector_store = Chroma( collection_name="documents", embedding_function=embedding_model)vector_retriever = vector_store.as_retriever( search_type="similarity", search_kwargs={"k": 10})# BM25 检索（关键词精确匹配）bm25_retriever = BM25Retriever.from_documents(docs)bm25_retriever.k = 10# 混合检索（0.5/0.5 权重）ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vector_retriever], weights=[0.5, 0.5])# 使用 RRF（倒数排名融合）进一步重排results = ensemble_retriever.invoke("苹果公司股价")混合检索通常能将检索召回率提升 20-30%，是解决语义不匹配问题的标准方案。### 问题二：查询理解偏差用户问的是模糊问题，导致检索方向错误。解决方案：查询变换pythonfrom langchain_openai import ChatOpenAIfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParserllm = ChatOpenAI(model="gpt-4o-mini", temperature=0)# 方案一：HyDE（假设性文档嵌入）# 先让LLM生成一个"假想答案"，用假想答案的向量来检索hyde_prompt = ChatPromptTemplate.from_template("""请根据以下问题，生成一段可能包含答案的段落（不必完全正确，目的是改善检索效果）：问题：{question}假设性答案段落：""")hyde_chain = hyde_prompt | llm | StrOutputParser()hypothetical_doc = hyde_chain.invoke({"question": "量子纠缠是什么？"})# 用 hypothetical_doc 的向量去检索，而非原始问题的向量# 方案二：查询扩展（Multi-Query）multi_query_prompt = ChatPromptTemplate.from_template("""为以下问题生成3个不同角度的变体查询，用于改善文档检索效果。每个查询单独一行。原始问题：{question}变体查询：""")multi_query_chain = multi_query_prompt | llm | StrOutputParser()# 生成多个查询变体，每个都去检索，然后去重合并结果### 问题三：文档分割破坏上下文文档切割点恰好把关键信息切断，导致每个 chunk 都缺乏完整语义。解决方案：语义感知分割pythonfrom langchain_text_splitters import RecursiveCharacterTextSplitterfrom langchain_experimental.text_splitter import SemanticChunkerfrom langchain_openai import OpenAIEmbeddings# 语义分割（自动识别语义断点）text_splitter = SemanticChunker( OpenAIEmbeddings(), breakpoint_threshold_type="percentile", # 按相似度百分位断点 breakpoint_threshold_amount=95 # 差异超过95%分位时断开)docs = text_splitter.create_documents([long_document])# 父子文档策略：大chunk用于生成上下文，小chunk用于精确检索parent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=200)child_splitter = RecursiveCharacterTextSplitter(chunk_size=400, chunk_overlap=50)# 检索小chunk，但返回其父chunk的完整内容from langchain.storage import InMemoryStorefrom langchain.retrievers import ParentDocumentRetrieverstore = InMemoryStore()parent_retriever = ParentDocumentRetriever( vectorstore=vector_store, docstore=store, child_splitter=child_splitter, parent_splitter=parent_splitter,)parent_retriever.add_documents(raw_docs)### 问题四：检索结果噪声太多检索回来 10 条文档，有 7 条不相关，反而干扰了生成质量。解决方案：重排序（Reranking）pythonfrom langchain.retrievers.document_compressors import CrossEncoderRerankerfrom langchain_community.cross_encoders import HuggingFaceCrossEncoderfrom langchain.retrievers import ContextualCompressionRetriever# 使用 Cross-Encoder 进行精确重排model = HuggingFaceCrossEncoder(model_name="BAAI/bge-reranker-large")compressor = CrossEncoderReranker(model=model, top_n=3) # 只保留最相关的3条# 组合：先粗检索，再重排compression_retriever = ContextualCompressionRetriever( base_compressor=compressor, base_retriever=vector_retriever)compressed_docs = compression_retriever.invoke("用户问题")# 此时返回的3条文档都是高相关度的## 生成层优化：让模型忠实引用文档### 问题五：模型不引用文档，自行发挥解决方案：严格的引用约束 PromptpythonFAITHFUL_RAG_PROMPT = """你是一个严格的问答助手，必须**只基于以下提供的参考文档**回答问题。参考文档：{context}用户问题：{question}回答规则（必须严格遵守）：1. 你的每一个核心声明都必须能在参考文档中找到直接依据2. 如果参考文档没有包含足够信息来回答问题，请明确说："根据提供的文档，我无法找到关于[具体内容]的信息。"3. 禁止使用你的训练知识来补充参考文档中没有的内容4. 在关键信息后用[文档X]标注来源（X为文档编号）开始回答："""### 问题六：生成内容与文档事实不符解决方案：忠实度验证（RAGAS评估）pythonfrom ragas import evaluatefrom ragas.metrics import faithfulness, answer_relevancy, context_precision# RAGAS 自动评估 RAG 系统质量from datasets import Dataseteval_data = { "question": ["什么是向量数据库？", "RAG的主要优势是什么？"], "answer": [generated_answer_1, generated_answer_2], "contexts": [retrieved_docs_1, retrieved_docs_2], "ground_truth": [reference_answer_1, reference_answer_2],}dataset = Dataset.from_dict(eval_data)result = evaluate( dataset, metrics=[ faithfulness, # 忠实度：答案是否基于context answer_relevancy, # 相关性：答案是否回答了问题 context_precision, # 精确率：检索的context是否相关 ])print(result)# faithfulness: 0.92 → 92% 的陈述可在文档中找到依据# answer_relevancy: 0.88 → 88% 的答案与问题相关### 问题七：答案不承认"文档中没有"解决方案：不确定性感知生成pythonUNCERTAINTY_AWARE_PROMPT = """基于以下文档回答问题。文档：{context}问题：{question}请先评估文档的充分性，然后给出回答：充分性评估（仅供内部使用，不输出）：- [ ] 文档直接包含答案- [ ] 文档包含部分相关信息，需要推断- [ ] 文档与问题不相关根据评估结果：- 如果文档直接包含答案：直接给出答案，并引用具体来源- 如果只有部分信息：给出部分答案，并明确标注哪些是推断- 如果文档不相关：直接告知"提供的文档中没有关于该问题的信息""""## 知识冲突处理### 问题八：文档知识 vs 模型内置知识冲突pythonCONFLICT_RESOLUTION_PROMPT = """你将收到一些文档和一个问题。文档内容：{context}问题：{question}重要指令：当文档内容与你的内置知识发生冲突时，**优先以文档内容为准**。文档代表最新的事实，你的训练知识可能已经过时。如果你注意到文档与你的训练知识存在明显冲突，请在回答末尾注明："注：以上信息来自提供的文档，与通常认知可能存在差异。"回答："""## 系统级幻觉防御：Guardrails生产系统中，需要在应用层增加输出验证：pythonclass RAGGuardrails: def __init__(self, llm): self.llm = llm async def check_faithfulness( self, answer: str, contexts: list, threshold: float = 0.8 ) -> dict: """验证答案是否忠实于检索文档""" context_text = "\n\n".join([c.page_content for c in contexts]) check_prompt = f"""判断以下回答中的每个主要声明是否能在参考文档中找到依据。参考文档：{context_text}回答：{answer}请列出回答中无法在文档中找到依据的声明（如果有）。以JSON格式返回：{{"unsupported_claims": ["声明1", "声明2"], "faithfulness_score": 0.9}}如果所有声明都有依据，返回：{{"unsupported_claims": [], "faithfulness_score": 1.0}}""" result = await self.llm.ainvoke(check_prompt) parsed = json.loads(result.content) return { "is_faithful": parsed["faithfulness_score"] >= threshold, "faithfulness_score": parsed["faithfulness_score"], "unsupported_claims": parsed["unsupported_claims"] } async def safe_generate( self, question: str, contexts: list, max_retries: int = 2 ) -> str: """带幻觉检测的安全生成""" for attempt in range(max_retries + 1): # 生成答案 answer = await self.generate_answer(question, contexts) # 检测忠实度 check = await self.check_faithfulness(answer, contexts) if check["is_faithful"]: return answer if attempt < max_retries: # 包含不支持的声明，重新生成时提供明确约束 constraint_msg = f"注意：上次回答包含无法验证的声明：{check['unsupported_claims']}。请严格基于文档重新回答。" contexts_with_constraint = contexts + [constraint_msg] # 多次重试仍失败，返回安全降级响应 return "根据提供的文档，我无法给出完全可验证的答案。建议查阅原始文档获取准确信息。"## RAG 幻觉评估基准建立持续监控的评估体系：pythonclass RAGHallucinationMonitor: def __init__(self): self.metrics_history = [] def record_evaluation(self, eval_result: dict): """记录每次评估结果用于趋势分析""" self.metrics_history.append({ "timestamp": datetime.now().isoformat(), "faithfulness": eval_result["faithfulness"], "answer_relevancy": eval_result["answer_relevancy"], "context_precision": eval_result["context_precision"], }) def get_trend(self, last_n: int = 10) -> dict: """获取最近N次评估的趋势""" recent = self.metrics_history[-last_n:] if len(recent) < 2: return {} def trend(values): if values[-1] > values[0]: return "↑" elif values[-1] < values[0]: return "↓" return "→" faithfulness_values = [r["faithfulness"] for r in recent] return { "faithfulness": { "current": faithfulness_values[-1], "trend": trend(faithfulness_values) } }## 优先级矩阵：先解决什么| 幻觉类型 | 影响程度 | 解决难度 | 优先级 ||---------|---------|---------|-------|| 检索不相关文档 | 高 | 低 | P0 || 模型不承认"不知道" | 高 | 低 | P0 || 关键信息分割断裂 | 中 | 中 | P1 || 知识冲突倾向内置知识 | 中 | 中 | P1 || 检索遗漏相关文档 | 高 | 高 | P2 || 生成层细节错误 | 低 | 高 | P3 |**建议路径：**先解决 P0（添加"不确定时明确说不知道"的 Prompt 约束 + 开启混合检索），再处理 P1（改进分块策略），最后用 Reranking 和 Guardrails 做精细化优化。大多数 RAG 系统的幻觉率从 30% 降到 10% 以下，仅靠 P0 级别的优化就能实现。不要一开始就追求完美，先把最高价值的改进落地。