当前位置：首页 > news >正文

RAG 入门到精通：从零构建检索增强生成系统

news 2026/8/5 3:02:19

1. 引言：什么是 RAG？

检索增强生成（Retrieval-Augmented Generation，RAG）是一种将信息检索与大型语言模型（LLM）生成能力相结合的技术范式。它通过从外部知识库中检索相关信息，并将其作为上下文提供给 LLM，从而生成更准确、更相关、更具事实依据的答案。

RAG 的核心价值在于解决 LLM 的“幻觉”问题（即生成看似合理但实际错误的信息）和知识更新滞后的问题，使其能够利用最新、最具体的领域知识进行回答。

2. RAG 的核心组件与工作流程

一个典型的 RAG 系统包含以下核心组件：

文档加载器：从各种来源（如 PDF、网页、数据库）加载原始文档。
文本分割器：将长文档切分成适合检索和模型处理的“块”（Chunks）。
向量化模型（Embedding Model）：将文本块转换为高维向量表示。
向量数据库：存储文本块及其对应的向量，支持高效的相似性检索。
检索器：根据用户查询，从向量数据库中找出最相关的文本块。
大语言模型（LLM）：将检索到的上下文与用户查询结合，生成最终答案。

其标准工作流程可以概括为：索引（Indexing）和检索与生成（Retrieval & Generation）两个阶段。

3. 动手实践：构建你的第一个 RAG 应用

本节我们将使用 Python 和 LangChain 框架，快速搭建一个基于本地文档的问答系统。

3.1 环境准备与安装

# 创建虚拟环境（可选） python -m venv rag_env source rag_env/bin/activate # Linux/Mac # rag_env\Scripts\activate # Windows 安装核心库 pip install langchain langchain-community langchain-openai chromadb pypdf tiktoken

确保你已准备好 OpenAI API Key 或本地部署的 LLM（如 Ollama）。

3.2 代码实现：四步构建 RAG

from langchain_community.document_loaders import PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_openai import OpenAIEmbeddings, ChatOpenAI from langchain_community.vectorstores import Chroma from langchain.chains import RetrievalQA 1. 加载文档 loader = PyPDFLoader("your_document.pdf") documents = loader.load() 2. 分割文本 text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", "。", "？", "！", " ", ""] ) chunks = text_splitter.split_documents(documents) 3. 创建向量存储 embeddings = OpenAIEmbeddings(openai_api_key="your-api-key") vectorstore = Chroma.from_documents( documents=chunks, embedding=embeddings, persist_directory="./chroma_db" ) 4. 构建问答链 llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0, openai_api_key="your-api-key") qa_chain = RetrievalQA.from_chain_type( llm=llm, retriever=vectorstore.as_retriever(search_kwargs={"k": 3}), return_source_documents=True ) 使用 query = "RAG 的主要优势是什么？" result = qa_chain.invoke({"query": query}) print("答案：", result["result"]) print("参考来源：", result["source_documents"])

4. 进阶优化策略

基础 RAG 可能面临检索不准、上下文过长等问题，以下是一些进阶优化方向：

分块策略优化：根据文档类型（代码、论文、手册）调整分块大小和重叠。
重排序（Re-ranking）：使用更精细的模型对检索结果进行二次排序，提升相关性。
查询扩展/改写：基于原始查询生成多个相关问题，并行检索以获取更全面的上下文。
混合检索：结合基于关键词的稀疏检索（如 BM25）和基于向量的稠密检索，取长补短。
上下文压缩/过滤：在将检索结果喂给 LLM 前，过滤掉冗余或无关信息。

5. 常见挑战与解决方案

挑战	表现	解决方案
检索不准	返回的文档块与问题不相关	优化 Embedding 模型、使用重排序、改进查询
上下文过长	超出模型上下文窗口，导致截断或性能下降	优化分块、采用 Map-Reduce 或 Refine 等链式方法
答案质量差	LLM 未能有效利用检索到的上下文	优化提示词工程、在上下文中加入明确的指令和角色
多跳推理困难	需要结合多个文档块才能回答的问题失败	采用迭代检索（如 RAG-Fusion）、图检索等技术