RAG（检索增强生成）技术详解：从原理到实践
1. 什么是 RAG？
RAG（Retrieval-Augmented Generation，检索增强生成）是一种将信息检索与大型语言模型（LLM）生成能力相结合的技术框架。其核心思想是：在 LLM 生成答案之前，先从外部知识库（如文档、数据库、网页）中检索出与用户问题最相关的信息片段，然后将这些信息作为上下文提供给 LLM，从而生成更准确、更可信、更具时效性的回答。
与传统仅依赖模型内部知识的生成方式相比，RAG 能够有效解决 LLM 的“幻觉”问题、知识更新滞后问题以及特定领域知识不足的问题。
2. RAG 的核心工作流程
一个典型的 RAG 系统通常包含以下三个核心步骤：
- 索引（Indexing）：将原始文档（如 PDF、Word、网页）进行预处理，包括文本提取、清洗、分割（Chunking），然后通过嵌入模型（Embedding Model）将文本块转换为向量（Vector），最后存储到向量数据库（Vector Database）中。
- 检索（Retrieval）：当用户提出查询（Query）时，系统同样使用嵌入模型将查询转换为向量，然后在向量数据库中进行相似度搜索（如余弦相似度），找出与查询最相关的若干个文本块（Chunks）。
- 生成（Generation）：将检索到的相关文本块与用户的原始查询一起，组合成一个精心设计的提示词（Prompt），输入给 LLM。LLM 基于提供的上下文信息，生成最终的回答。
3. RAG 的技术架构与关键组件
3.1 文档加载与切分（Document Loader & Splitter）
这是构建知识库的第一步。需要根据文档格式（PDF、HTML、Markdown 等）选择合适的加载器。切分策略至关重要，直接影响检索质量。常见的策略有：
- 固定长度重叠切分：按固定字符数（如 500）切分，并设置重叠（如 50），保证语义连续性。
- 递归字符切分：按段落、句子等语义边界递归切分。
- 语义切分：利用模型判断语义边界进行切分，效果更好但成本更高。
3.2 向量化与嵌入模型（Embedding Model）
嵌入模型负责将文本转换为高维向量。模型的选择直接影响检索的准确性。常用的有 OpenAI 的 text-embedding-ada-002、开源模型如 BGE、Sentence Transformers 等。选择时需权衡效果、速度和成本。
3.3 向量数据库（Vector Database）
用于高效存储和检索向量。它支持近似最近邻（ANN）搜索，能在海量数据中快速找到相似向量。主流选择包括：
- Pinecone：全托管服务，简单易用。
- Chroma：轻量级，易于本地部署。
- Weaviate：功能丰富，支持混合搜索。
- Milvus：高性能，适合大规模生产环境。
- Qdrant：Rust 编写，性能优异。
3.4 大语言模型（LLM）
负责最终的答案生成。可以是云端 API（如 GPT-4、Claude）或本地部署的开源模型（如 Llama 3、Qwen）。其任务是理解“查询+检索上下文”，并生成连贯、准确的答案。
3.5 提示工程（Prompt Engineering）
连接检索与生成的桥梁。一个典型的 RAG 提示词模板如下：
请根据以下提供的上下文信息来回答问题。如果上下文信息不足以回答问题，请直接说“根据已知信息无法回答此问题”，不要编造答案。 上下文信息： {context} 问题：{question} 请基于上下文信息回答：4. RAG 的优势与挑战
4.1 核心优势
- 减少幻觉：答案基于检索到的真实信息，而非模型臆想。
- 知识可更新：只需更新向量数据库，即可让系统获取最新知识，无需重新训练昂贵的大模型。
- 来源可追溯：答案可附带引用来源（检索到的文档块），增强可信度。
- 成本效益：利用相对便宜的检索模块扩展昂贵大模型的知识边界。
- 领域适应性强：可快速为法律、医疗、金融等专业领域构建智能问答系统。
4.2 面临的主要挑战
- 检索质量：检索不到或检索到不相关的内容，会直接导致生成错误答案。
- 上下文窗口限制：检索到的内容过多可能超出 LLM 的上下文长度。
- 多跳推理：对于需要串联多个文档才能回答的复杂问题，基础 RAG 表现不佳。
- 上下文压缩与重排序：如何从大量检索结果中筛选出最核心的信息给 LLM。
5. 进阶 RAG 技术与优化策略
为了应对上述挑战，业界发展出许多优化技术：
- 查询转换（Query Transformation）：对原始查询进行改写、扩展或分解，以提升检索效果。
- 重排序（Re-ranking）：使用更精细的交叉编码器模型对初步检索结果进行重排，提升 Top-K 结果的相关性。
- 上下文压缩（Context Compression）：提取检索文档中的关键句子或摘要，减少无关信息输入。
- 多向量检索（Multi-Vector Retrieval）：为每个文档块生成多个向量（如摘要、问题、标题），从不同角度检索。
- 递归检索（Recursive Retrieval）与图检索（Graph Retrieval）：用于解决多跳复杂问题。
- 自我反思（Self-Reflection）与检索验证（Retrieval Validation）：让 LLM 判断检索结果是否足够回答当前问题，若不够则触发新一轮检索。
6. 动手实践：构建一个简单的 RAG 系统
以下是一个使用 Python、LangChain 和 Chroma 构建简易 RAG 系统的代码示例：
# 1. 安装依赖 # pip install langchain langchain-community langchain-chroma chromadb sentence-transformers from langchain_community.document_loaders import TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma from langchain.chains import RetrievalQA from langchain_community.llms import Ollama # 假设使用本地 Ollama 运行的 Llama 3 2. 加载并切分文档 loader = TextLoader("knowledge.txt") documents = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", "。", "？", "！", "；"] ) chunks = text_splitter.split_documents(documents) 3. 创建向量存储 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = Chroma.from_documents(documents=chunks, embedding=embeddings, persist_directory="./chroma_db") 4. 创建检索器 retriever = vectorstore.as_retriever(search_kwargs={"k": 3}) 5. 创建 LLM 和 QA 链 llm = Ollama(model="llama3") qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", # 简单地将所有检索到的上下文塞进提示词 retriever=retriever, return_source_documents=True ) 6. 提问 question = "RAG 的核心步骤是什么？" result = qa_chain.invoke({"query": question}) print("答案：", result["result"]) print("\n来源：") for doc in result["source_documents"]: print(f"- {doc.page_content[:200]}...")7. 总结与展望
RAG 已成为构建可信、可追溯、知识可更新 AI 应用的主流范式。它巧妙地将传统信息检索的精确性与大语言模型的强大生成能力相结合。随着向量数据库、嵌入模型和提示工程技术的不断进步，RAG 系统正变得更加高效、智能和可靠。未来，RAG 可能会与智能体（Agent）、工作流自动化更深度地融合，成为企业知识管理和智能决策的核心基础设施。
对于开发者而言，理解 RAG 的基本原理是第一步，接下来需要根据具体业务场景，在检索质量、生成效果、响应速度和成本之间找到最佳平衡点。