手把手教你用LangChain和FAISS搭建RAG问答系统（含代码示例）
从零构建基于LangChain与FAISS的高效RAG问答系统
当开发者需要为大语言模型注入最新知识时，检索增强生成（RAG）技术正成为最实用的解决方案。不同于耗时费力的模型微调，RAG系统通过实时检索外部知识库，将相关信息与用户问题共同输入大模型，从而生成准确、与时俱进的回答。本文将完整展示如何利用LangChain框架和FAISS向量数据库，从零搭建一个生产级RAG系统。
1. RAG系统核心架构解析
现代RAG系统由三个关键组件构成智能协同的工作流。首先是文本向量化模块，它将自然语言转换为机器可理解的数学表示；其次是高效的向量搜索引擎，能在毫秒级完成海量数据的相似性匹配；最后是智能分块机制，确保长文档被合理切分而不破坏语义完整性。
以医疗问答场景为例，当用户咨询"糖尿病的最新治疗方法"时：
- 系统将查询语句转换为384维向量
- 从包含最新医学论文的向量库中检索相似文档
- 将Top 3相关段落与原始问题一起提交给LLM
- 生成包含参考文献出处的专业回答
# 典型RAG工作流程伪代码 query = "糖尿病的最新治疗方法" query_vector = embed_text(query) # 文本向量化 relevant_docs = vector_db.search(query_vector, k=3) # 向量检索 response = llm.generate(context=relevant_docs, question=query) # 增强生成2. 环境配置与工具选型
2.1 开发环境准备
推荐使用Python 3.9+环境，主要依赖库包括：
| 工具名称 | 版本 | 功能描述 |
|---|---|---|
| LangChain | 0.1.0+ | RAG流程编排框架 |
| FAISS | 1.7.3+ | 高性能向量搜索库 |
| Sentence-Transformers | 2.2.2+ | 文本嵌入模型 |
# 创建conda环境并安装核心依赖 conda create -n rag python=3.9 -y conda activate rag pip install langchain faiss-cpu sentence-transformers2.2 嵌入模型选型指南
不同场景下的嵌入模型选择策略：
- 通用领域：
all-MiniLM-L6-v2（平衡速度与精度） - 专业领域：
multi-qa-mpnet-base-dot-v1（针对问答优化） - 多语言场景：
paraphrase-multilingual-MiniLM-L12-v2
提示：嵌入维度越高通常效果越好，但会增加计算开销。384维是较好的平衡点。
3. 构建向量知识库实战
3.1 文档预处理流水线
高质量的知识库始于科学的文档处理流程：
- 文本提取：使用
PyPDF2或python-docx解析各类文档格式 - 智能分块：
- 技术文档：按章节结构分割
- 会议记录：按议题时间分割
- 研究论文：按摘要/正文/结论分割
from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", "。", "？"] ) documents = text_splitter.create_documents([raw_text])3.2 FAISS索引构建技巧
针对不同数据规模的优化策略：
| 数据规模 | FAISS索引类型 | 特点 |
|---|---|---|
| <1万条 | IndexFlatIP | 精确搜索，内存占用小 |
| 1-100万条 | IndexIVFFlat | 平衡速度与精度 |
| >100万条 | IndexHNSW | 极速搜索，内存占用较高 |
from langchain.vectorstores import FAISS from langchain.embeddings import HuggingFaceEmbeddings embedder = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2") vector_db = FAISS.from_documents(documents, embedder) # 保存索引到磁盘 vector_db.save_local("medical_knowledge_index")4. 查询优化与高级检索
4.1 混合检索策略实现
结合关键词与语义搜索的优势：
from langchain.retrievers import BM25Retriever, EnsembleRetriever # 传统关键词检索 bm25_retriever = BM25Retriever.from_documents(docs) bm25_retriever.k = 2 # 向量语义检索 faiss_retriever = vector_db.as_retriever(search_kwargs={"k": 3}) # 组合检索器 hybrid_retriever = EnsembleRetriever( retrievers=[bm25_retriever, faiss_retriever], weights=[0.3, 0.7] )4.2 动态查询扩展技术
通过LLM增强原始查询的检索效果：
from langchain.prompts import ChatPromptTemplate expand_template = """根据原始问题生成3个专业表述变体： 原始问题：{query} 1. 学术版：""" prompt = ChatPromptTemplate.from_template(expand_template) expanded_queries = llm.invoke(prompt.format(query="心脏衰竭治疗方法"))5. 生产环境部署建议
5.1 性能优化方案
- 批量处理：对文档嵌入进行批量化计算（batch_size=32）
- 异步IO：使用
asyncio实现并行文档加载 - 缓存机制：对常见查询结果进行TTL缓存
# 异步嵌入处理示例 async def async_embed(texts): return await embedder.aembed_documents(texts) # 使用Semaphore控制并发度 semaphore = asyncio.Semaphore(10)5.2 监控指标设计
关键运维指标监控清单：
- 检索延迟（P99 < 500ms）
- 缓存命中率（目标>60%）
- 结果相关性（人工评估分数）
- 知识库覆盖率（定期增量测试）
在实际部署中，我们发现为不同业务场景定制分块策略能显著提升效果。例如法律文档适合按条款分块，而技术文档则需要保持完整代码块不被分割。