RAG核心技术解析：检索方式与文档切片逻辑
RAG（检索增强生成）：检索方式、文档切片（Chunking）的实现逻辑
目录
- 一、RAG的核心检索方式
- 1. 基于向量的检索（Vector Retrieval）
- 核心原理
- 实现方式
- 代码实例（基于Chroma+Sentence-BERT）
- 2. 关键词检索（Keyword Retrieval）
- 核心原理
- 实现方式
- 代码实例（基于Elasticsearch+BM25）
- 3. 混合检索（Hybrid Retrieval）
- 核心原理
- 实现实例（RRF融合）
- 4. 知识图谱检索（Knowledge Graph Retrieval）
- 核心原理
- 实现方式
- 实例（Neo4j+Cypher查询）
- 5. 多模态检索（Multimodal Retrieval）
- 核心原理
- 实现实例（CLIP检索图文）
- 二、RAG中文档切片（Chunking）的实现
- 1. 核心原理
- 2. 主流切片策略
- 策略1：固定长度切片
- 策略2：语义感知切片（智能版）：LangChain+RecursiveCharacterTextSplitter
- 策略3：结构化切片（专业版）：LangChain+PDFLoader
- 三、流行的RAG方案
- 1. 基础RAG（LangChain + 向量库 + LLM）
- 核心原理
- 2. RAG-Fusion（多查询融合）
- 核心原理
- 3. HyDE（假设性文档嵌入）
- 核心原理
- 4. LlamaIndex（企业级RAG）
- 核心原理
- 5. 结构化RAG（知识图谱+向量检索）
- 核心原理
- 6. Agent-RAG（智能代理RAG）
- 核心原理
- 总结
- 关键点回顾
一、RAG的核心检索方式
RAG的检索环节是“从知识库中找到与用户问题最相关的信息”，核心目标是高召回率（不漏掉相关信息）+ 高精度（不返回无关信息）。主流检索方式可分为5类，以下是每类的核心原理、实现方式和实例：
1. 基于向量的检索（Vector Retrieval）
核心原理
这是RAG最核心、最主流的检索方式。核心逻辑是：
- 将用户问题和知识库中的文档片段（Chunk）都通过嵌入模型（Embedding Model）转换成高维向量（语义向量）；
- 计算用户问题向量与文档片段向量的相似度（常用余弦相似度、欧氏距离）；
- 按相似度排序，返回Top-N最相关的片段。
本质是“语义层面的匹配”，而非字面匹配，能解决关键词检索的“一词多义/多词一义”问题。
实现方式
- 嵌入模型：开源（BGE-base/zh、Sentence-BERT、m3e-base）、闭源（OpenAI text-embedding-ada-002）；
- 向量数据库：专门存储/检索向量的数据库（Milvus、Pinecone、Chroma、FAISS）；
- 核心步骤：文