RAG-day8

一、三种高级文本分块方式

1. 滑动窗口分块

把一篇长文章，切成一段一段的；前后两段留一部分重复内容。

作用：防止一句话、关键内容刚好被切在两段中间，导致检索时找不到。

优点：简单好用，不容易丢信息缺点：会有少量重复内容，占一点存储空间

2. 递归分块

按照先大后小的顺序拆分：先按标题、章节分 → 再按段落分 → 最后按固定字数分。

适用：有层级的文档，比如笔记、技术文档、手册这类，能尽量保持内容完整不乱拆。

3. 父子分块

分两层理解：

• 父块：一大段完整内容
• 子块：把父块再拆成很多小块

使用逻辑：存数据时：只用子块做向量存入库中，绑定对应的父块。查问题时：用小块去匹配搜索，找到后拿出完整父块给大模型用。

好处：搜索精准，同时上下文内容完整，项目里常用这种方式。

二、向量数据库进阶

1. 常用向量数据库介绍

• FAISS：本地用、学习测试、小项目够用
• Chroma：上手简单，适合练手、快速做 demo
• Milvus：企业正式项目用，能存海量数据
• Weaviate：适合图片 + 文字的多模态场景
• Pinecone：云端服务，不用自己维护底层

2. 索引基础

向量数量很大时，挨个对比很慢。索引就是给向量建快速查找结构，能实现毫秒级搜到相似内容，常用 HNSW 索引。

3. 元数据过滤

给每一段文档打上标签：比如时间、文档类型、所属部门。搜索时可以加条件，只在指定范围里找，减少无关内容。

三、多模态 RAG

不只能处理纯文字，还能处理图片、表格、PDF 扫描件。

流程：

1. 用 OCR 识别图片、扫描件里的文字
2. 把文字和图片转成统一向量格式
3. 实现文字搜图片、图文一起问答

适用：带图表手册、扫描文件、图文资料解析。

四、RAG 效果怎么判断好不好

不用凭感觉看，主要看两方面：

1. 检索层面

• 召回率：该找到的相关内容有没有都找出来
• 精确率：找出来的内容是不是真的相关

1. 生成层面

• 忠实度：回答是不是照着查到的内容说的，不瞎编
• 相关性：答案和用户问题是否匹配

常用工具：RAGAS、LangSmith，用来自动评测 RAG 效果。

五、解决大模型幻觉的两种进阶方式

1. Self-RAG

模型可以自己判断：需不需要检索、搜到的内容好不好、生成答案有没有乱编，自己检查自己，减少编造。

2. RAG + 微调搭配

RAG 用来补外部私有知识；微调让模型更懂行业业务话术和知识。两者配合，能明显减少大模型瞎编的情况。