RAG-day5

1. 重叠分块

1. 分块时相邻文本保留部分重复内容
2. 解决普通固定分块语义被截断、上下文丢失问题
3. 作用：保证语义完整，提升检索准确率

2. 递归分块

1. 按层级由大到小拆分：整篇→段落→句子→短句
2. 不生硬按字数切割，贴合原文逻辑结构
3. 优势：语义完整性强，适配结构化文章

3. 父子文档 RAG

1. 父文档：篇幅大，保存完整上下文
2. 子文档：拆分小块，用于向量检索
3. 流程：检索匹配子文档 → 关联对应父文档 → 父文档完整内容喂给大模型
4. 优势：兼顾检索精准度 + 上下文完整性，优化回答效果

原文：前端转 AI 现在很热门，很多人都在学 RAG。RAG 能解决大模型幻觉、信息滞后的问题，还能接入私有文档做问答，是转行必学的核心技术。

1. 普通固定分块（无重叠）

块 1：前端转 AI 现在很热门，很多人都在学 RAG。块 2：RAG 能解决大模型幻觉、信息滞后的问题，还能接入私有文档做问答，是转行必学的核心技术。特点：生硬截断，刚好卡在句子中间断开，容易丢语义。

2. 重叠分块

块 1：前端转 AI 现在很热门，很多人都在学 RAG。RAG 能解决大模型幻觉块 2：大模型幻觉、信息滞后的问题，还能接入私有文档做问答，是转行必学的核心技术。特点：两块中间重复一小段文字，不会把完整意思切断，保住上下文。

3. 递归分块

第一层（按整段）：前端转 AI 现在很热门，很多人都在学 RAG。RAG 能解决大模型幻觉、信息滞后的问题，还能接入私有文档做问答，是转行必学的核心技术。第二层（拆句子）①前端转 AI 现在很热门，很多人都在学 RAG。②RAG 能解决大模型幻觉、信息滞后的问题。③还能接入私有文档做问答，是转行必学的核心技术。特点：从大到小逐层拆，先整段、再拆句子，不强行按字数切，顺着原文逻辑分。

补充 父子文档分块样式

父文档（完整大段）：前端转 AI 现在很热门，很多人都在学 RAG。RAG 能解决大模型幻觉、信息滞后的问题，还能接入私有文档做问答，是转行必学的核心技术。子文档（拆成多个小块）子 1：前端转 AI 现在很热门，很多人都在学 RAG。子 2：RAG 能解决大模型幻觉、信息滞后的问题。子 3：接入私有文档做问答，是转行必学核心技术。特点：子块用来检索，父块保留完整上下文。

一句话分清：递归分块 vs 父子文档分块

1. 递归分块

只干一件事：把原文，按逻辑一层层拆开整篇 → 段落 → 句子 → 短句只是单纯把文本合理切小，从头到尾都是同一份内容，没有大小块配对。

2. 父子文档分块

故意做两套块：

• 父文档：保留完整一大段，不拿去检索
• 子文档：拆成很多小碎块，专门用来检索检索到小子块 → 拉出来对应的父大块给模型用。

核心区别（记这一句就行）

• 递归分块：只有一套内容，单纯逐层拆分切文本。
• 父子分块：做两套内容（父大块 + 子小块），子用来搜，父用来给完整上下文。

用同一段原文直观对比

原文：AI 转行必学 RAG，RAG 能消幻觉、补信息滞后，还能读私有文档。

递归分块结果

第一层：AI 转行必学 RAG，RAG 能消幻觉、补信息滞后，还能读私有文档。第二层拆两句：

1. AI 转行必学 RAG
2. RAG 能消幻觉、补信息滞后，还能读私有文档👉 就只是逐级拆开，只有一套内容。

父子文档分块结果

父文档（完整大段）AI 转行必学 RAG，RAG 能消幻觉、补信息滞后，还能读私有文档。

子文档（拆成小块）

1. AI 转行必学 RAG
2. RAG 能消幻觉、补信息滞后
3. 还能读私有文档

👉 有一大 + 多小两套，分工不一样：子检索，父给完整内容。