RAG的数据准备
第二章 数据准备
一、学习心得
原以为数据准备就是简单把文档打开，没想到是RAG的“地基”，数据处理的好坏直接影响后续检索和生成的效果，切分的太碎或太整都不行。教程里的多格式文档加载和文本分块策略太实用了，解决了我之前不知道怎么处理PDF/MD等不同格式文档的问题，而且分块不是瞎切，是有技巧的，终于明白为什么有的RAG检索不到相关内容，大概率是分块没做好。
二、核心内容归纳
本章核心是把原始文档变成适合RAG处理的“小文本块（chunk）”，分两大步骤，每一步都有技巧和优化，所有操作都是为了让后续检索更精准。
- 第一步：数据加载——搞定各种格式的文档
- 支持的文档格式：日常用到的基本都能处理，比如Markdown、PDF、Word、TXT等，教程里有对应的加载方法，不用自己写复杂的解析代码；
- 核心要求：把不同格式的文档统一解析成纯文本，同时尽量保留文档的原始结构（比如MD的标题、层级），结构信息对后续分块和检索很重要；
- 核心目标：解析无乱码、无冗余内容（比如PDF的页眉页脚、广告），保证文本的干净度。
- 第二步：文本分块——把大文本切成合适的小碎片
- 分块的核心原则：语义完整+长度合适，不能把一个完整的知识点切散，也不能切的块太大（太大了检索时冗余信息多，精准度低）；
- 常用分块策略：教程里重点讲了Markdown结构感知分块，跟着MD的标题、二级标题、段落来切，贴合自然的知识划分，比无脑按字符数切效果好太多；
- 分块优化点：切分后可以给每个小块加元信息（比如文档名、章节、标题），后续检索时能带上这些信息，提升检索精准度，也方便用户看答案的来源。
- 数据准备的核心目标：输出干净、结构完整、长度合适的文本块，为后续向量化和索引构建打好基础，这一步做不好，后面的索引和检索再优化也没用。
三、实操踩坑&填坑技巧
- 坑1：加载PDF文档时出现乱码、公式丢失，检索不到关键内容；
填坑：用教程推荐的PDF解析库，解析时开启OCR模式，同时过滤掉PDF的页眉、页脚、空白行，保证解析后的文本干净； - 坑2：文本分块时按固定字符数切，把完整的知识点切散（比如把一个菜谱的做法切成两个块）；
填坑：放弃无脑固定长度切分，用结构感知分块（MD按层级、PDF按章节），如果是纯文本，按段落/句号切，保留语义完整性； - 坑3：分块的长度太长（比如几千字一个块），检索时返回的内容冗余，大模型生成答案时抓不住重点；
填坑：根据自己的知识库类型调整块大小，一般中文按500-1000字符一个块比较合适，专业知识可以适当缩短； - 坑4：加载大量文档时速度慢，甚至内存溢出；
填坑：分批加载文档，不要一次性把所有文档都读入内存，加载后及时清理冗余数据。
四、对本章教程的意见&建议
- 优点：把数据加载和分块的核心痛点讲透，重点讲了实用的结构感知分块，而非基础的固定长度分块，贴合实际工程需求，实操性强；
- 小建议：可以补充不同格式文档（比如扫描版PDF、带图片的Word）的加载优化方法，同时给一个常用的分块长度参考值（比如不同场景的字符数范围），新手不用自己试错。