rag文本切块chunk

为什么进行文档切块？

• 受上下文长度限制：大多数大语言模型和嵌入模型对输入 token 数有上限。把长文分成小块，能确保每次检索到的内容都能被模型完整处理。
• 提高检索粒度与召回质量：若用整篇文档作为一个向量检索，而该文档很长或包含多种主题，那么检索结果往往偏向文档的整体语义，难以精确找到“文中的哪一部分”与用户的问题最相关。
• 便于组合回答：允许从多份相关块中提取信息，分段汇总、交叉引用，提升回答的准确性和覆盖面。
• 更新和维护方便：当文档更新时，只需要替换相关的块，而不需要重新处理整篇文档的向量表示。

方法分类

naive chunk

固定大小文本切块

大模型应用开发框架LangChain为用户提供了RecursiveCharacterTextSplitter文本切分方法，在尽量保证上下文完整性的情况下，允许文本块的大小略微偏离预设大小。调用方式如下：

特殊格式文本切块

对诸如HTML、Markdown、LaTeX、Python代码等具有特殊内在结构的文本进行切块。在进行切块时，应充分考虑其结构信息，以减少因文本切块而导致的上下文信息损失。LangChain为用户提供了多种特殊文本切块方法，具体如表4-1所示。处理Python代码、Markdown、LaTeX的方法非常简单，针对不同的文本类型默认设置了不同的分割符列表，然后进