RAGFlow 系列教程 第十一课：文本分块策略详解

系列: RAGFlow v0.25.0 源码深度解析
作者: 耿雨飞
前置知识: 已完成第十课"LLM 抽象层 – 统一模型接口"的学习

导读

在 RAG（检索增强生成）系统中，文本分块是连接"文档解析"与"向量检索"的关键桥梁。分块质量直接决定了检索精度和生成质量——分块太大，向量语义被稀释，精确匹配困难；分块太小，上下文信息丢失，生成结果断章取义。

RAGFlow 在rag/flow/chunker/目录中实现了两种核心分块策略：Token-based 分块（按 Token 大小合并）和Title-based 分块（按标题层级切分），并在此基础上提供了Parent-Child 二级分割、表格/图片上下文附加、PDF 坐标保留等进阶能力。这两种策略分别适用于不同的文档类型和检索场景。

本课将深入每一个分块函数的实现逻辑，从参数配置、分隔符编译、Token 合并算法，到标题层级识别、层次树构建、语义分组——逐一拆解 RAGFlow 的分块引擎。

学习目标

1. 理解 RAG 分块的核心矛盾：精确匹配需要小分块 vs 完整语义需要大分块
2. 掌握 Token-based 分块的完整流程：分隔符编译 → 文本切分 → Token 大小合并 →