RAG全流程拆解——从“只会聊天”到“能查资料”的质变
大模型有一个致命缺陷:它不知道你公司的产品手册、内部政策、客户案例。RAG就是解决这个问题的——让大模型“开卷考试”。
本课是整个RAG模块最重要的基础课,完整走通了从文档到答案的全流程。
RAG全流程一览
| 步骤 | 做什么 | 关键工具 | PM关注点 |
| 1.文档加载 | 读取PDF/Word/PPT | MinerU、python-docx | 文档格式兼容性 |
| 2.切分Chunk | 把大文档切成小片段 | RecursiveCharacterTextSplitter | chunk_size和overlap的设置 |
| 3.向量化 | 每个chunk→1024维向量 | bge-m3/Qwen3-Embedding | 模型选择影响效果 |
| 4.存储 | 向量存入FAISS | FAISS | 存储容量和检索速度 |
| 5.检索 | 问题→向量→找最相似的TopK | FAISS search | K值设置 |
| 6.生成 | 问题+相关chunks→LLM生成答案 | DeepSeek/Qwen | Prompt上下文管理 |
一、文档切分:第一步就决定上限
两种切分方式
| 规则切分 | LLM语义切分 |
| 按token数固定切分 | 从语义角度理解后切分 |
| 支持重叠(overlap) | 不存在重叠 |
| 速度快,成本低 | 更准确,但成本高 |
| 推荐首选 | 适合要求极高的场景 |
�� chunk_size=1000, overlap=200 是常用的起始参数。
overlap的作用是防止关键信息被“切断”。
二、课堂实战:DeepSeek + FAISS本地知识库
以迪士尼门票政策为例,完整演示了RAG全流程:加载文档→切分chunk→生成向量→存入FAISS→查询匹配。
�� PM启发
企业知识库项目的关键问题:“效果不好先调什么?”
答案是——提示词 > RAG优化 > 微调。先调Prompt,再调知识库,最后才考虑微调模型。
三、课堂真实问答
| 同学提问 | 老师回答 |
| “RAG有数据量大小的限制吗?” | TopK chunks受LLM窗口大小限制(200K) |
| “效果不好先调什么?” | 提示词 > RAG > 微调 |
| “向量数据库不用安装吗?” | faiss是库,pip install即用 |
| “PDF中复杂表格怎么处理?” | 用MinerU提取表格、图片、公式 |
四、下次写需求时,你可以这样做
设计知识库产品时,先梳理文档来源:PDF、Word、PPT各多少
在需求文档里明确chunk的策略:是按固定长度还是语义切分
设定测试集:10个问题 + 标准答案,用来衡量RAG效果
评估时问一句:“效果不好先调什么?”记住答案:提示词 > RAG > 微调
收获总结
✅ RAG的本质:让大模型“开卷考试”,从知识库找答案
✅ 全流程:文档加载→切分→向量化→存储→检索→生成
✅ 切分参数:chunk_size=1000, overlap=200 是常用起始值
✅ 优化顺序:提示词 > RAG > 微调,不要一上来就微调
✅ PDF复杂表格用MinerU处理,效果远好于直接切分
��你觉得企业知识库项目最容易踩的坑是什么?来评论区分享一下。
这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!
👇👇扫码免费领取全部内容👇👇
1. 成长路线图&学习规划
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)
3. 大模型视频教程
对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。
4. 2026行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
5. 大模型项目实战
学以致用,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。
6. 大模型面试题
面试不仅是技术的较量,更需要充分的准备。
在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
7. 资料领取:全套内容免费抱走,学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:
👇👇扫码免费领取全部内容👇👇
