阿里二面：帮我分析下我们这边RAG准确率低于95%的原因

前段时间有个粉丝去面阿里二面，聊到他之前做的RAG知识库项目。面试官问了一个很直接的问题：“考你一个场景题，我们线上知识库的准确率大概70%左右，你觉得为什么到不了95%？”

他想了想，说可能是模型能力不够，prompt写得不好。面试官没有直接否定，只是笑了笑说：“那你从工程的角度再想想，假如你来优化下整个链路上有哪些环节可能导致这个问题？”

他愣了一下，开始从三个维度展开——技术方案选型、存储引擎选型、还有效果评估体系。讲完之后面试官微微点头，说"思路是对的"。这三个维度其实也是大多数知识库准确率上不去的核心原因。

今天把这几个维度展开下

1. 问题：你的知识库准确率为什么低于95%？

很多人搭完知识库之后呢，会发现线上的表现其实挺一般的。问对了还好，问偏了就开始答非所问了。

如果你现在的准确率卡在60%到70%这个区间，说实话并不奇怪。这基本上就是没有经过系统调优的知识库的一个普遍起点嘛。但这个水平离生产级别的要求还差得远呢，大多数业务场景对准确率的底线是95%。

这中间的差距，其实是可以被系统性地去填补的。面试官问你"为什么到不了95%"，其实考察的不是你会不会调模型，而是你有没有系统性地去排查过整条链路。

2. 三个核心原因

先来说第一层问题吧，就是技术方案的选型。

基于大模型去构建知识库，主流的路径无非就三条：微调，也就是 Fine-tuning；RAG；又或者是 Agent 加上 RAG 的一个组合方案。

但是选哪条路呢，这得取决于你的具体场景才行，而不是说哪条路"更先进"就选哪。微调适合那种知识相对固定、格式高度一致的场景。RAG 更擅长去应对动态更新的外部知识。Agent 加 RAG 呢，则适合需要多步推理或者跨库查询的复杂任务。

如果场景判断错了，后面再怎么精细的工程优化，也不过就是在错误的方向上跑得更快了而已。

值得注意的是什么呢，有一些团队在知识更新频繁的场景下选择了微调方案，结果每隔几周就要去重新训练一次模型，成本居高不下。这个弯路嘛，其实完全可以在选型阶段就给避免掉的。

知识库的数据最终是要落到某个存储引擎里面的，而不同引擎之间的检索逻辑差异其实是相当大的。

向量数据库，比如说 Milvus、Weaviate、Qdrant 这些，它们擅长做语义相似度的匹配。全文检索引擎呢，比如 Elasticsearch，对关键词的精确命中更有优势。关系型数据库适合做结构化数据的精准查询。图数据库则是在处理实体关系密集的知识时更有表现力。

这四类引擎并不互斥的。一个比较成熟的知识库系统，往往同时使用其中的好几种，通过多路召回来做合并排序。关键在于什么呢，你得先想清楚自己的数据是什么形态、用户问的是哪类问题，才能做出合理的组合决策。

这一步如果选错了，后面的优化都是在打补丁而已。

第三层问题，也是最隐蔽的一层，就是缺少系统性的效果评估。

很多团队的做法是什么呢？搭完系统，随手去测几个问题，感觉"还行吧"，就直接上线了。

这种方式的危险在哪里呢，就是你根本不知道问题出在哪个环节。文档解析有没有丢失关键信息？切块策略会不会把语义给截断了？重排序模型是否适配当前的领域？每一个环节都可能是拖低准确率的一个黑洞，却在没有指标的情况下完全不可见。

这也是面试官最想听到的——你能不能把"感觉不对"变成"哪里不对"。没有评估指标，你连问题出在哪都不知道，谈何优化。

3. 知识库的经典流程

整个流程嘛，可以分成两段来理解：一段叫知识入库，也就是数据工程部分；另一段叫知识检索。

入库的链路是这样的：先把原始数据拿过来，然后解析成结构化文件，接着做文本切割，再做向量化，最后写入到存储引擎里面去。

检索的链路呢，是这样的：用户先提问，然后去执行检索策略，接着做重排序，再做知识合并，然后拼接进提示词模板里面，最后提示词增强之后送入模型。

这条链路其实并不短。链路越长呢，意味着累计误差的概率就越高。任何一个环节的稍微有点失准，都会在最终答案上被放大。

这也解释了为什么知识库的准确率提升，往往是一个逐环节排查、逐步收紧的过程，而不是某个单点的魔法优化就能搞定的。

4. 效果评估的意义

效果评估体系存在的核心价值是什么呢，就是把"感觉不对"变成"哪里不对"。

没有评估指标的时候，你只能凭直觉去猜问题所在，优化方向全靠运气。但是有了分环节的指标之后呢，你就能看到了：检索召回率是多少？排序之后的相关性有没有提升？最终拼入提示词的知识片段，是不是真的覆盖了用户的问题？

每一层的数字嘛，都对应着一个可以被干预的优化动作。

从70%到80%，再从90%到95%，每一段提升的背后，都是一次精准的诊断加上一次针对性的修复，而不是凭感觉去全面重做。

5. 效果评估方案怎么落地？

目前来说呢，有两条可行的路径。

第一条是使用开源框架，比如 RAGAS 或者 TruLens。这两个项目都提供了若干现成的评估指标，适合用来快速验证思路、建立基线。

RAGAS 的核心指标包括什么呢，有答案忠实度，就是 Faithfulness；有答案相关性，就是 Answer Relevancy；还有上下文召回率等等，覆盖了 RAG 链路中几个比较关键的节点。对于刚起步的团队来说，用它去跑一遍基准测试，能帮你快速定位出明显的短板在哪里。

但是呢，开源框架的局限也很明显：指标相对通用嘛，难以贴合特定业务的评判标准。在复杂多跳问题或者专业领域知识上，评估结果的可信度也会打折扣。

第二条是自研评估框架。这条路初期投入会稍微高一点，但长期来看其实是更值得的。

自研框架可以完全按照你的业务逻辑去设计评估维度，把"领域内准确率"“拒答率”"模糊问题处理"这些贴近实际的指标给纳入进来，而不是被开源框架预设的指标牵着走。

在实际的项目里面呢，这两条路并不是非此即彼的选择。常见的做法是什么呢，就是前期先用 RAGAS 建立基线、快速摸底，到了中后期再基于业务反馈逐步迭代出自研的评估体系。

最后说一句我个人的判断哈。准确率低于95%的知识库，问题往往不在模型的能力上，而在于工程闭环是不是完整的。选型、存储、评估，这三个环节缺一不可。只要把这套体系给补齐了，95%的目标其实并不难达到的。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】