30天学会AI工程师｜Day 21：做完 RAG 之后，真正值得学的是怎么判断它到底有没有变好

你先知道一件事

很多人学技术容易停在“我做出来了”。但 AI 工程里，一个系统能跑和一个系统有效，差别很大。

为什么这一步重要

你要开始问一些更像工程师的问题。

加了资料之后，回答是不是更准确了，还是只是更长了。

模型有没有真的引用到你给的资料，还是表面看起来相关，实际上仍然在自由发挥。

如果资料本身有歧义，回答是不是也会跟着偏。

当问题稍微换一种问法，效果还能不能保持。

这一步很关键，因为很多初学者会误把“有变化”当成“有提升”。事实上，RAG 之后回答更长、更像那么回事，不等于它真的更可靠。

常见误区

昨天你做了最小 RAG 实验，今天最该做的，不是继续堆功能，而是停下来分析效果。

今天要做的 3 件事

• 所以今天最好做一点最基本的对比分析。哪怕只挑三到五个问题，也能帮助你建立评估直觉。
• 你可以从三个维度去看。
• 第一，事实是否更贴近资料。
• 第二，回答是否更具体，而不是空泛复述。
• 第三，有没有引入新的错误。
• 这其实是在训练一种非常宝贵的能力：不要只看模型说得顺不顺，而要看它说得对不对、值不值得信。
• 从长期看，AI 工程师和普通使用者的一大区别，就在这里。后者看到“能答”就觉得厉害，前者会继续追问“答得准吗，稳定吗，可复现吗”。

今天的最低产出

• 写一份简单分析，说明你的最小 RAG 在哪些情况下有效，哪些情况下还不可靠。

一句提醒

这份判断会比你多装一个框架更有价值，因为它让你开始具备最基本的效果意识。