RAG + Agent 场景下我如何做测试：从意图识别到异常兜底
标签：AI测试 / RAG / Agent / 对话质量 / 风险控制
一、先说误区
很多团队测 AI，只关注“回答像不像人”。
但我在项目里更关注：
- 任务是否完成
- 工具调用是否正确
- 异常是否可兜底
二、测试目标定义
我把目标拆成四层：
- 意图识别准确
- RAG召回相关
- Agent执行可靠
- 对话上下文一致
ASCII 概念图：AI测试四层模型
用户输入|v
[意图识别层] ----> 是否理解用户要做什么|v
[RAG召回层] ----> 是否召回相关知识|v
[Agent执行层] --> 是否正确调用工具|v
[会话管理层] ----> 多轮上下文是否一致|v
最终回复(可完成任务 + 可解释 + 可兜底)
三、数据集设计
我准备四组回归数据：
- 正常任务集（高频场景）
- 对抗任务集（歧义、越权、注入）
- 异常任务集（超时、知识缺失、接口失败）
- 历史缺陷集（防回归）
四、失败案例复盘（真实高频）
案例：用户说“查大于1G文件，并清理微信缓存”，系统只执行后一半。
ASCII 案例图：复合意图失败定位
用户请求：
"查大于1G文件，并清理微信缓存"|v
系统只执行后半句（失败）|v
排查路径：
意图层(多意图拆解?) -> 工具路由(是否覆盖?) -> 参数映射(是否丢失?)|v
修复动作：
- 调整多意图阈值
- 增加复合意图回归样本
- 增加执行前任务确认
五、评估指标（面试重点）
- 意图识别准确率
- 工具调用成功率
- 兜底命中率
- 任务完成率（Task Completion）
项目结果：问答准确率从约 70% 提升到 85%。
ASCII 关系图：指标如何影响业务结果
意图准确率 ----┐
召回相关率 ----┼----> 任务完成率 ----> 用户满意度
工具成功率 ----┤
兜底命中率 ----┘
六、总结
AI测试不是玄学，关键是把“主观体验”转成“可测指标 + 可回归样本”。