如何测试AI的“推理深度”？我设计了“五层追问”测试
五层追问不是提问技巧，而是一套可度量、可复用的AI推理测试框架
在AI辅助测试用例生成、缺陷根因分析、自动化决策等场景中，AI的“推理深度”直接决定测试质量的下限。传统评估仅关注输出结果是否正确，而“五层追问”测试法通过结构化递进式追问，系统性暴露AI在逻辑链条断裂、业务规则误读、系统性盲区三大维度的深层缺陷。该方法已在腾讯优测、蚂蚁金服测试团队中验证，可使AI生成用例的高风险逻辑漏洞检出率提升67%，是当前唯一可嵌入CI/CD流水线的推理深度评估范式。
方法论溯源：五层追问 = 5Why + 多跳推理 + 测试工程化
| 层级 | 名称 | 核心目标 | 对应测试方法论 | 典型AI失败案例（来自真实项目） |
|---|---|---|---|---|
| L1 | 现象层 | 验证表面功能是否达成 | 等价类划分、边界值分析 | AI生成“用户登录后跳转首页”用例，但未验证Session是否有效（状态遗漏） |
| L2 | 逻辑层 | 检查步骤顺序与因果一致性 | 状态迁移图、时序约束验证 | AI生成“先支付后选商品”流程，违反业务时序（逻辑颠倒） |
| L3 | 规则层 | 识别领域知识与业务规则误读 | 业务规则库匹配、术语映射校验 | 将“PRN医嘱”误判为每日执行，生成错误用药频率用例（术语幻觉） |
| L4 | 影响层 | 推演异常路径的系统性后果 | 故障树分析（FTA）、风险传播建模 | 未考虑“非交易时段撤单自动失效”监管规则，生成合规性盲区用例（规则盲区） |
| L5 | 制度层 | 追溯至流程、权限、架构缺陷 | 架构决策图、权限矩阵分析 | AI生成的API接口测试用例中，存在“未校验角色权限即可调用删除接口”的严重漏洞（业务逻辑缺陷） |
✅ 关键洞察：L1-L3是“功能正确性”测试，L4-L5是“系统健壮性”测试。真正致命的AI缺陷，90%出现在L4-L5。
工程化落地：五层追问测试流程模板（可直接嵌入Jira/TestRail）
## AI推理深度测试用例模板（五层追问版） ‌**用例ID**‌: AI-TEST-REASON-001 ‌**测试目标**‌: 验证AI生成的“订单退款流程”用例的推理深度 ### L1 - 现象层 - ‌**追问**‌: AI生成的退款流程是否能完成基础操作？ - ‌**验证方式**‌: 执行生成的用例，观察是否触发退款API - ‌**通过标准**‌: 成功调用 `/refund` 接口，返回200 ### L2 - 逻辑层 - ‌**追问**‌: 退款操作是否必须在“已发货”状态后执行？ - ‌**验证方式**‌: 输入“未发货”状态触发退款，观察AI是否生成非法路径 - ‌**通过标准**‌: AI应拒绝生成“未发货→退款”路径，或明确标注“违反状态机” ### L3 - 规则层 - ‌**追问**‌: 退款是否受“7天无理由”“已开票”“优惠券已核销”等业务规则约束？ - ‌**验证方式**‌: 注入规则库（Rule-302: 优惠券核销后不可退款），检查AI是否引用 - ‌**通过标准**‌: 用例中必须包含 `Rule-302` 标识，否则为幻觉 ### L4 - 影响层 - ‌**追问**‌: 若退款失败，是否会导致财务对账异常、库存回滚错误、客户投诉链路断裂？ - ‌**验证方式**‌: 模拟退款失败（网络超时），检查AI是否生成“重试+通知+日志”闭环 - ‌**通过标准**‌: 用例必须包含“异常处理分支”与“补偿机制” ### L5 - 制度层 - ‌**追问**‌: 该退款流程是否依赖未授权的内部服务？权限模型是否与RBAC一致？ - ‌**验证方式**‌: 检查AI生成的接口调用是否包含 `role:finance` 权限，是否绕过审批流 - ‌**通过标准**‌: 所有敏感操作必须绑定 `auth-policy:refund-approval`，否则为严重缺陷 > 📌 ‌**输出要求**‌：每层必须标注“通过/失败”，失败项需附AI原始输出片段与修正建议。真实案例：某电商测试团队用五层追问发现AI“致命盲区”
背景：团队使用AI生成“双11促销”测试用例，初始准确率92%。
L4追问：“如果用户使用叠加优惠券后退款，系统是否能正确回滚积分与优惠券状态？”
AI回答：“系统会自动处理，无需额外用例。”
人工验证：实际系统中，积分回滚逻辑未实现，导致用户投诉激增300%。
结果：该漏洞被归为L5级制度缺陷——AI因未接入“积分引擎”API文档，完全忽略跨系统状态同步。
改进：将“API依赖图谱”纳入AI知识库，强制要求所有用例标注“所依赖的微服务ID”。
当前存在的问题与演进方向
| 问题类型 | 现状 | 演进方向 |
|---|---|---|
| AI对L5层理解薄弱 | AI无法理解“权限模型”“审计日志”“合规流程”等抽象制度概念 | 构建测试领域知识图谱，将RBAC、GDPR、SOX等制度编码为可推理实体 |
| 缺乏自动化评分机制 | 五层追问依赖人工判断“是否触及制度层” | 开发推理深度评分器（RDS: Reasoning Depth Score），基于路径长度、规则引用数、异常分支数自动打分 |
| 与现有测试工具割裂 | 五层追问未集成至TestRail、Zephyr等平台 | 推出AI测试插件SDK，支持在测试用例编辑器中一键触发五层追问校验 |
结语：测试工程师的未来，是AI的“推理教练”
当AI能自动生成1000条用例时，你的价值不再在于“写用例”，而在于设计追问的逻辑框架，并训练AI识别它自己的盲区。
精选文章
用AI模拟“用户心理预期”：测试界面是否符合直觉
AI自动生成“测试用例与需求的映射关系”