AI时代测试方向AI for Testing和Testing for AI
测试目前有两个方向:AI for Testing(用AI测试)和Testing for AI(测AI产品)
AI测试学习地图
一、AI for Testing
以下是AI for Testing框架,AI驱动的全链路自动化测试流水线
Skill技能:稳定的流程写成说明书加规则库加脚本库,打包给AI,让AI能反复并稳定的执行
专家Agent:角色卡+工具库+工作流程规范,包含:AGENT.md、SOUL.md、USER.md、skills等
多Agent协同:如果一个Agent什么都干,容易顾此失彼,执行层由子Agent执行,一是为了保持主Agent上下文干净,二是避免上下文太长,大模型注意力分散
workflow:Agent灵活但是不稳定,不可控,所以测试流程需要workflow工作流,通过预定义的一条代码路径来编排模型和工具的系统,AI只负责在每个节点上面干活,不能自己去改路线。
AI x 测试全流程:AI渗漏到测试中的每个环节,比如AI生成测试用例接口自动化,UI自动化,造数,根因分析,如果只是让每个环节都用上AI,肯定是不够用的,我们需要做到AI测试的工程化,所有我们不能只依赖codex,openclaw这类的通用agent通过skill完成零散的任务,我们需要直接调用AI模型,结合公司的技术栈,自主的去设计和开发测试Agent,在代码里要自己调度任务,对过程数据进行处理落库,确保每一次的执行都可追踪可回溯,最后把这个Agent作为测试质量的节点接入到流水线中,成为发布管控的一环,最终要实现端到端的AI测试,让QA从大量重复的工作里面释放出来,把精力放在风险判断、质量标准和关键结果确认上面。
二、Testing for AI
第一部分是借助AI完成测试任务,广义的AI测试还包含,用AI测试生成内容,叫做AI评测,
AI评测与传统软件测试区别:
传统的软件测试通常由相对明确的预期结果,可以通过断言判断对错,但是生成式AI具有概率性,同样的输入可能得到不同的答案,很多任务是没有唯一标准答案的,整套测试方案发生平易
| 传统测试 | AI测评 |
| 测试用例 | 评测数据集 |
| 断言 | 评分器Grader |
| 通过/失败 | 分数与通过率 |
| 执行一轮 | 采样N次看评测统计结果 |
| 回归测试 | 重跑测试集 |
