不写一行代码也能测？揭秘AI Agent自动化测试的核心原理
不写一行代码也能测？揭秘AI Agent自动化测试的核心原理
前言
最近在研究AI Agent在自动化测试中的应用，踩了不少坑，也有些心得想记录下来。
我的核心问题是：能不能让AI自己操作App，完成自动化测试？不写脚本、不维护元素定位器，说一句话就让AI去执行测试。
答案是可以的，这篇文章就来聊聊背后的原理。
本文主要讲清楚三件事：
- AI Agent自动化测试是怎么工作的
- 其中最核心的技术——坐标识别与坐标转换
- 这个思路能给我们的自动化测试带来什么启发
整体架构大概是这样：
一、AI Agent自动化测试是什么
先说我的理解：AI Agent本质上是一个"会看图、会思考、能执行"的智能体。
传统自动化测试大家都熟悉：
- 要写代码
- 要找元素定位器（XPath、CSS）
- UI一变，脚本全废
AI Agent的思路完全不同：
- 你说一句话，告诉它要做什么
- 它截一张图，理解当前界面
- 它决定下一步该干什么
- 它执行操作（点击、输入、滑动）
- 它验证结果对不对
整个过程不需要你去写具体的操作代码，它自己会"看"着办。
二、技术架构
整体架构分三层：
┌─────────────────────────────────────┐ │ 用户交互层：自然语言输入测试任务 │ ├─────────────────────────────────────┤ │ AI Agent核心层： │ │ - 意图理解（NLU） │ │ - 界面感知（多模态视觉理解） │ │ - 动作规划（决策下一步） │ │ - 工具调用（执行具体操作） │ ├─────────────────────────────────────┤ │ 执行引擎层：ADB/Tidevice/Airtest │ └─────────────────────────────────────┘核心是中间那层——AI Agent的大脑。
三、核心技术原理
3.1 多模态大模型选型
这块是我觉得最有意思的部分。
openAutoGLM的实现方式：
openAutoGLM底层用的是智谱的autoglm-phone在线API。说白了就是智谱提供了一个接口，你把截图和任务发过去，它返回告诉你该点哪里、该输入什么。
但这里有个更骚的操作：
你也可以自己部署开源本地版的autoglm-phone-9b，跑在自己的机器上。不依赖外部API，响应更快，数据也更安全。
更重要的是：
你可以封装任何支持OpenAI SDK格式的接口，只要是多模态大模型就行——GPT-4V、Claude Vision、GLM-4V，通通可以。
# 封装一个统一的接口，兼容各种多模态模型classMultiModalClient:def__init__(self,model_type='openai'):ifmodel_type=='openai':self.client=OpenAIClient()elifmodel_type=='zhipu':self.client=ZhipuClient()# 智谱APIelifmodel_type=='local':self.client=LocalClient()# 本地部署的autoglm-phone-9b# 统一接口，底层换什么模型都行defanalyze_screen(self,screenshot,task):# 统一的分析接口returnself.client.vision_chat(screenshot,task)这样你就有很大的自由度了——可以用在线API快速验证，也可以本地部署追求稳定性和隐私。
3.2 意图理解
用户输入一段话，AI要理解用户想干什么。
defparse_intent(user_input):"""把自然语言转换成可执行的步骤"""prompt=f""" 用户任务：{user_input}请分解为具体步骤，输出JSON格式： - steps: 执行步骤列表 - verification: 验证点 """re