能控制手机屏幕的开源agent多模态工具

之前探索了能控制电脑桌面的开源agent工具。

https://blog.csdn.net/liliang199/article/details/156018145

这里进一步探索能控制手机屏幕的开源agent多模态工具。

1 模拟工具

以下是几款可以实现移动端模拟操作的开源工具。

其中，Open-AutoGLM和Airtest功能较为强大和主流，

1.1 Open-AutoGLM

AI驱动，自然语言交互，多模态理解，面向开发者的高级自动化、智能任务助理

基于视觉语言模型理解屏幕，通过ADB执行操作，可解析用户指令并自动规划任务流程

https://github.com/zai-org/Open-AutoGLM

1.2 Airtest

跨平台，基于图像识别，提供IDE，游戏和App的UI自动化测试、简易脚本录制与回放

通过图像匹配定位UI元素，模拟点击、滑动等操作，支持生成测试报告

https://github.com/AirtestProject/Airtest

1.3 mcp-android-emulator

与AI助手（如Claude）深度集成 作为MCP服务器，将ADB操作（截图、点击、输入等）

通过AI助手直接控制安卓设备进行探索或测试，可以封装为AI可调用的工具

https://github.com/Anjos2/mcp-android-emulator

1.4 Mobile-Env

学术研究导向，强化学习平台，主要用于学术研究、开发与评估交互式AI代理

为训练AI代理与移动应用交互而设计，提供标准化的环境和任务集

https://github.com/stefanbschneider/mobile-env

2 选择工具

可以根据主要目的来选择适合的移动端模拟工具，目标是实现高度智能的自动化任务。

如果用自然语言描述复杂操作流程，应优先选择Open-AutoGLM。

如果主要进行UI自动化测试，如回归测试、兼容性测试，Airtest及其图形化IDE会更简单直接。

如果是探索AI模型控制手机，则选mcp-android-emulator，它能通过对话指挥AI助手操作设备。

如果是学术研究、训练AI模型，则选Mobile-Env，它提供了现成的强化学习实验平台。

在Android平台，则需要配置Android Debug Bridge (ADB) 环境，准备安卓真机或模拟器。

reference

---

能控制计算机桌面的多模态AI agent

https://blog.csdn.net/liliang199/article/details/156018145