项目分享|Open-AutoGLM：让AI真正“上手”你的手机
引言
在智能设备普及的今天，如何让手机更“懂”用户需求，实现自动化任务处理，成为提升效率的重要方向。Open-AutoGLM 作为一款基于 AutoGLM 构建的手机端智能助理框架，通过多模态技术与自动化操作的结合，让用户只需用自然语言描述需求（如“打开小红书搜索美食”），即可让手机自动完成一系列操作。无论是日常应用控制还是复杂任务处理，它都为用户带来了全新的交互体验。
项目简介
Open-AutoGLM 核心是 Phone Agent 框架，其核心能力在于“理解屏幕+自动操作”：通过 ADB（Android Debug Bridge）实现对 Android 设备的控制，借助视觉语言模型感知屏幕内容，再结合智能规划能力生成操作流程。
该框架支持 Android 7.0 及以上设备，用户无需手动操作，仅通过自然语言指令即可完成应用启动、搜索、信息填写等任务。同时，它内置敏感操作确认机制，在涉及登录、验证码等场景时可无缝切换至人工接管，兼顾便捷性与安全性。
项目提供两款预训练模型：AutoGLM-Phone-9B针对中文手机应用优化，AutoGLM-Phone-9B-Multilingual支持英语等多语言场景，用户可通过 Hugging Face 或 ModelScope 平台下载使用。
核心优势与创新点
Open-AutoGLM 的差异化优势体现在技术融合与实用设计的结合：
多模态理解能力：融合视觉与语言模型，精准解析屏幕元素（如按钮、输入框）和文本内容，突破传统基于 UI 结构识别的局限，适配更多应用场景。
全流程自动化：从意图解析到操作执行闭环处理，例如“搜索附近火锅店”任务中，框架会自动启动美团、点击搜索框、输入关键词、筛选结果，无需人工干预。
灵活的部署与扩展：支持第三方模型服务（如智谱 BigModel、ModelScope）和本地部署（基于 vLLM 或 SGLang），满足不同用户的算力需求；同时支持 50+ 主流中文应用（微信、淘宝、抖音等），且易于扩展新应用。
远程控制能力：通过 WiFi 或网络实现 ADB 远程调试，无需 USB 连接即可控制设备，提升开发与使用的灵活性。
安全机制保障：针对支付、密码输入等敏感操作设置确认环节，平衡自动化效率与操作安全性。
技术原理与部署指南
技术架构
Open-AutoGLM 核心流程分为三步：
- 屏幕感知：通过 ADB 截取手机屏幕，由视觉语言模型解析界面元素与内容；
- 智能规划：根据用户指令与当前界面信息，生成下一步操作计划（如点击、输入、滑动等）；
- 操作执行：通过 ADB 将指令转化为手机动作，循环执行直至任务完成。
部署步骤
环境准备：
- 安装 Python 3.10+ 及 ADB 工具，并配置环境变量；
- 安卓设备启用“开发者模式”和“USB 调试”，安装 ADB Keyboard 以支持文本输入。
依赖安装：
pipinstall-r requirements.txt pipinstall-e.模型服务启动：
- 第三方服务：直接使用智谱 BigModel 或 ModelScope 提供的 API，配置对应
base-url、model和apikey； - 本地部署：通过 vLLM 或 SGLang 启动模型服务，例如使用 vLLM：
python3 -m vllm.entrypoints.openai.api_server\--served-model-name autoglm-phone-9b\--model zai-org/AutoGLM-Phone-9B\--port8000
- 第三方服务：直接使用智谱 BigModel 或 ModelScope 提供的 API，配置对应
运行与使用：
通过命令行或 Python API 调用，例如：# 命令行执行任务python main.py --base-url http://localhost:8000/v1"打开淘宝搜索无线耳机"
该项目及相关内容已在 AladdinEdu 课题广场同步发布，欢迎前往了解更多技术实现与资源。
项目地址：AladdinEdu 课题广场