当前位置：首页 > news >正文

Open-AutoGLM实战教学：构建个人手机AI助理完整指南

news 2026/3/26 21:38:31

Open-AutoGLM实战教学：构建个人手机AI助理完整指南

1. Open-AutoGLM – 智谱开源的手机端AI Agent框架

你有没有想过，让一个AI助手帮你操作手机？不是简单的语音唤醒或快捷指令，而是真正“看懂”屏幕、理解界面、像人一样点击、滑动、输入，完成复杂任务。现在，这已经不再是科幻。

Open-AutoGLM 是由智谱AI推出的开源项目，基于其自研的视觉语言模型 AutoGLM-Phone，打造了一个可在手机端运行的AI智能助理框架。它不仅能“看见”你的屏幕内容，还能听懂你的自然语言指令，自动规划并执行一系列操作——从打开App、搜索内容，到关注账号、填写表单，全程无需手动干预。

这个系统的核心能力在于多模态感知 + 自主决策 + 自动化执行。它通过ADB（Android Debug Bridge）与设备通信，利用视觉语言模型解析当前屏幕语义，再结合任务规划模块生成操作序列，最终实现“你说一句话，AI帮你跑完全程”的体验。

更关键的是，它是完全开源可部署的。你可以将模型部署在自己的云服务器上，本地电脑作为控制端，连接真机或模拟器，构建属于你自己的私人AI助理。整个过程不依赖任何第三方服务，数据可控、隐私安全。

本文将带你从零开始，一步步搭建这套系统，手把手教你如何让AI真正“接管”你的手机。

2. 核心架构解析：Phone Agent是如何工作的？

2.1 系统组成与工作流程

Phone Agent 并不是一个简单的脚本工具，而是一个完整的AI代理系统，包含以下几个核心组件：

视觉语言模型（VLM）：负责“看图说话”。它接收手机当前屏幕截图，结合用户指令，理解界面元素（如按钮、输入框、标题等），判断哪些区域可交互。
任务规划引擎：根据当前状态和目标，推理出下一步该做什么。比如“要搜索美食，得先找到搜索框”、“登录页面需要验证码，需暂停等待人工输入”。
ADB控制层：实际执行点击、滑动、输入等操作。所有动作都通过ADB发送到设备，确保精准控制。
远程调试支持：支持WiFi连接，无需物理线缆即可远程操控设备，极大提升开发和使用灵活性。
安全机制：对敏感操作（如支付、删除）提供确认提示，并支持在验证码等场景下自动暂停，交由人工处理。

整个流程如下：

用户输入自然语言指令（如：“打开小红书搜美食”）
系统截取当前手机屏幕
视觉模型分析图像，识别界面结构
规划模块结合历史状态和目标，决定下一步动作
ADB执行具体操作（点击、输入、滑动）
循环上述过程，直到任务完成

2.2 为什么选择Open-AutoGLM？

相比其他自动化工具（如Auto.js、Tasker），Open-AutoGLM 的最大优势在于语义理解和泛化能力。

传统脚本需要你精确指定坐标或控件ID，一旦界面变化就失效。而 Open-AutoGLM 是“理解式”操作——它知道“搜索框”长什么样、通常出现在哪里，即使不同App也能识别。这意味着：

不需要为每个App写单独脚本
能应对界面动态变化
支持跨App复杂任务（如：从微信收到链接 → 打开浏览器 → 登录账号 → 提交表单）

同时，它内置了人工接管机制，在遇到验证码、权限弹窗、支付确认等高风险操作时，会自动暂停并通知用户，保障安全性。

3. 硬件与环境准备

3.1 基础要求

要成功部署并运行 Open-AutoGLM，你需要准备以下环境：

组件	要求
控制端	Windows 或 macOS 电脑
Python版本	推荐 Python 3.10+
手机设备	Android 7.0 及以上版本的真实手机或安卓模拟器
ADB工具	必须安装并配置好环境变量
网络环境	电脑与手机在同一局域网（用于WiFi连接）

注意：如果你打算在云端部署模型（推荐做法），还需一台具备GPU的Linux服务器（至少8GB显存），用于运行vLLM服务。

3.2 安装与配置ADB

ADB是连接电脑与安卓设备的关键桥梁。以下是不同系统的配置方法。

Windows 配置步骤

下载 Android SDK Platform Tools 并解压。
按Win + R输入sysdm.cpl，打开“系统属性”。
进入“高级” → “环境变量”。
在“系统变量”中找到Path，点击“编辑”。
添加ADB解压目录路径（例如：C:\platform-tools）。
打开命令提示符，输入：
```
adb version
```
若显示版本号，则说明配置成功。

macOS 配置方法

打开终端，执行以下命令（假设你将platform-tools放在Downloads目录）：

export PATH=${PATH}:~/Downloads/platform-tools

为了永久生效，可以将该行添加到 shell 配置文件中（如.zshrc或.bash_profile）：

echo 'export PATH=${PATH}:~/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc

验证方式同上：

adb version

4. 手机端设置：开启开发者权限

为了让电脑能够控制手机，必须启用开发者选项和USB调试功能。

4.1 开启开发者模式

打开手机“设置”
进入“关于手机”
连续点击“版本号”7次，直到提示“您已进入开发者模式”

4.2 启用USB调试

返回设置主界面，进入“开发者选项”
找到“USB调试”，勾选开启
当首次连接电脑时，手机会弹出授权提示，请点击“允许”

4.3 安装ADB Keyboard（关键步骤）

由于系统需要自动输入文字（如搜索关键词），但大多数输入法无法通过ADB直接控制，因此必须安装专用输入法。

下载 ADB Keyboard APK（GitHub开源项目）
安装后，在“语言与输入法”设置中，将其设为默认输入法

这样，AI就能通过ADB命令向输入框发送文本，实现全自动打字。

5. 部署控制端代码（Open-AutoGLM）

现在我们来部署本地控制程序。

5.1 克隆项目仓库

打开终端或命令行工具，执行：

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM

5.2 安装依赖库

建议使用虚拟环境以避免依赖冲突：

python -m venv venv source venv/bin/activate # Linux/macOS # 或 venv\Scripts\activate # Windows

安装所需依赖：

pip install -r requirements.txt pip install -e .

-e .表示以可编辑模式安装，便于后续修改源码。

6. 连接设备：USB与WiFi两种方式

6.1 USB连接（推荐初学者使用）

使用数据线将手机连接电脑
手机弹出“允许USB调试”对话框时，点击“允许”
在终端运行：
```
adb devices
```
输出应类似：
```
List of devices attached 1234567890ABCDEF device
```
出现设备ID且状态为device，表示连接成功。

6.2 WiFi远程连接（适合长期使用）

若想摆脱数据线束缚，可通过WiFi连接设备。

第一步：使用USB启动TCP模式

先用USB连接，然后执行：

adb tcpip 5555

此命令会让设备监听5555端口的TCP连接。

第二步：断开USB，通过IP连接

确保手机与电脑在同一WiFi下，获取手机IP地址（可在设置→WLAN中查看），然后执行：

adb connect 192.168.x.x:5555

再次运行adb devices，应能看到设备以IP形式列出。

提示：部分路由器可能限制设备间通信，若连接失败请检查网络设置。

7. 启动AI代理：下达第一条指令

一切准备就绪，现在让我们启动AI，让它接管手机。

7.1 命令行方式运行

确保你的云服务器上已部署好vLLM服务，并映射了端口（如8800）。然后在本地执行：

python main.py \ --device-id 1234567890ABCDEF \ --base-url http://123.45.67.89:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

--device-id：通过adb devices获取的设备ID
--base-url：替换为你的云服务器公网IP和端口号
--model：指定模型名称（需与服务端一致）
最后的字符串：你要下达的自然语言指令

执行后，你会看到AI开始自动操作手机：

解锁屏幕（如有锁屏）
打开抖音App
点击搜索栏
输入指定抖音号
进入主页
点击“关注”按钮

整个过程无需人工干预，AI会根据屏幕反馈动态调整策略。

7.2 使用Python API进行远程控制

除了命令行，你还可以在自己的Python脚本中集成该功能。

from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 在USB设备上启用TCP/IP success, message = conn.enable_tcpip(5555) if success: ip = conn.get_device_ip() print(f"设备 IP: {ip}") else: print(f"启用TCP/IP失败: {message}") # 断开连接 conn.disconnect("192.168.1.100:5555")

这段代码展示了如何通过编程方式管理设备连接，适用于批量控制或多设备调度场景。

8. 常见问题排查与优化建议

8.1 连接类问题

问题现象	可能原因	解决方案
`adb devices`无输出	驱动未安装 / USB调试未开启	重新开启开发者选项，更换数据线
显示`unauthorized`	未授权电脑调试	手机端确认授权弹窗
`connect failed: Connection refused`	防火墙阻止 / 端口未开放	检查云服务器安全组规则，放行对应端口
WiFi连接不稳定	路由器限制 / 信号弱	改用USB连接，或重启ADB服务

8.2 模型与执行问题

问题现象	可能原因	建议
模型响应慢或超时	显存不足 / 请求队列积压	检查vLLM启动参数，增加`--gpu-memory-utilization`
操作错误（点错位置）	屏幕分辨率适配问题	确保模型训练时包含相似分辨率样本
文字输入乱码	ADB Keyboard未设为默认输入法	重新设置并重启ADB
任务卡住不继续	页面加载慢 / 网络延迟	增加等待时间阈值，或手动干预后恢复