Open-AutoGLM连接与测试：从ADB配置到AI指令执行的完整流程

Open-AutoGLM连接与测试：从ADB配置到AI指令执行的完整流程

1. 环境准备与ADB配置

1.1 硬件与环境要求

• 操作系统：Windows 10/11 或 macOS 10.15+
• Python环境：Python 3.10 或更高版本
• 安卓设备：Android 7.0+ 手机或模拟器
• ADB工具：Android Debug Bridge 最新版本

1.2 ADB安装与配置

Windows系统配置步骤：

1. 下载ADB工具包并解压
2. 配置环境变量：
   • 右键"此电脑" → 属性 → 高级系统设置 → 环境变量
   • 在系统变量中找到Path → 编辑 → 新建 → 添加ADB工具所在路径
3. 验证安装：

   adb version

macOS系统配置步骤：

# 假设ADB工具解压到~/Downloads/platform-tools目录 echo 'export PATH=$PATH:~/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc

2. 手机端设置

2.1 开发者选项开启

1. 进入手机设置 → 关于手机
2. 连续点击"版本号"7次，直到提示"您已处于开发者模式"
3. 返回设置主界面，进入新出现的"开发者选项"

2.2 USB调试配置

1. 在开发者选项中启用"USB调试"
2. 启用"USB安装"（如需要安装应用）
3. 启用"USB调试（安全设置）"

2.3 安装ADB键盘

1. 下载ADB Keyboard APK并安装
2. 进入设置 → 系统 → 语言和输入法
3. 将ADB Keyboard设为默认输入法

3. 部署Open-AutoGLM控制端

3.1 获取项目代码

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM

3.2 安装Python依赖

pip install -r requirements.txt pip install -e .

4. 设备连接方式

4.1 USB直连方式

1. 使用USB线连接手机和电脑
2. 在手机上允许USB调试请求
3. 验证连接：

   adb devices

   应显示设备ID和"device"状态

4.2 WiFi无线连接方式

# 首次需要通过USB连接配置 adb tcpip 5555 # 断开USB后通过IP连接 adb connect 192.168.x.x:5555

5. 启动AI代理服务

5.1 命令行运行方式

python main.py \ --device-id <设备ID或IP> \ --base-url http://<服务器IP>:<端口>/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索用户dycwo11nt61d并关注"

5.2 Python API调用方式

from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出所有设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}")

6. 常见问题排查

6.1 连接问题

• ADB设备未列出：检查USB调试是否开启，尝试重新插拔USB线
• WiFi连接不稳定：确保设备和电脑在同一网络，防火墙未阻止端口5555

6.2 执行问题

• 操作未执行：检查ADB Keyboard是否设为默认输入法
• 模型无响应：验证base-url是否正确，服务是否正常运行

6.3 性能优化

• 响应慢：确保网络连接稳定，可尝试降低模型参数
• 操作失败：增加步骤间延迟时间，确保界面完全加载

7. 实际应用案例

7.1 电商自动化

python main.py \ --device-id <设备ID> \ --base-url <服务地址> \ --model "autoglm-phone-9b" \ "打开淘宝搜索iPhone 15，按销量排序，加入购物车第一件商品"

7.2 社交媒体管理

python main.py \ --device-id <设备ID> \ --base-url <服务地址> \ --model "autoglm-phone-9b" \ "打开微信，给张三发送消息：'会议改到明天下午3点'"

7.3 生活服务

python main.py \ --device-id <设备ID> \ --base-url <服务地址> \ --model "autoglm-phone-9b" \ "打开美团外卖，订一份宫保鸡丁，使用上次的收货地址和支付方式"

8. 总结与进阶

8.1 核心优势

• 自然语言交互：用户无需了解具体操作步骤
• 多模态理解：模型能同时理解屏幕内容和用户指令
• 自动化执行：完整流程自动完成，无需人工干预

8.2 安全机制

• 敏感操作确认：涉及支付等操作会要求用户确认
• 人工接管：遇到验证码等复杂场景可切换为手动操作

8.3 进阶使用建议

• 结合定时任务实现自动化流程
• 开发自定义插件扩展功能
• 优化提示词提高任务成功率

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。