当前位置： 首页 > news >正文

Open-AutoGLM手机自动化实战：搜索+关注一键完成

news 2026/3/27 7:00:41

Open-AutoGLM手机自动化实战：搜索+关注一键完成

你有没有想过，只需一句话就能让AI帮你操作手机？比如：“打开小红书搜美食博主并关注”，然后你的手机就自动执行了整个流程——打开App、输入关键词、点击搜索、进入主页、完成关注。听起来像科幻？现在它已经能实现了。

这背后的核心技术就是Open-AutoGLM—— 智谱开源的手机端AI Agent框架。它不是简单的脚本工具，而是一个真正理解屏幕内容、能“看”会“动”的智能体。通过视觉语言模型 + ADB控制 + 自然语言指令解析，它可以像人一样使用手机，完成复杂任务。

本文将带你从零开始，实操一次完整的自动化流程：在抖音中搜索指定账号并自动关注。全程无需手动点击，只要一句话，剩下的交给AI。

1. 什么是 Open-AutoGLM？

Open-AutoGLM 是基于 AutoGLM 构建的手机智能助理框架，核心能力是：

  • 多模态感知：通过截图理解当前手机界面（文字、按钮、布局）
  • 自然语言驱动：用户用口语化指令描述需求
  • 自动规划与执行：AI自行决定下一步操作（点击、滑动、输入等）
  • ADB 控制设备：无需Root，通过标准调试接口操控真实手机或模拟器

它的最大亮点在于“意图到动作”的端到端自动化。你不需要写代码、设坐标、录脚本，只需要说：“帮我找一个卖咖啡的博主并关注”。

而且系统还内置安全机制：

  • 敏感操作（如支付）会暂停并提示确认
  • 遇到验证码或登录弹窗可交由人工处理
  • 支持远程WiFi连接，实现无USB线的远程控制

2. 准备工作：环境搭建与设备连接

要让 Open-AutoGLM 正常运行，需要三部分协同工作：

  1. 云端模型服务（已部署好）
  2. 本地控制端（我们正在配置）
  3. 安卓设备（真机或模拟器）

本文假设你已有一台云服务器上运行的 vLLM 服务，并暴露了/v1接口。我们将重点放在本地控制端和手机的配置。

2.1 硬件与软件要求

项目要求
操作系统Windows / macOS
Python 版本3.10+
安卓设备Android 7.0+
工具依赖ADB（Android Debug Bridge）

提示：推荐使用 macOS 或 Linux，Windows 对 ADB 的兼容性偶尔会出现问题。

2.2 安装 ADB 工具

ADB 是连接电脑与安卓设备的关键桥梁。

Windows 用户：
  1. 下载 Android SDK Platform Tools
  2. 解压后复制文件夹路径（例如C:\platform-tools）
  3. 添加到系统环境变量 PATH 中：
    • Win + R→ 输入sysdm.cpl
    • “高级” → “环境变量” → 在“系统变量”中找到Path→ 编辑 → 新增路径
  4. 打开命令行，输入：
adb version

如果返回版本号，则安装成功。

macOS 用户：

在终端执行：

export PATH=${PATH}:~/Downloads/platform-tools

建议将此命令加入.zshrc或.bash_profile实现永久生效。

3. 手机端设置：开启调试权限

为了让电脑能控制手机，必须开启开发者选项和USB调试。

3.1 开启开发者模式

  1. 进入手机“设置”
  2. 找到“关于手机”
  3. 连续点击“版本号”7次，直到提示“您已开启开发者模式”

3.2 启用 USB 调试

  1. 返回设置主菜单，进入“开发者选项”
  2. 找到“USB调试”，勾选启用
  3. 当手机通过USB连接电脑时，可能会弹出“允许USB调试？”对话框，请点击“允许”

3.3 安装 ADB Keyboard（关键！）

这是实现文本输入的核心组件。

  1. 下载 ADB Keyboard APK 并安装
  2. 进入“语言与输入法”设置
  3. 将默认输入法切换为ADB Keyboard

作用：后续所有搜索框、用户名输入都将通过 ADB 发送文本，无需手动打字。

4. 部署本地控制端：Open-AutoGLM

接下来我们在本地电脑部署 Open-AutoGLM 的控制代码。

4.1 克隆仓库并安装依赖

# 克隆项目 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 创建虚拟环境（推荐） python -m venv venv source venv/bin/activate # macOS/Linux # 或 venv\Scripts\activate.bat （Windows） # 安装依赖 pip install -r requirements.txt pip install -e .

注意：某些包可能因平台差异安装失败，建议使用 Python 3.10 以获得最佳兼容性。

5. 连接设备：USB 或 WiFi

有两种方式连接手机：USB 和 WiFi。前者稳定，后者灵活。

5.1 USB 连接（推荐新手）

  1. 使用数据线连接手机与电脑
  2. 手机弹出“允许USB调试？”时点击“允许”
  3. 终端运行：
adb devices

输出应类似：

List of devices attached ABCDEF1234567890 device

只要有device标志，说明连接成功。

5.2 WiFi 远程连接（适合长期使用）

如果你不想一直插线，可以用WiFi连接。

第一步：先用USB连接，启动TCP模式
adb tcpip 5555
第二步：断开USB，通过IP连接
adb connect 192.168.x.x:5555

其中192.168.x.x是你手机的局域网IP（可在设置→WLAN中查看）

再次运行adb devices，应该能看到设备出现在列表中。

6. 实战演示：一句话完成抖音搜索+关注

现在一切准备就绪，让我们来执行一次真实任务：

“打开抖音搜索抖音号为 dycwo11nt61d 的博主并关注他！”

这个指令包含多个步骤：

  1. 打开抖音 App
  2. 点击顶部搜索框
  3. 输入抖音号dycwo11nt61d
  4. 触发搜索
  5. 进入用户主页
  6. 点击“关注”按钮

这些都不需要你做任何事，全部由 AI 自动完成。

6.1 启动命令行代理

在 Open-AutoGLM 目录下运行：

python main.py \ --device-id ABCDEF1234567890 \ --base-url http://<你的云服务器IP>:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

  • --device-id：来自adb devices的设备ID
  • --base-url：你的云服务器地址和端口（确保防火墙放行）
  • --model：模型名称，目前固定为autoglm-phone-9b
  • 最后的字符串：自然语言指令

6.2 执行过程观察

运行后你会看到类似日志输出：

[INFO] 截图获取成功 [INFO] 屏幕内容识别：桌面，图标包括抖音、微信、浏览器... [INFO] 动作规划：点击抖音图标 [INFO] 执行点击 (x=540, y=800) [INFO] 检测到搜索框，准备输入 [INFO] 通过 ADB Keyboard 输入文本：dycwo11nt61d [INFO] 触发回车键进行搜索 [INFO] 找到用户卡片，点击进入主页 [INFO] 检测到“关注”按钮，执行点击 [SUCCESS] 任务完成！

整个过程大约持续 15~30 秒，取决于网络和设备响应速度。

7. Python API 方式调用（进阶用法）

除了命令行，你也可以在自己的项目中集成 Open-AutoGLM 的能力。

from phone_agent.adb import ADBConnection from phone_agent.agent import PhoneAgent # 初始化连接 conn = ADBConnection() success, msg = conn.connect("192.168.1.100:5555") if not success: print(f"连接失败：{msg}") exit() # 创建 AI 代理 agent = PhoneAgent( base_url="http://your-server-ip:8800/v1", model_name="autoglm-phone-9b" ) # 下达指令 instruction = "打开小红书，搜索‘城市露营’相关笔记" result = agent.run(instruction) print("任务状态：", result.status) print("执行日志：", result.log)

这种方式非常适合嵌入到自动化测试、营销机器人、客服助手等场景中。

8. 常见问题与排查建议

即使配置正确，也可能遇到一些常见问题。以下是高频故障及解决方案：

8.1 ADB 连接失败

现象：adb devices显示unauthorized或无设备

解决方法：

  • 确保手机开启了“USB调试”
  • 拔插USB线，重新授权
  • 清除授权记录：adb kill-server && adb start-server

8.2 模型无响应或乱码

现象：AI一直卡住，或输出看不懂的文字

检查点：

  • 确认云服务器上的 vLLM 服务正常运行
  • 检查max-model-len是否足够（建议 ≥ 8192）
  • 显存是否充足（至少 24GB for 9B 模型）
  • 请求头是否正确（Content-Type: application/json）

8.3 输入中文失败

原因：ADB Keyboard 未设为默认输入法

解决：

  • 进入“语言与输入法”设置
  • 将 ADB Keyboard 设为首选输入法
  • 可尝试重启手机后再试

8.4 WiFi 连接不稳定

建议：

  • 使用 5GHz WiFi 网络
  • 手机与路由器距离不要太远
  • 若频繁掉线，改用 USB 连接更可靠

9. 应用场景拓展：不止于抖音关注

虽然我们以“抖音关注”为例，但 Open-AutoGLM 的潜力远不止于此。以下是一些实用场景：

场景指令示例
电商比价“打开京东和淘宝，查iPhone 15的价格”
内容采集“在小红书搜索‘北京周末去哪玩’，保存前10条笔记标题”
社交运营“批量关注微博上‘科技’话题下的活跃用户”
自动打卡“每天上午9点打开企业微信打卡”
测试自动化“在App内完成注册流程，填写测试信息”

更重要的是，这些任务都可以通过自然语言定义，无需编写复杂的UI自动化脚本。

10. 总结：让AI成为你的手机管家

Open-AutoGLM 正在重新定义“自动化”的边界。它不再是程序员专属的 Selenium 或 Appium，而是普通人也能使用的“语音遥控器”。

通过本文的实战，你应该已经掌握了：

  • 如何配置 ADB 与手机连接
  • 如何部署 Open-AutoGLM 控制端
  • 如何用一句话完成复杂手机操作
  • 如何排查常见问题
  • 如何将其集成到自己的项目中

未来，这类 AI Agent 会越来越多地出现在我们的生活中：帮你回消息、订餐厅、刷短视频、管理社交媒体……真正的“数字分身”正在到来。

而现在，你已经迈出了第一步。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

http://www.jsqmd.com/news/287933/

相关文章：

  • Java，异常处理 - 教程
  • Paraformer-large语音识别标准化：输出格式统一实战
  • 运动会综合管理系统|基于springboot + vue运动会综合管理系统(源码+数据库+文档)
  • Qwen All-in-One如何实现零显存开销？技术原理解析
  • FSMN VAD高级参数展开技巧：webUI操作细节图解
  • Sambert语音自然度提升：自回归GPT合成参数详解
  • 完整教程：Django中的clean()方法和full_clean()方法
  • 一键启动FSMN-VAD，开箱即用的语音检测工具
  • 输出文件在哪？/root/cv_fft_inpainting_lama目录结构说明
  • AI绘画2025趋势实战：Z-Image-Turbo开源模型+Gradio快速上线指南
  • 黄金一直上涨，猜测跟霉国债务挂钩
  • 2024年AI开发者入门必看：Llama3-8B开源模型部署全流程
  • Qwen3-Embedding-4B省算力方案：动态维度输出实战案例
  • 如何为不同需求选装修公司？2026年上海装修公司全面评测与推荐，直击增项与工艺痛点
  • rc5.d目录作用揭秘，搭配测试脚本更好懂
  • 微信联系作者，技术支持就在身边
  • 新消费品牌如何布局AI搜索？2026年GEO优化推荐与评价，直击场景化营销痛点
  • AB实验的关键认知（六）分流单元与分析单元
  • AB实验的关键认知（五）综合评估标准 OEC
  • 2026年热门的垂直式压缩垃圾站/压缩垃圾站设备行业热度TOP榜
  • Llama3-8B科研辅助应用：论文润色系统部署实战教程
  • 2026年GEO公司招商加盟推荐：基于多场景实测评价，解决信息过载与信任构建痛点
  • YOLOv9推理只需一条命令，官方镜像真香
  • AutoGLM-Phone支持哪些设备？Android 7.0+适配部署指南
  • unet person image cartoon compound常见问题避坑指南：转换失败解决方案
  • 2026年AI搜索优化服务市场深度解析：五大服务商甄选策略与实效案例洞察
  • Qwen3-Embedding-4B分布式部署：多GPU负载均衡实践
  • Z-Image-Turbo提示词不生效？argparse参数绑定避坑部署教程
  • IQuest-Coder-V1成本优化方案：小团队也能用的40B模型部署法
  • Qwen3-Embedding-0.6B部署进阶：自定义指令增强特定任务效果