当前位置: 首页 > news >正文

在Windows上部署AutoGLM-Phone-9B纯本地( Ollama + GGUF 量化模型)【未完成】

logo
Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架,它能够以多模态方式理解手机屏幕内容,并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备,以视觉语言模型进行屏幕感知,再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求,如“打开小红书搜索美食”,Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管。同时,它提供远程 ADB 调试能力,可通过 WiFi 或网络连接设备,实现灵活的远程控制与开发。
官方文档给出模型部署方案是vLLM或SGLang,但是vLLM框架原生不支持Windows系统,SGLang部署过麻烦于是有了使用 Ollama + GGUF 量化模型

环境:
操作系统: Windows 11
Python: 3.10+(官方硬性要求!)
GPU: NVIDIA 显卡(推荐 12GB+ 显存,8GB显存理论上也可行使用更低数据量和精度的模型)[如何查看显存请跳到4.1.1]
Android 设备: Android 7.0+,已启用 USB 调试
ollama 任意版本(理论上任意版本都行为减少不必要的蛮烦尽量更新到最新版本)
1.配置Python 环境
建议使用 Python 3.10 及以上版本
1.检查是否有部署过
1.1键盘同时按下win和r键会弹出!
屏幕截图 2025-12-14 091032
1.2输入cmd回车(键盘上的enter)
屏幕截图 2025-12-14 091215
1.3在这里面输入python回车
若出现下图,则表示已安装过python其中Python 3.14.2是你的版本若低于3.10则需要重新安装
屏幕截图 2025-12-14 091352
若出现
'python' 不是内部或外部命令,也不是可运行的程序或批处理文件。
则表明未安装python
1.2.1安装python
浏览器访问https://www.python.org/downloads/windows/
屏幕截图 2025-12-14 092201
找到Download Windows installer (64-bit)点击下载即可
屏幕截图 2025-12-14 092209
运行下载的程序
Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架,它能够以多模态方式理解手机屏幕内容,并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备,以视觉语言模型进行屏幕感知,再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求,如“打开小红书搜索美食”,Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管。同时,它提供远程 ADB 调试能力,可通过 WiFi 或网络连接设备,实现灵活的远程控制与开发。
官方文档给出模型部署方案是vLLM或SGLang,但是vLLM框架原生不支持Windows系统,SGLang部署过麻烦于是有了使用 Ollama + GGUF 量化模型

环境:
操作系统: Windows 11
Python: 3.10+(官方硬性要求!)
GPU: NVIDIA 显卡(推荐 12GB+ 显存,8GB显存理论上也可行使用更低数据量和精度的模型)
[注:笔记本需切换到独显模式安装好显卡驱动并且连接电源启用高性能模式,若不会请咨询卖电脑的客服]
Android 设备: Android 7.0+,已启用 USB 调试
ollama 任意版本(理论上任意版本都行为减少不必要的蛮烦尽量更新到最新版本)

1.配置Python 环境
建议使用 Python 3.10 及以上版本
1.检查是否有部署过
1.1C
屏幕截图 2025-12-14 091215
1.3在这里面输入python回车
若出现下图,则表示已安装过python其中Python 3.14.2是你的版本若低于3.10则需要重新安装
屏幕截图 2025-12-14 091352
若出现
'python' 不是内部或外部命令,也不是可运行的程序或批处理文件。
则表明未安装python
1.2.1安装python
浏览器访问https://www.python.org/downloads/windows/
屏幕截图 2025-12-14 092201
找到Download Windows installer (64-bit)点击下载即可
屏幕截图 2025-12-14 092209
运行下载的程序,选择第一个
屏幕截图 2025-12-14 092424
检查与图中是否一致,确保和图中勾选的一致,然后点击next
屏幕截图 2025-12-14 092431
检查与图中是否一致,确保和图中勾选的一致,然后点击next
屏幕截图 2025-12-14 092437
检查与图中是否一致,确保和图中勾选的一致,然后点击next
稍作等待,若出现如下则安装成功
屏幕截图 2025-12-14 094054

2.配置ollama
浏览器访问https://ollama.com/download
屏幕截图 2025-12-14 094311
点击这个按钮
屏幕截图 2025-12-14 094320
运行下载的程序
屏幕截图 2025-12-14 094425
选择install,然后等待读条
屏幕截图 2025-12-14 094503
成功后会弹出
屏幕截图 2025-12-14 095217
到这里ollama部署完成

3.从GitHub下载源代码
浏览器访问https://github.com/zai-org/Open-AutoGLM
屏幕截图 2025-12-14 095905
选择绿色的按钮
屏幕截图 2025-12-14 095944
选择download zip
屏幕截图 2025-12-14 095930
解压放置到桌面
屏幕截图 2025-12-14 100515

4.下载模型
浏览器访问https://hf-mirror.com/mradermacher/AutoGLM-Phone-9B-GGUF
屏幕截图 2025-12-14 100659
4.1选择模型
引用deepseek的回答(以下提到的大小指的是显存,若不知道显存请看4.1.2)
8GB及以下 | 1B ~ 7B 参数 | 适合入门级推理或小模型实验。例如,7B模型基础需约14GB显存,通常需借助量化技术(如INT8/INT4)降低需求后运行。
12GB | 7B ~ 13B 参数 | 运行7B模型比较从容,是个人开发者常见的起步配置。运行13B模型(约需26GB)通常必须使用量化(如INT8)。
24GB | 13B ~ 34B 参数 | 消费级旗舰卡(如RTX 4090)常见容量。可原生运行13B模型,运行20B-34B模型通常需要量化或降低批次大小.
48GB及以上 | 70B+ 参数 | 专业级显卡领域(如A100/H100)。运行70B模型(约需140GB显存)通常需要借助张量并行技术将模型拆分到多张显卡上
(按大小排序,不一定按质量。智商量化者通常比体型相近的非智商量化者更受青睐)
类型 大小 注释
Q2_K 4.1
Q3_K_S 4.7
Q3_K_M 5.1 质量较低
Q3_K_L 5.3
IQ4_XS 5.4
Q4_K_S 5.9 快速,推荐
Q4_K_M 6.3 快速,推荐
Q5_K_S 6.8
Q5_K_M 7.2
Q6_K 8.4 质量非常好
Q8_0 10.1 快速,最优质
F16 18.9 16 bpw,过量
4.1.1确认显存
键盘同时按下win和r键会弹出!
屏幕截图 2025-12-14 091032
输入taskmgr回车(键盘上的enter)
屏幕截图 2025-12-14 102503
打开任务管理器
屏幕截图 2025-12-14 102552
选择性能
屏幕截图 2025-12-14 102605
选择GPU
[笔记本会有两个GPU,一个是集成到CPU里面的GPU一般标注为GPU1另一个是独立显卡一般标注为GPU0]
找到专用GPU内存
屏幕截图 2025-12-14 102821
这个给即为显存,AutoGLM-Phone-9B为9B模型理论上仅需要8GB显存但是实测12GB显存都会被吃满
4.2下载模型

http://www.jsqmd.com/news/86968/

相关文章:

  • Gearboy模拟器终极指南:在电脑上重温经典Game Boy游戏
  • Qdrant混合搜索终极指南:突破语义与关键词的搜索壁垒
  • 22、Free Haven系统:原理、机制与安全防护
  • 如何让本地视频拥有B站弹幕效果?BiliLocal完整使用教程
  • WebGPU硬件加速终极解决方案:告别浏览器AI运行失败
  • 颠覆性边缘翻译革命:3.5亿参数实现英日互译的终极突破
  • LMMS音乐制作完全指南:从入门到精通的免费创作平台
  • 30、Publius系统的信任与安全问题解析
  • 36、对等网络中微支付与声誉系统的应用与分析
  • 揭秘JuiceFS符号链接魔法:三步掌握跨平台数据同步核心技巧
  • Granite Docling 258M:突破性文档智能处理技术深度解析
  • 云原生监控实战:5分钟构建高可用可观测性平台
  • 一劳永逸的Yuedu书源数据备份全攻略
  • MATLAB 2008B完整安装指南:从下载到配置的终极教程
  • 本地部署Wan2.2全攻略:从零基础到专业级视频生成实战
  • 效率提升18倍成本直降90%:SeedVR重构视频修复行业标准
  • 智能交互系统终极指南:一张图片+音频打造动态数字内容
  • Serverless Offline Docker网络全攻略:从零搭建多服务通信环境
  • 密码暴力破解中的密码安全相关知识
  • 路径规划地图表示实战选型:从场景需求到算法落地
  • 3、深入解析Linux内存寻址与分页机制
  • Armbian系统ALSA音频配置终极指南:从静音到完美音效的完整解决方案
  • 4、Linux进程管理:从基础概念到实现细节
  • Overleaf插件开发实战指南:10分钟搭建你的第一个自定义功能
  • Qwen3-VL-30B-A3B-Instruct-FP8:阿里多模态大模型重构企业AI应用范式
  • Balabolka(文本转语音工具)
  • Wipe Pro(专业数据擦除软件)
  • 微信视频号下载工具(支持直播回放、直播流)
  • 摄影全流程体验跃升!Lightroom Classic 2025 功能更新亮相下载安装步骤
  • Redis-10