Windows电脑也能玩转AI大模型！6G显存就能本地部署，免费无限用！
本文介绍了如何在Windows电脑上部署Qwen3.6-35B-A3B大模型，使其支持看图、充当AI Agent，且无需联网、无token限制。文章详细阐述了模型选择、量化版本下载、环境配置及启动步骤，并指导读者接入Hermes Agent实现本地AI应用。特别指出MoE模型架构的创新优势，使其在低显存条件下仍能保持高性能。
读完这篇，你能做到一件事。
在你的 Windows 电脑上跑一个支持看图、能当 AI Agent 用的本地大模型。6G 显存就够。不花钱。不联网。没有 token 限制。
先看完成后的样子
浏览器打开localhost:8080。能聊天。能上传图片让它分析。能接入 Hermes Agent 当本地 AI 助手。
完全本地运行。数据不出你的电脑。
为什么是这个模型
Qwen3.6-35B-A3B 是阿里通义千问 2026 年 4 月发布的 MoE 模型。Apache 2.0 协议。完全开源。
35B 总参数。但每次推理只激活 3B。
这意味着：它拥有 35B 模型的知识容量，但只消耗 3B 模型的算力。SWE-bench Verified 得分 73.4%，超过了全部激活 31B 参数的 Gemma 4-31B（52.0%）。
想了想，这就像一个公司有 35 个专家，但每个问题只派 3 个最合适的人去处理。效率极高。
在 Artificial Analysis 排行榜上，它在 40B 以内开源模型中属于第一梯队。中文理解、代码能力、多模态视觉、推理能力都很强。
前提条件
- Windows 10/11（64 位）
- 至少 6GB 显存（8GB 更舒服）
- 至少 16GB 内存（32GB 更舒服）
- 磁盘剩余 25GB 以上
- 有 NVIDIA / AMD / Intel 独显更好，没有也能跑（纯 CPU 会慢）
阶段一：下载 llama.cpp
第一步：选对的包
打开 llama.cpp Releases[1]，找最新版本。
根据你的显卡选：
| 显卡 | 下载哪个 |
|---|---|
| NVIDIA RTX 30/40 系列 | llama-b9326-bin-win-cuda-12.4-x64.zip |
| AMD RX 系列 | llama-b9326-bin-win-hip-radeon-x64.zip |
| Intel Arc | llama-b9326-bin-win-vulkan-x64.zip |
| 没有独显 | llama-b9326-bin-win-cpu-x64.zip |
NVIDIA 用户还要下：cudart-llama-bin-win-cuda-12.4-x64.zip。
第二步：解压到纯英文路径
解压到D:\llama.cpp\。路径有中文会报错。
CUDA 用户把 DLL 包也解压到同一目录。
新建一个models文件夹：
D:\llama.cpp\├── llama-server.exe├── models\ ← 放模型的地方└── ...验证：文件夹里有llama-server.exe就对了。
阶段二：下载模型
第三步：选量化版本
去 HuggingFace 搜索Qwen3.6-35B-A3B GGUF，推荐从 bartowski[2] 或 unsloth[3] 的仓库下载量化版。
| 你的显存 | 推荐量化 | 文件大小 | 内存要求 | 说明 |
|---|---|---|---|---|
| 24GB（4090） | Q4_K_M | ~21GB | 16GB+ | 模型全在 GPU，速度最快（~130 tok/s） |
| 12-16GB | IQ4_XS | ~19GB | 32GB+ | 部分层走内存 |
| 8GB | Q3_K_M | ~16GB | 32GB+ | 大部分走内存，Reddit 实测 8G 显存 + 32G 内存可跑 |
| 6GB | IQ2_M | ~11GB | 16GB+ | 几乎全走内存，速度较慢 |
想要多模态看图能力，还要下对应的mmproj投影文件（约 1.3GB）。没有这个文件，上传图片按钮会灰掉。
全部放进D:\llama.cpp\models\目录。
验证：models文件夹里有.gguf文件。
阶段三：启动
第四步：一行命令跑起来
在D:\llama.cpp\目录打开 PowerShell（Shift + 右键空白处）。
纯文本对话（不需要看图）：
.\llama-server.exe -m "models\Qwen3.6-35B-A3B-Q4_K_M.gguf" -ngl 999 -c 32768 -n 8192 --jinja --port 8080多模态（支持看图）：
.\llama-server.exe -m "models\Qwen3.6-35B-A3B-Q4_K_M.gguf" --mmproj "models\mmproj-Qwen3.6-35B-A3B-f16.gguf" -ngl 999 -c 32768 -n 8192 --jinja --port 80806G 显存用户（用 IQ2_M，缩小 context）：
.\llama-server.exe -m "models\Qwen3.6-35B-A3B-IQ2_M.gguf" -ngl 999 -c 8192 -n 4096 --jinja --port 8080参数说明：
--mmproj：多模态投影文件。加了才能看图-ngl 999：尽量把模型塞进显存。放不下的自动走内存-c：上下文长度。显存小就设小一点--jinja：Qwen3.6 必须加。不加会出现回复异常、无限重复
看到这行输出就成功了：
main: server is listening on http://127.0.0.1:8080浏览器打开 http://localhost:8080。能聊天。能上传图片。
第五步：用一键启动脚本（可选）
每次敲命令太烦。新建启动模型.cmd，粘贴以下内容：
@echo offchcp 65001 >nulcd /d "%~dp0"echo ==========================================echo Qwen3.6-35B-A3B 本地大模型echo ==========================================echo.echo [1] Q4_K_M（24G 显存推荐）echo [2] IQ4_NL（8-12G 显存）echo [3] IQ2_M（6G 显存）echo.set /p choice=请输入数字：if "%choice%"=="1" set "MODEL=Qwen3.6-35B-A3B-Q4_K_M.gguf"& set "CTX=-c 32768 -n 8192"if "%choice%"=="2" set "MODEL=Qwen3.6-35B-A3B-IQ4_NL.gguf"& set "CTX=-c 32768 -n 8192"if "%choice%"=="3" set "MODEL=Qwen3.6-35B-A3B-IQ2_M.gguf"& set "CTX=-c 8192 -n 4096"llama-server.exe -m "models\%MODEL%" -ngl 999 %CTX% --jinja --host 127.0.0.1 --port 8080pause放在D:\llama.cpp\目录。双击选数字就能启动。
阶段四：接入 Hermes Agent
第六步：安装 Hermes Agent
pipx install hermes-agent第七步：配置连接本地模型
hermes model选Custom endpoint：
- Base URL：
http://127.0.0.1:8080/v1 - API Key：随便填一个数字或留空
- Model：留空即可
验证：输入hermes，发一条消息。agent 正常回复，同时 llama-server 窗口有请求日志。
现在你有了一个完全本地的 AI Agent。能调用工具。能执行代码。能分析图片。没有 token 消耗。数据完全私有。
完整流程一览
第一次做的建议
- 先用 IQ2_M 或 IQ4_NL 跑通流程。确认能聊天再换更大的量化版本
- 第一次启动会慢几秒。模型要加载进显存。看到端口输出就好了
- 先在浏览器里测试。确认没问题再接 Hermes Agent
--jinja参数别忘。Qwen3.6 没有它会出各种奇怪问题
容易踩的坑
- 路径有中文。llama.cpp 放在中文目录下会报错。换纯英文路径
- 没加
--jinja。回复异常、格式错乱、无限重复。加上就好 - 没下 mmproj 文件。上传图片按钮灰色不可点。必须下载多模态投影文件
- CUDA 版缺 DLL。启动时报找不到 .dll。把 cudart DLL 包解压到同一目录
- 6G 显存设了太大的 context。
-c 131072在 6G 显存上会爆。改成-c 8192 - 模型文件只有几十字节。HuggingFace 返回了 401/404。用
curl.exe -I URL验证链接是否有效
MoE 为什么能这么省显存
传统模型：35B 参数全部参与每次推理。需要 70GB+ 显存。
MoE 模型：35B 参数分成 256 个专家组。每个 token 只路由到 9 个专家。实际激活约 3B 参数。
所以 Qwen3.6-35B-A3B 量化后只需要 6-20GB 显存。跑起来的速度接近 3B 模型。但输出质量接近 35B 模型。
这不是偷工减料。这是架构创新。
后来发现：MoE 对本地部署特别友好。因为你不需要为那些「没被激活的专家」付出推理成本。你只为实际干活的 3B 参数买单。
本地 AI 能做什么
跑起来之后，你的电脑就是一个完整的 AI 基础设施：
- 当 ChatGPT 用。浏览器打开 localhost:8080 就能聊
- 当 Vision AI 用。上传图片让它分析截图、翻译菜单、OCR 提取文字
- 当 OpenAI API 用。任何支持 OpenAI SDK 的工具，把 base_url 改成
http://localhost:8080/v1就能接入 - 当 AI Agent 用。接入 Hermes Agent，自动执行任务、调用工具、写代码
- 当本地知识库用。喂入你的文档，完全私有，数据不出本机
一台电脑。零月费。无限 token。
说真的，这两年看着身边一个个搞Java、C++、前端、数据、架构的开始卷大模型，挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis，稳稳当当过日子。
结果GPT、DeepSeek火了之后，整条线上的人都开始有点慌了，大家都在想：“我是不是要学大模型，不然这饭碗还能保多久？”
我先给出最直接的答案：一定要把现有的技术和大模型结合起来，而不是抛弃你们现有技术！掌握AI能力的Java工程师比纯Java岗要吃香的多。
即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地！大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇！
这绝非空谈。数据说话
2025年的最后一个月，脉脉高聘发布了《2025年度人才迁徙报告》，披露了2025年前10个月的招聘市场现状。
AI领域的人才需求呈现出极为迫切的“井喷”态势
2025年前10个月，新发AI岗位量同比增长543%，9月单月同比增幅超11倍。同时，在薪资方面，AI领域也显著领先。其中，月薪排名前20的高薪岗位平均月薪均超过6万元，而这些席位大部分被AI研发岗占据。
与此相对应，市场为AI人才支付了显著的溢价：算法工程师中，专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%；产品经理岗位中，AI方向的产品经理薪资也领先约20%。
当你意识到“技术+AI”是个人突围的最佳路径时，整个就业市场的数据也印证了同一个事实：AI大模型正成为高薪机会的最大源头。
最后
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包【允许白嫖】：
- ✅从入门到精通的全套视频教程
- ✅AI大模型学习路线图（0基础到项目实战仅需90天）
- ✅大模型书籍与技术文档PDF
- ✅各大厂大模型面试题目详解
- ✅640套AI大模型报告合集
- ✅大模型入门实战训练
这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
①从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（0基础到项目实战仅需90天）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤640套AI大模型报告合集
⑥大模型入门实战训练
👉获取方式：
有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓