8G显存也能跑35B？RTX3070本地部署Qwen3.6-35B-A3B多模态大模型完整教程

本文详细介绍了如何通过llama.cpp、GGUF量化、CPU Offload和MoE优化等技术，在RTX3070 8G显存配置下本地部署Qwen3.6-35B-A3B多模态大模型。内容涵盖了模型下载、mmproj配置、启动脚本编写、参数解释以及常见报错解决，适合AI小白学习和实践。通过这些技术，即使显存资源有限，也能在普通电脑上体验35B级别大模型的强大功能。

估计很多人看到这个标题，第一反应都是：不可能吧？

35B 大模型，不是必须 24G、48G，甚至 80G 显存才能跑吗？一张 RTX 3070 8G 显卡，怎么可能跑得动 35B 级别的大模型？

但这次确实有点意思。通过 llama.cpp + GGUF 量化 + CPU Offload + MoE 优化，再搭配足够大的系统内存，8G 显存也可以把 Qwen3.6-35B-A3B 多模态大模型跑起来。

**先说清楚：**8G 显存能跑，不代表满血跑。它不是把整个 35B 模型全部塞进显卡，而是让 GPU、CPU、内存一起分工。

简单理解就是：

显卡负责最适合 GPU 的计算部分；CPU 和内存承担一部分模型权重和 MoE 专家层；GGUF 量化负责降低模型体积；llama.cpp 负责把这些东西调度起来；mmproj 负责让模型具备图片理解能力。

这篇文章就用最小白的方式，完整讲一下：

Qwen3.6-35B-A3B 是什么；为什么 8G 显存也能跑 35B；需要什么硬件配置；llama.cpp 怎么安装；GGUF 模型怎么放；mmproj 是什么；启动脚本怎么写；常见报错怎么解决。

一、这次跑的是什么模型？

这次测试的是：

Qwen3.6-35B-A3B

很多小白看到这个名字会有点懵，我们拆开看一下。

如果你只想知道一句话：

Qwen3.6-35B-A3B 是一个 35B 级别的多模态大模型，但它不是每次都把 35B 参数全部激活。

这点非常关键。因为它属于 MoE 架构，也就是 Mixture of Experts，中文一般叫混合专家模型。

你可以把它理解成一个大公司：公司里有很多专家，总规模很大；但每次处理任务，不是所有专家都上场，系统只会挑一部分相关专家来干活。

所以虽然它总参数量很大，但每次真正参与推理的参数相对更少。这也是为什么它可以通过特殊部署方式，在低显存设备上跑起来。

图：Qwen3.6-35B-A3B 实测截图

二、为什么 8G 显存也能跑 35B？

正常情况下，35B 模型对显存要求非常高。如果是传统 Dense 稠密模型，每次推理时大部分参数都要参与计算，那 8G 显存基本没戏。

但 Qwen3.6-35B-A3B 比较特殊，它是 MoE 架构。

1. MoE 架构降低了每次推理的实际压力

MoE 的核心逻辑是：

总参数很多，但每次只激活一部分专家。

这就像一个医院有很多科室，但你感冒了不会让所有医生都给你看病，只会调用相关科室。

所以 Qwen3.6-35B-A3B 虽然是 35B 级别，但每次实际激活规模并没有完整 35B 那么恐怖。

2. GGUF 量化降低了模型体积

原始大模型通常非常大，普通电脑很难加载。GGUF 量化可以把模型压缩成更适合本地推理的格式。

这次用的是：

Qwen3.6-35B-A3B-UD-Q4_K_M.gguf

其中 Q4_K_M 表示一种 4bit 量化方式。它的好处是：模型文件更小；显存和内存压力更低；速度相对更好；回答质量还能接受。

3. CPU Offload 把一部分压力转移到内存

这次能跑起来的关键，不是 8G 显存真的装下整个 35B，而是通过 llama.cpp 的 CPU Offload，让一部分模型权重和 MoE 计算放到 CPU / 内存侧。

GPU 负责注意力层 RAM 负责专家层 CPU 参与调度和部分计算

这就是低显存跑大模型的核心思路。

4. llama.cpp 对本地推理支持很好

llama.cpp 是现在本地跑 GGUF 模型非常常用的推理框架。它支持 CPU 推理、NVIDIA GPU、AMD GPU、Intel GPU、GGUF 模型、多模态 mmproj、Web UI、各种量化缓存，以及 GPU / CPU 混合推理。

所以这次我们不用复杂的 Docker，也不用自己搭一堆 Python 环境，直接用 llama.cpp 就可以跑。

三、测试硬件配置

本次测试配置如下：

这里最重要的不是 CPU，而是两点：

8G 显存 + 64G 内存

很多人只看显存，忽略了系统内存。但这种 CPU Offload 方案非常依赖内存。如果你只有 16GB 内存，基本不推荐尝试；如果你有 32GB 内存，可以试，但可能比较吃紧；如果你有 64GB 内存，会稳很多。

图：RTX3070 8G + 64G 内存测试环境

推荐配置

不推荐配置

一句话：8G 显存能跑，但最好有 64GB 内存配合。

四、先搞懂几个关键文件

1. llama-server.exe

这是 llama.cpp 里的服务端程序。我们后面就是用它启动本地网页 UI。

启动后，浏览器访问：

http://127.0.0.1:8080

就可以像网页版 ChatGPT 一样使用本地模型。

2. Qwen3.6-35B-A3B-UD-Q4_K_M.gguf

这是主模型文件，负责聊天、推理、理解文本。

Qwen3.6-35B-A3B-UD-Q4_K_M.gguf

3. mmproj-BF16.gguf

这是多模态视觉投影文件。如果你只聊天，可以暂时不管它；但如果你想上传图片，让模型识图，就必须要有它。

没有 mmproj，常见问题是：图片按钮灰色；图片无法上传；上传后模型不理解图片；Vision 功能不工作。

mmproj-BF16.gguf

4. 启动.bat

这是 Windows 一键启动脚本。我们把所有运行参数写进 bat 文件里，以后只要双击它，就能启动模型。

五、整体部署流程

第一步：下载 llama.cpp CUDA 版 第二步：下载 Qwen3.6-35B-A3B GGUF 模型 第三步：下载 mmproj-BF16.gguf 第四步：整理模型目录 第五步：创建启动.bat 脚本 第六步：双击启动并访问网页 UI

看起来很多，其实操作并不复杂。小白只要照着目录放文件，再复制启动脚本即可。

六、第一步：下载 llama.cpp

Windows 用户建议直接下载 llama.cpp 的 CUDA 预编译版本。下载后解压到一个固定目录，比如：

D:\AI\llama.cpp

解压后目录里一般会有这些文件：

llama-server.exe llama-cli.exe llama-bench.exe ggml-cuda.dll 其他 dll 文件

其中最重要的是：

llama-server.exe

后面我们会用它启动本地网页服务。

**注意：**一定要下载 CUDA 版，不要下载纯 CPU 版。如果你下载错了纯 CPU 版，也能运行，但速度会慢很多。

llama.cpp 最新版支持 N 卡、A 卡、I 卡，也支持纯 CPU，同时也可以在 Windows、Mac、Linux 系统上运行。

图：llama.cpp 下载与运行环境

七、第二步：下载 Qwen3.6-35B-A3B GGUF 模型

需要下载的主模型文件是：

Qwen3.6-35B-A3B-UD-Q4_K_M.gguf

建议选择 Q4_K_M 版本，原因是它比较均衡。

8G 显存用户建议优先选 Q4_K_M。如果你机器内存更大，也可以尝试更高量化；如果你跑不起来，可以考虑更低量化。

八、第三步：下载 mmproj-BF16.gguf

如果你要使用图片理解能力，还需要下载：

mmproj-BF16.gguf

这个文件非常重要。很多人明明模型启动成功了，但图片上传按钮是灰色，就是因为没有配置 mmproj。

Qwen3.6 多模态模型必须搭配 mmproj，否则可能出现：图片上传按钮灰色、无法识图、Vision 不工作。

建议把主模型和 mmproj 放在同一个 models 文件夹里。

九、第四步：整理目录结构

推荐目录如下：

D:\AI\llama.cpp\ ├── llama-server.exe ├── llama-cli.exe ├── 启动.bat └── models\ ├── Qwen3.6-35B-A3B-UD-Q4_K_M.gguf └── mmproj-BF16.gguf

重点检查：llama-server.exe 在 llama.cpp 主目录；models 文件夹在 llama.cpp 目录下；主模型放在 models 文件夹里；mmproj-BF16.gguf 也放在 models 文件夹里；文件名必须和脚本里完全一致。

文件名只要多一个空格、少一个字符，都可能导致启动失败。

十、第五步：创建一键启动脚本

在 llama.cpp 目录下新建一个文件：

启动.bat

然后复制下面内容进去。

**注意：**第一行路径要改成你自己的 llama.cpp 路径。

@echo off chcp 65001 >nul cd /d D:\AI\llama.cpp llama-server.exe ^ -m "models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" ^ --mmproj "models\mmproj-BF16.gguf" ^ -ngl 99 ^ --n-cpu-moe 999 ^ --flash-attn on ^ --jinja ^ -c 32768 ^ -t 12 ^ -b 512 ^ -ub 128 ^ --cache-type-k q4_0 ^ --cache-type-v q4_0 ^ --mlock ^ --host 127.0.0.1 ^ --port 8080 pause

如果你的 llama.cpp 路径是：

C:\Users\你的用户名\Desktop\llama.cpp

那就把这一行：

cd /d D:\AI\llama.cpp

改成：

cd /d C:\Users\你的用户名\Desktop\llama.cpp

如果你的模型文件名不同，也要同步修改主模型路径和 mmproj 路径。

图：启动 bat 脚本运行截图

十一、启动参数解释

1. -m

-m "models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf"

指定主模型文件，也就是 Qwen3.6-35B-A3B 的 GGUF 模型。

2. --mmproj

--mmproj "models\mmproj-BF16.gguf"

指定多模态视觉投影文件。如果你想上传图片，就必须配置它。

3. -ngl 99

-ngl 99

尽可能把模型层交给 GPU 处理。但不是所有内容都会进入显存，因为后面还有 CPU MoE 参数。

4. --n-cpu-moe 999

--n-cpu-moe 999

这是低显存运行 MoE 模型的关键参数。它的作用是让 MoE 专家层更多放在 CPU / 内存侧，从而降低显存压力。这也是 8G 显存能跑起来的重要原因之一。

5. --flash-attn on

--flash-attn on

开启 Flash Attention，作用是优化注意力计算，降低资源占用，提高推理效率。

6. --jinja

--jinja

启用聊天模板。很多新模型都需要正确的模板才能更稳定地对话。

7. -c 32768

-c 32768

设置上下文长度为 32768。上下文越长，模型能记住的内容越多，但也越吃内存和显存。

如果你启动失败或者爆显存，可以改成：

-c 8192

或者：

-c 16384

8. -t 12

-t 12

设置 CPU 线程数。如果你的 CPU 是 12 核或类似配置，可以用 12；如果 CPU 核心更少，可以改小。

9. -b 512

-b 512

设置 batch 参数。这个参数影响推理时的处理批量，低显存机器不建议设置太大。

10. -ub 128

-ub 128

设置 ubatch。这个值小一点更适合低显存机器。

11. --cache-type-k q4_0

--cache-type-k q4_0

设置 K Cache 量化格式，可以降低长上下文缓存占用。

12. --cache-type-v q4_0

--cache-type-v q4_0

设置 V Cache 量化格式，同样是为了降低资源占用。

13. --mlock

--mlock

尽量锁定内存，避免模型数据被系统频繁换出。如果你内存不够，可能不适合开这个参数。

14. --host 127.0.0.1

--host 127.0.0.1

只允许本机访问，更安全。

15. --port 8080

--port 8080

设置网页 UI 端口。启动后访问：

http://127.0.0.1:8080

十二、第六步：启动模型

准备好以后，直接双击：

启动.bat

第一次启动会加载模型。模型比较大，所以等待时间可能会比较长。

如果窗口没有报错，并且最后显示服务启动成功，就可以打开浏览器访问：

http://127.0.0.1:8080

进入页面后，就可以和模型聊天了。如果配置了 mmproj，也可以测试图片理解。

图：浏览器访问 127.0.0.1:8080 本地使用

十三、8G 显存推荐参数

如果你也是 8G 显存，建议先不要追求超长上下文。

如果你第一次启动失败，可以先把：

-c 32768

改成：

-c 8192

等确认能跑起来，再改成：

-c 16384

最后再尝试：

-c 32768

小白记住一句话：先跑通，再优化。

十四、常见问题解决

1. 双击启动.bat 一闪而过

大概率是路径错了。检查这一行：

cd /d D:\AI\llama.cpp

必须改成你自己的 llama.cpp 文件夹路径。比如：

cd /d C:\Users\你的用户名\Desktop\llama.cpp

另外，建议在 bat 最后保留：

pause

这样报错时窗口不会自动关闭。

2. 提示找不到 llama-server.exe

说明你的 bat 文件不在 llama.cpp 目录，或者路径写错了。

检查 llama-server.exe 是否真的存在于当前目录。

D:\AI\llama.cpp\llama-server.exe D:\AI\llama.cpp\启动.bat

3. 提示找不到模型文件

检查模型路径：

-m "models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf"

再检查文件是否真的在：

D:\AI\llama.cpp\models\

还要注意文件名是否完全一致。文件名不一致就会报错。

4. 图片上传按钮是灰色

大概率是 mmproj 没有加载成功。

检查这一行：

--mmproj "models\mmproj-BF16.gguf"

确认文件存在：

D:\AI\llama.cpp\models\mmproj-BF16.gguf

如果没有 mmproj，多模态识图功能就无法正常使用。

5. CUDA out of memory

这就是显存爆了。

8G 显存最容易爆的就是上下文，所以优先改：

-c 32768

改成：

-c 8192

6. 加载速度很慢

正常。35B 模型即使量化后也很大。加载速度主要取决于 SSD 速度、内存大小、CPU 性能、模型文件大小和 llama.cpp 后端。

如果你把模型放在机械硬盘上，会非常慢，建议放 SSD。

7. 回答速度不快

这个也正常。8G 显存跑 35B，本来就是低配挑战。

它的意义不是秒回，而是普通消费级电脑也能本地体验 35B 级别模型。

如果你想要更快速度，需要更大显存、更高性能 CPU、更快内存、更合适的量化版本和更短上下文。

十五、适合用来做什么？

Qwen3.6-35B-A3B 本地跑起来后，可以用来做很多事情。

如果你只是个人使用，这个方案已经很有意思。如果你想做正式服务，还是建议用更高配置显卡或者云端推理。

十六、小白最推荐的操作顺序

第一次部署，不要一上来就追求最强参数。按这个顺序来：

1. 先下载 llama.cpp CUDA 版 2. 下载 Q4_K_M 主模型 3. 下载 mmproj-BF16.gguf 4. 按教程整理目录 5. 创建启动.bat 6. 先设置 -c 8192 7. 确认能正常启动 8. 打开 http://127.0.0.1:8080 9. 测试普通聊天 10. 再测试图片理解 11. 最后慢慢提高上下文

不要一开始就用：

-c 32768

建议先从：

-c 8192

开始。能跑起来以后，再慢慢加。

十七、适合 8G 显存的精简版启动脚本

如果你的 8G 显存跑完整参数不稳定，可以先用这个保守版。

@echo off chcp 65001 >nul cd /d D:\AI\llama.cpp llama-server.exe ^ -m "models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" ^ --mmproj "models\mmproj-BF16.gguf" ^ -ngl 99 ^ --n-cpu-moe 999 ^ --flash-attn on ^ --jinja ^ -c 8192 ^ -t 12 ^ -b 256 ^ -ub 64 ^ --cache-type-k q4_0 ^ --cache-type-v q4_0 ^ --host 127.0.0.1 ^ --port 8080 pause

这个版本更适合先跑通。跑通后，再把 -c 8192 改成 -c 16384。如果还稳定，再尝试 -c 32768。

十八、完整目录检查表

部署完成后，建议你按照这个检查。

D:\AI\llama.cpp\ ├── llama-server.exe ├── llama-cli.exe ├── 启动.bat └── models\ ├── Qwen3.6-35B-A3B-UD-Q4_K_M.gguf └── mmproj-BF16.gguf

如果你的目录和这个不一样，也没关系，但 bat 里的路径必须和你的真实路径对应。

十九、最终总结

这次 RTX 3070 8G 显存跑 Qwen3.6-35B-A3B，真正让人惊讶的不是：

8G 显存装下了完整 35B

而是：

通过 MoE 架构、GGUF 量化、CPU Offload、KV Cache 量化和 llama.cpp 优化，让低显存显卡也能参与 35B 级别模型推理。

所以一定要理解清楚：

8G 显存可以跑，但不是满血跑；64GB 内存更稳；Q4_K_M 更适合低配；mmproj 是多模态必须文件；上下文越长越吃资源；小白先跑通，再优化。

如果你手里有 RTX 3070 8G、RTX 4060 8G、RTX 3060 8G，又有 32GB 或 64GB 内存，那么这个方案确实值得试一下。

一句话总结：35B 不再一定是高端显卡专属。只要模型架构合适、量化格式合适、推理框架合适，8G 显存也能摸到本地大模型部署的门槛。

说真的，这两年看着身边一个个搞Java、C++、前端、数据、架构的开始卷大模型，挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis，稳稳当当过日子。

结果GPT、DeepSeek火了之后，整条线上的人都开始有点慌了，大家都在想：“我是不是要学大模型，不然这饭碗还能保多久？”

我先给出最直接的答案：一定要把现有的技术和大模型结合起来，而不是抛弃你们现有技术！掌握AI能力的Java工程师比纯Java岗要吃香的多。

即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地！大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇！

这绝非空谈。数据说话

2025年的最后一个月，脉脉高聘发布了《2025年度人才迁徙报告》，披露了2025年前10个月的招聘市场现状。

AI领域的人才需求呈现出极为迫切的“井喷”态势

2025年前10个月，新发AI岗位量同比增长543%，9月单月同比增幅超11倍。同时，在薪资方面，AI领域也显著领先。其中，月薪排名前20的高薪岗位平均月薪均超过6万元，而这些席位大部分被AI研发岗占据。

与此相对应，市场为AI人才支付了显著的溢价：算法工程师中，专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%；产品经理岗位中，AI方向的产品经理薪资也领先约20%。

当你意识到“技术+AI”是个人突围的最佳路径时，整个就业市场的数据也印证了同一个事实：AI大模型正成为高薪机会的最大源头。

最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包【允许白嫖】：

• ✅从入门到精通的全套视频教程
• ✅AI大模型学习路线图（0基础到项目实战仅需90天）
• ✅大模型书籍与技术文档PDF
• ✅各大厂大模型面试题目详解
• ✅640套AI大模型报告合集
• ✅大模型入门实战训练

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（0基础到项目实战仅需90天）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤640套AI大模型报告合集

⑥大模型入门实战训练

👉获取方式：
有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓