【OpenClaw】 8GB 显卡本地大模型部署指南

8GB 显卡本地大模型部署指南

本文档整理自实际问答，针对 8GB 显存环境下的本地大模型部署方案进行对比分析。

一、硬件环境

• 显卡显存: 8GB
• 典型显卡: RTX 3070 / RTX 4060 / GTX 1080 Ti
• 部署平台: Ollama

二、模型选型对比

2.1 适合 8GB 显存的模型

2.2 代码能力基准测试

2.3 模型特点对比

三、部署方案

3.1 安装 Ollama

Linux/macOS:

# 官方安装脚本curl-fsSLhttps://ollama.com/install.sh|sh# 或手动下载# https://github.com/ollama/ollama/releases

Windows:

# 下载安装包# https://ollama.com/download/windows

3.2 下载模型

# 下载代码专用模型ollama pull qwen2.5-coder:7b# 下载推理模型ollama pull deepseek-r1:7b# 下载轻量模型ollama pull gemma2:2b

批量下载脚本:

#!/bin/bashmodels=("qwen2.5-coder:7b""deepseek-r1:7b""gemma2:2b")formodelin"${models[@]}";doecho"Pulling$model..."ollama pull"$model"done

3.3 断点续传

Ollama 支持自动断点续传：

# 如果下载中断，直接再次执行相同命令即可继续ollama pull qwen2.5-coder:7b

四、多模型并发运行

4.1 同时运行多个模型

# 终端 1ollama run qwen2.5-coder:7b# 终端 2ollama run gemma2:2b

4.2 调整并发参数

# 设置最大同时加载模型数exportOLLAMA_MAX_LOADED_MODELS=2# 设置模型保持时间（默认 5 分钟）exportOLLAMA_KEEP_ALIVE=10m# 启动服务ollama serve

4.3 8GB 显卡推荐配置

方案 A：单模型运行

运行：Qwen2.5-Coder:7b 或 DeepSeek-R1:7b 显存：~4.5GB 剩余：~3.5GB（用于其他应用）

方案 B：双模型组合

主力：Qwen2.5-Coder:7b (4.5GB) - 代码主力 辅助：Gemma2:2b (1.5GB) - 快速简单任务 总计：~6GB 剩余：~2GB

4.4 查看运行状态

# 查看当前加载的模型ollamaps# 输出示例NAME ID SIZE PROCESSOR UNTIL qwen2.5-coder:7b abc1234.5GB100% GPU4minutes from now

五、API 服务配置

5.1 Ollama 原生 API

Ollama 默认监听http://localhost:11434：

# 生成文本curlhttp://localhost:11434/api/generate-d'{ "model": "qwen2.5-coder:7b", "prompt": "Write a Python function to sort a list" }'# Chat APIcurlhttp://localhost:11434/api/chat-d'{ "model": "qwen2.5-coder:7b", "messages": [ {"role": "user", "content": "Hello"} ] }'

5.2 添加 API Key 认证

Ollama 本身不支持 API Key，需要通过反向代理添加认证。

方案 1：Nginx 反向代理

# /etc/nginx/sites-available/ollama server { listen 80; server_name your-domain.com; location / { auth_request /auth; proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } location = /auth { internal; if ($http_authorization != "Bearer YOUR_API_KEY") { return 401; } return 200; } }

方案 2：LiteLLM Gateway

# 安装pipinstalllitellm# 配置文件 config.yamlmodel_list: - model_name:"qwen"litellm_params: model:"ollama/qwen2.5-coder:7b"api_base:"http://localhost:11434"general_settings: master_key:"sk-your-api-key-here"# 启动litellm--configconfig.yaml--port4000

使用方式：

curlhttp://localhost:4000/v1/chat/completions\-H"Authorization: Bearer sk-your-api-key-here"\-H"Content-Type: application/json"\-d'{"model": "qwen", "messages": [{"role": "user", "content": "hello"}]}'

方案 3：Open-WebUI（推荐）

dockerrun-d-p3000:8080\-eOLLAMA_BASE_URL=http://host.docker.internal:11434\-vopen-webui:/app/backend/data\--nameopen-webui\ghcr.io/open-webui/open-webui:main

访问http://localhost:3000，自带用户认证系统。

六、使用场景推荐

6.1 场景与模型匹配

6.2 实测案例对比

案例 1：生成 REST API 代码

• Qwen2.5-Coder:7b ✅ 更快、更准确
• DeepSeek-R1:7b ✅ 会思考但稍慢
• Gemma2:2b ⚠️ 简单场景可用

案例 2：调试并发死锁问题

• Qwen2.5-Coder:7b ⚠️ 可能遗漏边界情况
• DeepSeek-R1:7b ✅ 深度分析，找到根因
• Gemma2:2b ❌ 无法处理

案例 3：快速排序实现

• Qwen2.5-Coder:7b ✅ 正确，有注释，2.3s
• DeepSeek-R1:7b ✅ 正确，有分析，5.1s
• Gemma2:2b ✅ 正确，简洁，0.8s

七、最佳实践

7.1 模型切换策略

# 日常开发：使用代码专用模型ollama run qwen2.5-coder:7b# 遇到复杂问题：切换到推理模型ollama run deepseek-r1:7b# 简单快速任务：使用轻量模型ollama run gemma2:2b

7.2 显存优化

# 使用更高量化减少显存ollama pull qwen2.5-coder:7b-q3# 设置 GPU 层数（部分模型）exportOLLAMA_NUM_GPU=35

7.3 性能监控

# 查看模型信息ollama show qwen2.5-coder:7b# 查看所有模型ollama list# 删除不用的模型释放空间ollamarmmodel-name

八、常见问题

Q1: 8GB 显卡能同时跑两个 7B 模型吗？

不能。两个 7B 模型（Q4 量化）需要约 9GB 显存。

解决方案：

• 跑一个 7B + 一个 2B 模型
• 使用更高量化（Q3/Q2）
• 升级显卡到 12GB+

Q2: 如何选择量化级别？

Q3: 模型下载速度慢怎么办？

1. 使用镜像站（如有）
2. 断点续传会自动继续
3. 避免并行下载（会更慢）

九、总结

推荐配置

核心建议

1. 代码开发：优先使用 Qwen2.5-Coder:7b
2. 复杂推理：切换 DeepSeek-R1:7b
3. 快速任务：使用 Gemma2:2b
4. API 服务：通过 LiteLLM 或 Open-WebUI 添加认证

文档整理时间: 2026-04-12
来源: 实际问答记录