选择适合本地部署的大模型，关键在于匹配你的硬件配置、使用场景和核心需求。以下是经过综合评估的选型指南，帮你精准决策。
✅ 一、按硬件配置选模型（核心原则）
显存是第一决定因素，模型参数越大、对显存要求越高。量化技术（如 INT4）可大幅降低需求。
| 显存条件 | 推荐模型 | 代表型号 |
|---|---|---|
| < 4GB 显存 / 仅CPU | 超轻量级模型 | phi-3-mini、gemma-2b、qwen1.5-1.8b |
| 4–8GB 显存 | 7B级量化模型 | llama3:8b-instruct-q4、qwen2.5:7b、deepseek-r1:1.5b |
| 8–16GB 显存 | 7B–13B 高性能模型 | qwen3:8b、llama3.2:8b、mixtral:8x7b |
| > 16GB 显存（RTX 4090/A6000） | 14B–32B 大模型 | qwen3:14b、deepseek-r1:32b、llama3.3:70b（需多卡） |
✅ 二、按使用场景选模型
- 中文办公与创作首选：通义千问 Qwen 系列
推荐型号：qwen3:8b、qwen3:14b
优势：中文理解强、逻辑清晰、支持长文本，适合写报告、写邮件、公文写作。
部署工具：Ollama、DS本地部署大师。 - 编程与代码生成：DeepSeek-Coder / CodeLlama
推荐型号：deepseek-coder:6.7b、deepseek-coder:33b、codellama:7b
优势：在HumanEval评测中超越GPT-4，支持多语言代码生成与调试。
适用人群：开发者、学生、技术团队。 - 通用对话与研究：Llama 3 系列
推荐型号：llama3:8b、llama3.2:8b、llama3.3:70b
优势：社区生态成熟，适配工具多，英文能力强，适合科研、学习、跨语言任务。
注意：70B模型需多张高端显卡（如A100/H100）支持。 - 低配电脑友好：Phi-3 / Gemma / Mistral
推荐型号：phi-3-mini、gemma-2b、mistral:7b
优势：可在4GB内存设备上运行，响应快，适合教育、轻量级任务。
部署方式：KoboldCPP、LM Studio。
✅ 三、推荐部署工具（零代码/低门槛）
| 工具 | 适合人群 | 特点 |
|---|---|---|
| Ollama | 开发者、技术爱好者 | 命令行操作，支持OpenAI兼容API，一键拉取模型 |
| DS本地部署大师 | 非技术用户 | 图形化界面，自动检测硬件并推荐模型 |
| LM Studio | 新手用户 | 拖拽式操作，支持Windows/Mac，可加载GGUF模型 |
| KoboldCPP | 低配设备用户 | 单文件运行，支持CPU+GPU混合推理 |
✅ 四、关键避坑建议
不要盲目追求大模型：7B模型在INT4量化后仅需约4GB显存，性能损失小但运行流畅。
优先选择量化版本：如 q4_K_M，可减少50%以上显存占用，精度损失可控。
SSD固态硬盘必备：模型文件通常10GB+，SSD能显著提升加载速度。
苹果用户优先用Metal加速：M系列芯片无需CUDA，原生支持Ollama和llama.cpp。