本地 LLM 生产部署实践：从 Ollama 到可维护架构
本地运行大语言模型已经不只是玩具实验。Ollama、LM Studio、vLLM、llama.cpp 等工具让团队可以在自己的机器或服务器上部署模型，用于客服、内部知识库、代码助手、批量处理和隐私敏感场景。
但“能跑起来”和“能稳定生产使用”是两回事。生产部署需要考虑模型选择、硬件、并发、监控、限流、降级、更新和成本。
这篇文章整理本地 LLM 生产部署的判断框架和落地步骤。
什么时候适合本地部署
本地部署最大的价值不是“免费”，而是可控。
| 维度 | 云 API | 本地部署 |
|---|---|---|
| 计费方式 | 按 token / 请求计费 | 固定硬件和电费成本 |
| 数据隐私 | 数据经过供应商 | 数据留在内网或本机 |
| 可用性 | 依赖网络和供应商 | 可离线运行 |
| 模型能力 | 前沿模型更强 | 取决于本地模型和硬件 |
| 运维成本 | 低 | 高，需要维护 |
适合本地部署的场景：
- 高频、成本敏感的内部任务；
- 隐私要求高的数据；
- 离线或内网环境；
- 固定、可预测的工作负载；
- 可以接受非前沿模型能力的场景。
不适合本地部署的场景：
- 低频但高复杂度任务；
- 必须使用最新前沿模型；
- 流量波动很大；
- 团队没有基础设施维护能力；
- 对质量上限要求高于成本控制。
从 Ollama 开始
Ollama 是最适合开发者快速开始的本地 LLM 工具之一。
安装和启动
# macOSbrewinstallollama