本地部署 Ollama 完整指南：3 分钟让大模型在你电脑上跑起来
本地部署 Ollama 指南：3 分钟让大模型在你电脑上跑起来
Ollama —— 不用配置复杂的环境，不用折腾 Docker，一条命令就能让 Llama 3、Qwen 这些大模型在你电脑上跑起来。
今天这篇教程，我就把完整的部署流程、使用技巧、还有我踩过的坑，一次性讲清楚。
Ollama 是什么？
简单说，Ollama 是一个本地运行大语言模型的工具。
- 旨在简化大型语言模型本地部署和运行过程的开源软件
- 提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMs(大型语言模型)
- 开发者可以导入和定制自己的模型，无需关注复杂的底层实现细节
- 由自己电脑的硬件提供算力支撑模型运行
现在大家用 Ollama，主要是为了这几个场景：
- 隐私敏感的场景：数据不出本地，适合企业内部使用
- 离线环境：没有网络也能用大模型
- 开发测试：本地快速迭代，不用每次调 API 都等响应
- 成本控制：一次部署，无限调用，没有 token 费用
- 学习和研究：想深入理解大模型怎么工作的
Ollama 的优点
1. 极简的命令行体验
ollama run llama3.2就这一条命令，模型自动下载、自动运行。用完退出，就这么简单。
2. 模型库丰富
官方库里有 Llama 3、Qwen2.5、Gemma2、Mistral、DeepSeek 等主流模型，从 1B 到 70B 参数都有。还能自己导入自定义模型。
3. 资源占用可控
小模型（如 Qwen2.5-1.5B）只要 2GB 内存就能跑，老笔记本也能用。大模型支持量化，70B 模型量化后 40GB 显存就能跑。
4. API 兼容 OpenAI
Ollama 的 API 跟 OpenAI 格式兼容，现有代码改个 base_url 就能用：
fromopenaiimportOpenAI client=OpenAI(base_url="http://localhost:11434/v1",api_key="ollama"# 随便填)response=client.chat.completions.create(model="llama3.2",messages=[{"role":"user","content":"你好"}])5. 支持 GPU 加速
NVIDIA 显卡自动调用 CUDA，AMD 显卡支持 ROCm，Mac 用 M 系列芯片的 Metal 加速。有显卡和没显卡，速度差好几倍。
部署前准备
先确认你的设备能不能跑：
最低配置：
- 内存：4GB（跑 1B-3B 小模型）
- 存储：10GB 空闲空间
- 系统：Linux / macOS 12+ / Windows 10+
推荐配置：
- 内存：16GB+（跑 7B-14B 模型）
- 显卡：NVIDIA 8GB+ 显存（GPU 加速）
- 存储：50GB+ SSD
检查 NVIDIA 显卡驱动：
nvidia-smi能看到显卡信息就说明驱动没问题。
Linux 部署（Ubuntu/Debian/CentOS）
Step 1：一键安装
官方提供了一键安装脚本，直接运行：
curl-fsSLhttps://ollama.com/install.sh|sh脚本会自动：
- 下载最新版本的 Ollama
- 创建系统服务
- 启动后台进程
Step 2：验证安装
ollama--version看到版本号就说明安装成功了。
Step 3：启动服务
安装脚本会自动启动服务。如果没有，手动启动：
sudosystemctl start ollamasudosystemctlenableollama# 开机自启Step 4：下载并运行模型
ollama run llama3.2第一次运行会自动下载模型（约 2GB）。下载完成后直接进入对话界面。
Step 5：查看服务状态
sudosystemctl status ollama看到active (running)就说明服务正常。
macOS 部署
Step 1：下载安装
有两种方式：
方式一：Homebrew（推荐）
brewinstallollama方式二：官网下载
访问 https://ollama.com/download，下载 macOS 安装包，双击安装。
Step 2：运行模型
ollama run llama3.2Mac M 系列芯片会自动用 Metal 加速，速度很快。
Step 3：后台运行（可选）
如果想让 Ollama 一直在后台运行：
ollama serve&Windows 部署
Step 1：下载安装包
访问 Ollama 下载OllamaSetup.exe。
Step 2：安装
按提示完成安装。
Step 3：验证安装
打开 PowerShell 或命令提示符：
ollama--versionStep 4：运行模型
ollama run llama3.2Windows 版本会自动配置环境变量，可以直接在任何目录运行。
Docker 部署（可选）
如果你习惯用 Docker：
dockerrun-d-vollama:/root/.ollama-p11434:11434--nameollama ollama/ollama带 GPU 支持：
dockerrun-d--gpus=all-vollama:/root/.ollama-p11434:11434--nameollama ollama/ollama验证容器运行：
dockerexec-itollama ollama run llama3.2常用模型推荐
Ollama 官方库里的模型，我推荐这几个：
| 模型 | 大小 | 适用场景 | 最低内存 |
|---|---|---|---|
| Qwen2.5-1.5B | 1.5B | 轻量任务、老设备 | 2GB |
| Llama3.2-3B | 3B | 日常对话、代码 | 4GB |
| Qwen2.5-7B | 7B | 综合性能最佳 | 8GB |
| Llama3.1-8B | 8B | 通用场景 | 8GB |
| Qwen2.5-14B | 14B | 复杂任务、推理 | 16GB |
| Llama3.1-70B | 70B | 高精度任务 | 40GB+ |
下载模型：
ollama pull qwen2.5:7b ollama pull llama3.2 ollama pull deepseek-r1:8b查看已下载模型：
ollama list删除模型：
ollamarm模型名API 使用示例
Ollama 启动后，默认在http://localhost:11434提供 API 服务。
1. 对话接口
curlhttp://localhost:11434/api/chat-d'{ "model": "llama3.2", "messages": [ {"role": "user", "content": "你好，介绍一下你自己"} ] }'2. 流式输出
curlhttp://localhost:11434/api/chat-d'{ "model": "llama3.2", "messages": [{"role": "user", "content": "讲个笑话"}], "stream": true }'3. Python 调用
importrequests response=requests.post("http://localhost:11434/api/chat",json={"model":"llama3.2","messages":[{"role":"user","content":"用 Python 写个快速排序"}]})print(response.json()["message"]["content"])4. OpenAI 兼容接口
fromopenaiimportOpenAI client=OpenAI(base_url="http://localhost:11434/v1",api_key="ollama")response=client.chat.completions.create(model="llama3.2",messages=[{"role":"system","content":"你是一个 Python 专家"},{"role":"user","content":"解释一下装饰器"}])print(response.choices[0].message.content)我踩过的坑（血泪教训）
坑 1：模型下载太慢
国内下载 HuggingFace 的模型经常超时。解决方法：
# 设置国内镜像exportOLLAMA_MODELS=/path/to/local/models# 或者用代理exportHTTP_PROXY=http://127.0.0.1:7890exportHTTPS_PROXY=http://127.0.0.1:7890坑 2：显存不足
跑大模型时显存爆了。解决：
# 使用量化版本ollama run llama3.2:q4_0# 4bit 量化，显存减半# 或者限制 GPU 使用exportOLLAMA_NUM_GPU=1# 只用 1 张卡坑 3：服务启动失败
端口被占用或者权限问题：
# 检查端口sudolsof-i:11434# 重启服务sudosystemctl restart ollama# 查看日志sudojournalctl-uollama-f坑 4：模型响应慢
没有用 GPU 加速。检查：
# Linux 查看 GPU 使用情况nvidia-smi# Ollama 服务日志ollama serve2>&1|grep-igpu看到CUDA或Metal字样说明加速已启用。
进阶技巧
1. 自定义模型
创建Modelfile：
FROM llama3.2 SYSTEM """ 你是一个专业的 Python 程序员。 回答要简洁，直接给代码示例。 """ PARAMETER temperature 0.7 PARAMETER top_p 0.9创建模型：
ollama create my-coder-fModelfile ollama run my-coder2. 多模型切换
# 列出所有模型ollama list# 切换到另一个模型ollama run qwen2.5:7b3. 模型导出
ollamacpllama3.2 backup-llama3.24. 网页界面
配合 Open WebUI 使用：
dockerrun-d-p3000:8080\-eOLLAMA_BASE_URL=http://host.docker.internal:11434\--nameopen-webui\ghcr.io/open-webui/open-webui:main然后访问http://localhost:3000就有网页版界面了。
参考链接：
- Ollama 官网：https://ollama.com
- 模型库：https://ollama.com/library
- GitHub：https://github.com/ollama/ollama
- 文档：https://github.com/ollama/ollama/tree/main/docs