[智能体-24]:ollama运行deepseek大模型的方法示例
下面给你一套完整、可直接照着做的示例:用 Ollama 安装并运行 DeepSeek(R1 推理版 / Coder 代码版),包括命令行、API、WebUI、离线导入四种方式,以及常见坑的处理。
一、先确认:Ollama 里有哪些 DeepSeek 可用
主要两大类:
- deepseek-r1:通用 + 推理强(数学 / 逻辑 / 解题)
deepseek-r1:1.5b≈1.1GB,低配也能跑deepseek-r1:7b≈4.7GB,主流显卡(6GB+)deepseek-r1:8b≈5.2GB,推荐日常用deepseek-r1:14b≈8–12GB,建议 16GB 显存
- deepseek-coder:代码专用
deepseek-coder:6.7b
新手推荐:deepseek-r1:8b(平衡速度 / 效果 / 资源)
二、方式 1:命令行直接运行(最简单)
1)安装 / 启动 Ollama(已装可跳过)
- Windows:官网下载安装包,安装后自动后台运行
- macOS:
bash
运行
brew install ollama ollama serve- Linux:
bash
运行
curl -fsSL https://ollama.com/install.sh | sh sudo systemctl start ollama sudo systemctl enable ollama2)拉取 DeepSeek 模型
bash
运行
# 推荐:8B 通用推理版 ollama pull deepseek-r1:8b # 低配/测试:1.5B ollama pull deepseek-r1:1.5b # 代码专用 ollama pull deepseek-coder:6.7b3)运行并对话
bash
运行
ollama run deepseek-r1:8b出现>>>即可聊天:
plaintext
>>> 用数学方法解释为什么 0.999... = 1 >>> 写一个 Python 快速排序退出:/bye
4)常用管理命令
bash
运行
ollama list # 查看已下载模型 ollama ps # 查看正在运行的模型 ollama stop deepseek-r1:8b # 停止模型 ollama rm deepseek-r1:8b # 删除模型三、方式 2:REST API 调用(程序 / 脚本用)
Ollama 默认开11434端口,兼容 OpenAI 格式。
1)curl 示例
bash
运行
curl http://localhost:11434/api/chat -d '{ "model": "deepseek-r1:8b", "messages": [ {"role": "user", "content": "解释一下什么是大语言模型"} ], "stream": false }'2)Python 示例
python
运行
import requests url = "http://localhost:11434/api/generate" payload = { "model": "deepseek-r1:8b", "prompt": "用Python写一个斐波那契函数", "stream": False } res = requests.post(url, json=payload) print(res.json()["response"])四、方式 3:WebUI 可视化(推荐日常使用)
以Open WebUI为例(功能最全)。
1)Docker 启动 Open WebUI
bash
运行
docker run -d \ -p 3000:3000 \ -v open-webui:/app/backend/data \ --add-host=host.docker.internal:host-gateway \ ghcr.io/open-webui/open-webui:main2)浏览器访问
打开:http://localhost:3000
- 首次注册 / 登录
- 右上角选模型:
deepseek-r1:8b - 直接对话、保存会话、调整参数
五、方式 4:离线导入 GGUF(解决超时 / 境外下载慢)
适合:网络差、拉取超时、想自己用 GGUF 模型。
1)国内下载 GGUF
去魔搭 ModelScope 或 HF 镜像站,搜索:
DeepSeek-R1-Distill-Qwen-8B-GGUF- 下载
Q4_K_M(平衡速度 / 精度)
2)写 Modelfile
新建文件Modelfile(无后缀):
plaintext
FROM ./DeepSeek-R1-Distill-Qwen-8B.Q4_K_M.gguf PARAMETER temperature 0.6 PARAMETER num_ctx 16384 SYSTEM "你是 DeepSeek 推理模型,擅长数学和代码,回答简洁准确。"3)本地创建模型
bash
运行
ollama create deepseek-r1:8b-local -f Modelfile4)运行
bash
运行
ollama run deepseek-r1:8b-local六、常见问题(国内用户必看)
1)pull 超时 / 慢
- 用国内镜像:
OLLAMA_MIRROR=https://ollama.ac.cn
bash
运行
# Linux/macOS export OLLAMA_MIRROR=https://ollama.ac.cn ollama pull deepseek-r1:8b- 或直接用上面 “离线 GGUF 导入” 方法
2)显存不够
- 优先用1.5B/7B/8B量化版(Q4_K_M)
- 关闭其他占用显存的程序
3)想做代码专用
bash
运行
ollama pull deepseek-coder:6.7b ollama run deepseek-coder:6.7b