大模型智能体与MCP(三) 使用ollama本地部署Deepseek R1 32B模型
配置要求
对于DeepSeek-R1 32B (4bit AWQ/GPTQ / 8bit) 的大模型而言，推荐使用24G显存的显卡进行部署，内存推荐32G，硬盘空间建议60G以上，本案例使用i9-13900k+64G+4090 24G进行部署。
ollama安装和模型安装
对于window系统可以直接进入官网进行安装，注意修改模型路径到，模型文件很大默认在C盘，一般放在其他空间充足的位置
对于Linux使用命令行进行安装
# 1. 安装Ollama（已装可跳过） curl -fsSL https://ollama.com/install.sh | sh # 2. 拉取主力模型DeepSeek-R1 32B 4bit ollama pull deepseek-r1:32b # 3. 查看已安装的模型 ollama list # 4. 运行测试 ollama run deepseek-r1:32b模型命令
- 删除模：:
ollama rm 模型名 - 复制模型（改名）:
ollama cp 旧名 新名 - 查看正在运行的模型：
ollama ps - 停止正在运行的模型：
ollama stop 模型名 - 停止所有模型：
ollama stop --all - 允许局域网 / 远程访问（Windows 执行一次即可）：
setx OLLAMA_HOST 0.0.0.0 - 从 Modelfile 创建自定义模型：
ollama create 新模型名 -f Modelfile - 显示某个模型的信息：
ollama show 模型名 - 显示模型参数（系统提示词等）：
ollama show 模型名 --modelfile - 查看本地可用模型 API：
curl http://localhost:11434/api/tags - 对话 API：
curl http://localhost:11434/api/chat -d "{\"model\":\"llama3.1:8b\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}]}"
调用模型
使用ChatOpenAI调用qwen模型，不需要key，注意base_url为服务器IP地址，ollama默认端口为11434，注意在服务器开放该端口访问，模型全名需要与下载的模型名称一致
llm=ChatOpenAI(model="qwen2.5-coder:14b",base_url=r"http://192.168.2.108:11434/v1",temperature=0)