Ollama + ModelScope：本地大模型极简部署
核心目标：帮你用最短时间在本地跑通大模型，并选对部署工具。
适用人群：个人开发者、学生党、AI应用入门者。
一、Ollama：一条命令搞定本地大模型
1.1 是什么？
Ollama 是一个开箱即用的大模型本地运行框架，封装了底层推理引擎（llama.cpp），支持 macOS / Windows / Linux / Docker。
1.2 安装与常用命令
安装（Linux）
curl -fsSL https://ollama.com/install.sh | bashDocker 方式
curl -fsSL https://ollama.com/install.sh | bash常用命令
ollama run 模型名 # 下载并运行模型 ollama list # 查看已安装模型 ollama rm 模型名 # 删除模型1.3 一键运行 ModelScope 模型
直接拉取魔搭社区的 GGUF 模型：
ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF二、调用大模型接口
2.1 Python 调用（OpenAI 兼容风格）
from openai import OpenAI client = OpenAI( base_url="http://localhost:11434/v1", api_key="ollama" ) response = client.chat.completions.create( model="qwen3.5:2b", messages=[{"role": "user", "content": "天空为什么是蓝色的?"}], stream=False ) print(response.choices[0].message.content)2.2 Python 调用（Ollama 原生 Client）
from ollama import Client client = Client("http://localhost:11434") response = client.chat( model="qwen3.5:2b", messages=[{"role": "user", "content": "你叫什么名字?"}] ) print(response.message.content)2.3 HTTP 接口测试
curl http://localhost:11434/api/generate -d '{ "model": "modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF", "prompt": "为什么天空是蓝色?", "stream": false }'三、三大本地部署工具对比速览
| 维度 | Ollama | vLLM | llama.cpp |
|---|---|---|---|
| 核心定位 | 开箱即用 | 高性能推理服务 | 极致轻量底层引擎 |
| 上手难度 | ⭐ 极简 | ⭐⭐⭐ 需配置环境 | ⭐⭐⭐⭐⭐ 硬核编译调参 |
| 运行格式 | GGUF | HuggingFace (Safetensors) | GGUF |
| 硬件依赖 | CPU / GPU 自动调度 | NVIDIA GPU (强依赖 CUDA) | CPU / Apple Silicon / 低配GPU |
| 并发能力 | 弱 (单用户友好) | 极强(高并发服务) | 弱 (单线程) |
| 适用场景 | 个人开发、快速验证、本地 RAG | 企业级 API 服务、多卡并行推理 | 边缘计算、旧电脑、树莓派 |
一句话选型建议
普通用户/开发者→Ollama（省心，专注应用）
企业服务/N卡环境→vLLM（吞吐量王者）
低配硬件/嵌入式→llama.cpp（CPU 也能跑）
四、彩蛋：模型输出自动发邮件
import smtplib from email.mime.text import MIMEText from ollama import chat res = chat(model="modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:latest", messages=[{"role": "user", "content": "给你的朋友写一封信"}]) # SMTP 配置（示例为163邮箱） msg = MIMEText(res.message.content, 'plain', 'utf-8') msg["From"] = "your_email@163.com" msg["To"] = "receiver@qq.com" smtp = smtplib.SMTP() smtp.connect("smtp.163.com", 25) smtp.login("your_email@163.com", "授权码") smtp.sendmail(msg["From"], msg["To"], msg.as_string()) print("邮件发送成功")本地部署大模型已非常成熟，Ollama + ModelScope 的组合能让开发者在几分钟内跑起主流模型。根据自身场景（开发/生产/边缘）选择合适工具，即可高效开启 AI 应用之旅。