ollama本地安装与大模型与DeepSeek模型调用

Ollama 本地部署 Deepseek R1 模型

概念

• Ollama是在Github上的一个开源项目，其项目定位是：一个本地运行大模型的集成框架；
• 目前主要针对主流的LLaMA架构的开源大模型设计，通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中，从而实现大模型的下载、启动和本地运行的自动化部署及推理流程；
• 此外，Ollama内置了一系列针对大模型运行和推理的优化策略，目前作为一个非常热门的大模型托管平台，基本主流的大模型应用开发框架如LangChain、AutoGen、Microsoft GraphRAG及热门项目AnythingLLM、OpenWebUI等高度集成。

Ollama官方地址：https://ollama.com/

Ollama Github开源地址：https://github.com/ollama/ollama

Ollama项目本地安装

windows电脑直接点击ollama下载按钮就可以安装好一个命令行界面。

在这里我们不细讲，我们主要是看任何在linux系统中安装ollama。

我们可以执行以下命令来对ollama进行安装

curl -fsSL https://ollama.com/install.sh | sh

这个过程会比较慢，拉取的文件约2G左右，如果安装过程中未出现任何错误信息，通常情况下能够表明安装已成功。可以通过执行以下命令来检查Ollama服务的运行状态：

systemctl status ollama

我们可以使用以下命令来查看ollama的版本

sudo ollama -v

Ollama部署DeepSeek

我们可以使用以下命令下载DeepSeek

ollama run deepseek-r1:1.5b

此外我们可以使用ollama list ，查看ollama的模型列表

使用DeepSeek

在Ollama的机制中，使用run命令时，系统会首先检查本地是否已经存在指定的模型，如果本地没有找到该模型，Ollama会自动执行ollama pull <model_name>命令，从远程仓库下载该模型，下载完成后将模型存储为GGUF格式，供后续使用。最后，当成功下载后，Ollama会继续执行run命令，启动模型并进行推理或生成任务。

这里要重点说明两点：其一是DeepSeek R1作为推理模型，其返回结果是包含的，里面包含的是思考推理的内容；其二也会存在中为空，这其实是因为DeepSeek-R1系列模型倾向于绕过思维模式（即输出” \ n \ n ”）,因此一个使用的技巧是：每个输出的开头强制模型以 “\n” 开头。（此问题我们在代码环节在给大家讲解实现的方式）

多GPU部署级Server启动

如果想加载多张显卡且做到负载均衡，可以去修改ollama的SystemD配置服务，首先找到当前服务器上GPU的ID，执行命令如下：

nvidia-smi

如果想加载多张显卡且做到负载均衡，可以去修改ollama的SystemD配置服务，执行如下代码：

systemctl edit ollama.service

编辑并填写如下内容：

Environment="CUDA_VISIBLE_DEVICES=0,1,2,3" # 这里根据你自己实际的 GPU标号来进行修改 Environment="OLLAMA_SCHED_SPREAD=1" # 这个参数是做负载均衡

保存退出后，重新加载systemd并重新启动Ollama服务使其配置生效，执行如下命令：

systemctl daemon-reload systemctl restart ollama

Ollama Rest Api 服务启动及其调用

fromopenaiimportOpenAI client=OpenAI(base_url='http://localhost:11434/v1/',api_key='ollama',# 这里随便写，但是api_key字段一定要有)chat_completion=client.chat.completions.create(model='deepseek-r1:1.5b',# 这里要修改成 你 ollama 启动模型的名称messages=[{'role':'user','content':'你好，请你介绍一下你自己',}],)print(chat_completion)

这里需要注意的一点是：如果Ollama启动和执行调用的代码是同一台机器，上述代码是可以的跑通的。比如Ollama服务在云服务器、局域网的服务器上等情况，则无法通过http://localhost:11434/v1/来进行访问，因为网络不通。 正如上述的报错，我的Ollama模型服务是在局域网的服务器上，因此我需要修改Ollama REST API的请求地址，操作方法如下：

修改ollama的SystemD配置服务，执行如下代码：

systemctl edit ollama.service

编辑并填写如下内容：

Environment="OLLAMA_HOST=0.0.0.0：11434"

保存退出后，重新加载systemd并重新启动Ollama服务使其配置生效，执行如下命令：

systemctl daemon-reload systemctl restart ollama

ollama基本命令

通过上述关于Ollama的安装、模型下载及启动推理的介绍和实践，我们可以感受到Ollama极大地简化了大模型部署的过程，也降低了大模型在使用上的技术门槛。然而，对大部分用户而言，命令行界面并不够友好。正如我们之前提到的，在大模型的应用开发框架下，使用到的往往是其API调用形式，为此，Ollama也是可以集成多个开源项目，包括Web界面、桌面应用和终端工具等方式提升使用体验，并满足满足不同用户的偏好和需求。

我们可以感受到Ollama极大地简化了大模型部署的过程，也降低了大模型在使用上的技术门槛。然而，对大部分用户而言，命令行界面并不够友好。正如我们之前提到的，在大模型的应用开发框架下，使用到的往往是其API调用形式，为此，Ollama也是可以集成多个开源项目，包括Web界面、桌面应用和终端工具等方式提升使用体验，并满足满足不同用户的偏好和需求。