ollama本地模型使用

介绍

Ollama 是一个开源的大型语言模型（LLM）本地运行和管理工具，旨在简化在个人计算机或服务器上部署、运行和切换各种开源 AI 模型的过程‌。（AI）

简单说，它提供了千问、kimi等模型的离线包，可以在本地和离线环境下实现ai问答

工具使用

下载地址

https://ollama.com/download

windows使用

在线或离线下载，此处使用离线下载

双击包OllamaSetup.exe，按提示一步步安装即可

对话栏位置，可选择模型，使用云端模型需要注册并登录Ollama

还可以下载ollama打包的模型到本地，后续在离线环境下使用

在Settings中设置登录账号，开启云端模型，模型存放位置

此处已下载了qwen3:4b模型，可实现基础的一些问答

命令行使用

ollama serve #启动ollama

ollama launch #ollama向导，或连接模型

ollama list #查看已配置的模型（离线和在线）

模型下载和查询

浏览器访问https://ollama.com/search

查询，选择具体模型

下载模型并使用

ollama run qwen3.5:8b

说明：本地电脑可以使用云端模型或qwen3.5:4b，模型运行时需要cpu和gpu计算，会占用大量算力，选择小模型用于测试

linux使用

说明：需要glibc3.4.25版本

需要centos8或ubuntu22版本等

官方文档：docs.ollama.com/linux

包名：https://ollama.com/download/ollama-linux-amd64.tar.zst

解压

mkdir /root/ollama

tar -xf ollama-linux-amd64.tar.zst -C /root/ollama

ln -s /root/ollama/bin/ollama /usr/bin/ollama

ollama --help

github:

https://github.com/ollama/ollama

使用：同windows命令行

注：之前在windows上下载的离线模型包直接拷贝到linux对应目录下，linux也可以使用

配置文件，如

windows C:\Users\Administrator\.ollama

linux：/root/.ollama

models目录存放模型，打包分发