ollama下载模型并运行

1、下载对应版本的程序

/opt/ollama# wget https://github.com/ollama/ollama/releases/download/v0.15.5-rc3/ollama-linux-amd64.tar.zst

2、解压

# tar -I zstd -xvf ollama-linux-amd64.tar.zst

3、把ollama可执行程序从bin文件夹移出来，每次多打个文件夹，麻烦

/opt/ollama# mv bin/ollama .
/opt/ollama# rm -rf bin/

 

4、后台启动服务

/opt/ollama# ./ollama serve &
或者：
/opt/ollama# OLLAMA_HOST=0.0.0.0 OLLAMA_PORT=11435 ollama serve &

5、指定下载路径

export OLLAMA_MODELS="/opt/ollama/models"

6、下载模型

/opt/ollama# ./ollama pull qwen3-coder-next

7、运行某个模型

CUDA_VISIBLE_DEVICES=0,1,2,3 ./ollama run --think=false qwen3-next:latest

——————————————————————————————————————————————

上面的方法安装的ollama用不起来显卡，得这么装！！！

1、安装指定版本的ollama

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.15.5 sh

2、这是以服务形式启动的，修改指定模型位置、模型常驻显存、局域网可访问并指定端口。

vim /etc/systemd/system/ollama.service

[Service]段最后添加（有多个Environment会都生效）

Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_HOST=0.0.0.0:11434"

3、重启服务生效

systemctl daemon-reload
systemctl restart ollama

4、查看模型是否已经是被加载

ollama list

5、运行某个模型

ollama run qwen3-coder-next:q8_0

离开命令行（不会退出），在ollama命令行输入

\bye

6、查看模型运行情况

ollama ps

7、结束模型运行

ollama stop qwen3-coder-next:q8_0

如过模型一直在stoping状态，无法退出，直接重启ollama服务。