Linux环境下Ollama离线部署全攻略

1. 离线安装包获取与准备

在Linux环境下部署Ollama的第一步就是获取离线安装包。虽然官方推荐在线安装方式，但在内网环境或网络受限的场景下，离线安装才是更实际的选择。我实测过多种获取方式，最可靠的是直接从GitHub Releases页面下载预编译的二进制文件。

推荐使用wget命令直接下载最新稳定版：

wget https://github.com/ollama/ollama/releases/download/v0.5.12/ollama-linux-amd64

下载完成后，建议立即校验文件完整性。我遇到过因网络问题导致下载不完整的情况，可以通过sha256sum命令验证：

sha256sum ollama-linux-amd64

将下载的文件移动到系统PATH目录是个好习惯。我通常放在/usr/local/bin下，这样所有用户都能访问：

sudo mv ollama-linux-amd64 /usr/local/bin/ollama sudo chmod +x /usr/local/bin/ollama

2. 系统环境配置

2.1 创建专用用户

为Ollama创建独立用户是安全部署的关键步骤。这个用户不需要登录权限，专门用于运行服务。以下命令创建了一个系统用户：

sudo useradd -r -s /bin/false -m -d /var/lib/ollama ollama

这里有几个细节需要注意：

• -r参数创建系统用户
• -s /bin/false禁止登录
• -m -d确保创建家目录

2.2 目录权限设置

模型存储目录的权限设置经常被忽视，但却是导致运行失败的主要原因之一。我建议使用以下结构：

sudo mkdir -p /var/lib/ollama/models sudo chown -R ollama:ollama /var/lib/ollama sudo chmod 755 /var/lib/ollama

这种配置既保证了安全性，又避免了权限不足的问题。在实际项目中，我遇到过因为权限设置不当导致模型无法加载的情况，所以这一步千万不能马虎。

3. 服务化部署

3.1 Systemd服务配置

将Ollama配置为系统服务可以确保稳定运行。创建/etc/systemd/system/ollama.service文件，内容如下：

[Unit] Description=Ollama Service After=network-online.target [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" ExecStart=/usr/local/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="OLLAMA_MODELS=/var/lib/ollama/models" [Install] WantedBy=multi-user.target

这个配置有几个关键点：

• 设置OLLAMA_HOST环境变量开放网络访问
• 指定模型存储路径
• 配置自动重启策略

3.2 服务管理

启动服务前需要重新加载systemd配置：

sudo systemctl daemon-reload

然后就可以像管理其他系统服务一样操作Ollama了：

# 启动服务 sudo systemctl start ollama # 设置开机自启 sudo systemctl enable ollama # 查看状态 sudo systemctl status ollama

如果修改了配置文件，记得使用systemctl restart ollama重启服务使更改生效。

4. 模型管理与使用

4.1 离线导入模型

在没有网络连接的环境下，需要提前准备好模型文件。Ollama支持导入本地模型文件，具体操作是：

ollama import /path/to/model.tar

模型文件需要是Ollama兼容的格式。我建议在联网环境下先下载好所需模型，然后打包转移。例如获取llama2模型：

ollama pull llama2

然后可以在~/.ollama/models目录找到对应的模型文件。

4.2 模型运行测试

服务启动后，可以通过命令行测试模型：

ollama run llama2 "你好"

如果一切正常，你会看到模型的响应输出。第一次运行某个模型时，Ollama会自动加载，这可能需要一些时间。

5. 常见问题排查

5.1 端口冲突处理

默认情况下Ollama使用11434端口。如果端口被占用，可以通过修改服务文件中的OLLAMA_HOST环境变量来更改：

Environment="OLLAMA_HOST=0.0.0.0:自定义端口"

5.2 存储空间不足

大模型需要足够的磁盘空间。如果遇到存储问题，可以通过以下方式解决：

1. 修改OLLAMA_MODELS环境变量指向更大容量的分区
2. 使用符号链接将模型目录映射到其他位置

5.3 性能调优

在资源有限的机器上，可以通过限制并发数来优化性能：

export OLLAMA_NUM_PARALLEL=2

这个环境变量控制同时处理的请求数量，根据CPU核心数合理设置能提高稳定性。

在实际部署过程中，我发现日志查看是最有效的排查手段。Ollama的日志可以通过journalctl查看：

sudo journalctl -u ollama -f

这个命令会实时显示服务日志，对于诊断启动失败、运行异常等问题特别有用。