由于运行OpenClaw之后，发现大模型的token损耗非常快，尝试本地部署Ollama进行测试。下面是部署过程。
在 Rocky Linux 部署 Ollama
Ollama 是一个开源工具，用于在本地运行和管理大型语言模型（LLM）。以下是如何在 Rocky Linux 上部署 Ollama 的详细步骤。
安装 Ollama
方法 1：自动安装
打开终端，运行以下命令：
curl -fsSL https://ollama.com/install.sh | sh
安装完成后，验证是否成功：
ollama -v
方法 2：手动安装
下载 Ollama 安装包：
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz解压并安装：
sudo tar -C /usr -xzf ollama-linux-amd64.tgz启动服务：
ollama serve验证安装：
ollama -v拉取和运行模型
拉取所需模型，例如 Llama2:
ollama pull llama2-chinese:13b-chat运行模型：
ollama run llama2-chinese:13b-chat
通过 Docker 部署 Ollama
安装 Docker：
yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io
systemctl start docker && systemctl enable docker
使用 Docker 启动 Ollama 服务：
docker run -d --name ollama -p 11434:11434 ollama/ollama:latest serve
验证部署
检查服务状态：
systemctl status ollama 或 docker logs ollama测试模型运行效果：
curl http://127.0.0.1:11434/v1/models/llama2-chinese:13b-chat -X POST -d '{"prompt": "你好"}'
最佳实践
GPU 支持：如果需要 GPU 加速，请确保已安装 NVIDIA 驱动或 AMD ROCm 驱动。
防火墙配置：开放必要端口，例如 11434。
firewall-cmd --permanent --zone=public --add-port=11434/tcp
firewall-cmd --reload
通过以上步骤，您可以在 Rocky Linux 上成功部署并运行 Ollama 和相关大语言模型。
