当前位置：首页 > news >正文

搭建ai大模型集群

news 2026/5/12 13:12:03

1、目的
使用 OpenClaw 作为 AI 智能体编排框架，结合本地 Ollama，构建一个能够执行自动化任务的 AI 集群
2、环境
环境
云主机云主机云主机
操作系统 Rockylinux 9.6 Rockylinux 9.6 Rockylinux 9.6
CPU/内存 4核/4G 4核/4G 4核/4G
内网IP 192.168.88.20 192.168.88.30 192.168.88.30
硬盘 40G 40G 40G

3.施工前准备
配置三台主机配置hosts文件，能ping通
关闭firewalld和selinux
安装依赖：dnf install -y curl wget git vim net-tools telnet

4.部署过程
ollawa node1和ollawa node2执行）．
创建数据目录并启动ollama容器
docker run -d
--name ollama
--restart unless-stopped
-v /opt/ollama/data:/root/.ollama
-p 11434:11434
ollama/ollama

下载模型
docker exec -it ollama ollama pull ops-hansir:latest
ollama list

配置nginx负载均衡器（Nginx LB执行）
mkdir -p /etc/ssl/ollama
生成自签名证书（测试用）
openssl req -x509 -nodes -days 365 -newkey rsa:2048
-keyout /etc/ssl/ollama/privkey.pem
-out /etc/ssl/ollama/fullchain.pem
-subj "/C=CN/ST=Beijing/L=Beijing/O=Company/CN=ollama.company.com"
配置nginx文件
Vim /etc/nginx/conf.d/ollama-cluster.conf
配置如下：
upstream ollama_cluster {
least_conn; # 最少连接数算法，适合长连接任务
server 192.168.88.20:11434 max_fails=2 fail_timeout=60s;
server 192.168.88.39:11434 max_fails=2 fail_timeout=60s;
}

HTTP 重定向到 HTTPS（可选）

server {
listen 80;
server_name ollama.company.com;
return 301 https://$server_name$request_uri;
}

HTTPS 主服务

server {
listen 443 ssl http2;
server_name ollama.company.com;

# SSL 证书配置
ssl_certificate /etc/ssl/ollama/fullchain.pem;
ssl_certificate_key /etc/ssl/ollama/privkey.pem;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers HIGH:!aNULL:!MD5;# 日志
access_log /var/log/nginx/ollama-access.log;
error_log /var/log/nginx/ollama-error.log;# 代理 Ollama API
location /api/ {proxy_pass http://ollama_cluster;proxy_buffering off;                    # 必须！支持流式输出proxy_http_version 1.1;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;proxy_read_timeout 3600s;               # 长连接超时proxy_connect_timeout 60s;proxy_send_timeout 60s;
}# 健康检查端点（可选）
location /health {access_log off;return 200 "OK\n";add_header Content-Type text/plain;
}

}
重载nginx：
nginx -t

Systemctl reload nginx
验证https