当前位置：首页 > news >正文

Nanbeige 4.1-3B部署教程：Kubernetes集群中水平扩展像素终端服务

news 2026/5/11 15:44:57

Nanbeige 4.1-3B部署教程：Kubernetes集群中水平扩展像素终端服务

1. 项目概述

Nanbeige 4.1-3B是一款融合了复古像素游戏风格与先进对话AI技术的创新应用。这套系统将大语言模型的强大能力封装在一个充满JRPG(日式角色扮演游戏)元素的交互界面中，为用户带来独特的对话体验。

核心特点：

采用Streamlit构建的像素风格Web界面
支持模型思考过程可视化展示
对话交互模拟经典游戏文本显示效果
专为Nanbeige 4.1-3B模型优化

2. 环境准备

2.1 系统要求

在开始部署前，请确保您的Kubernetes集群满足以下最低配置：

组件	最低配置	推荐配置
Kubernetes版本	1.20+	1.24+
节点数量	3	5+
每个节点CPU	4核	8核
每个节点内存	16GB	32GB
GPU支持	可选	NVIDIA T4或更高

2.2 工具安装

部署需要以下工具，请提前安装：

# 安装kubectl curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl # 安装helm curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

3. 部署Nanbeige 4.1-3B服务

3.1 创建命名空间

首先为Nanbeige服务创建独立的命名空间：

# nanbeige-namespace.yaml apiVersion: v1 kind: Namespace metadata: name: nanbeige

应用配置：

kubectl apply -f nanbeige-namespace.yaml

3.2 部署模型服务

使用以下Deployment配置部署模型服务：

# nanbeige-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: nanbeige-model namespace: nanbeige spec: replicas: 2 selector: matchLabels: app: nanbeige-model template: metadata: labels: app: nanbeige-model spec: containers: - name: model image: registry.nanbeige.ai/4.1-3b:latest resources: limits: cpu: "4" memory: "16Gi" nvidia.com/gpu: 1 ports: - containerPort: 8000 env: - name: MAX_TOKENS value: "2048"

应用部署：

kubectl apply -f nanbeige-deployment.yaml

3.3 部署前端服务

部署像素风格的前端界面：

# nanbeige-ui-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: nanbeige-ui namespace: nanbeige spec: replicas: 3 selector: matchLabels: app: nanbeige-ui template: metadata: labels: app: nanbeige-ui spec: containers: - name: ui image: registry.nanbeige.ai/pixel-ui:4.1 ports: - containerPort: 8501 env: - name: MODEL_ENDPOINT value: "http://nanbeige-model:8000"

应用前端部署：

kubectl apply -f nanbeige-ui-deployment.yaml

4. 配置服务暴露

4.1 创建Service资源

为前后端服务创建Service：

# nanbeige-services.yaml apiVersion: v1 kind: Service metadata: name: nanbeige-model namespace: nanbeige spec: selector: app: nanbeige-model ports: - protocol: TCP port: 8000 targetPort: 8000 --- apiVersion: v1 kind: Service metadata: name: nanbeige-ui namespace: nanbeige spec: selector: app: nanbeige-ui ports: - protocol: TCP port: 80 targetPort: 8501

应用Service配置：

kubectl apply -f nanbeige-services.yaml

4.2 配置Ingress

使用Ingress暴露前端服务：

# nanbeige-ingress.yaml apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: nanbeige-ingress namespace: nanbeige annotations: nginx.ingress.kubernetes.io/rewrite-target: /$1 spec: rules: - host: nanbeige.yourdomain.com http: paths: - path: /(.*) pathType: Prefix backend: service: name: nanbeige-ui port: number: 80

应用Ingress配置：

kubectl apply -f nanbeige-ingress.yaml

5. 水平扩展配置

5.1 配置HPA

为模型服务配置水平Pod自动扩展：

# nanbeige-hpa.yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: nanbeige-model-hpa namespace: nanbeige spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: nanbeige-model minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70

应用HPA配置：

kubectl apply -f nanbeige-hpa.yaml

5.2 前端自动扩展

为前端服务配置基于请求量的自动扩展：

# nanbeige-ui-hpa.yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: nanbeige-ui-hpa namespace: nanbeige spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: nanbeige-ui minReplicas: 3 maxReplicas: 15 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 60 - type: External external: metric: name: requests_per_second selector: matchLabels: app: nanbeige-ui target: type: AverageValue averageValue: 100

应用前端HPA配置：

kubectl apply -f nanbeige-ui-hpa.yaml

6. 监控与维护

6.1 部署监控

配置Prometheus监控指标：

# nanbeige-monitor.yaml apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: nanbeige-monitor namespace: nanbeige labels: release: prometheus spec: selector: matchLabels: app: nanbeige-model endpoints: - port: metrics interval: 30s

应用监控配置：

kubectl apply -f nanbeige-monitor.yaml

6.2 日志收集

配置Fluentd日志收集：

# nanbeige-logging.yaml apiVersion: v1 kind: ConfigMap metadata: name: nanbeige-fluentd-config namespace: nanbeige data: fluent.conf: | <source> @type tail path /var/log/containers/*nanbeige*.log pos_file /var/log/fluentd-nanbeige.pos tag kubernetes.* read_from_head true <parse> @type json time_format %Y-%m-%dT%H:%M:%S.%NZ </parse> </source> <match kubernetes.**> @type elasticsearch host elasticsearch-logging port 9200 logstash_format true logstash_prefix nanbeige </match>

应用日志配置：