当前位置：首页 > news >正文

Phi-3.5-mini-instruct部署教程：在Kubernetes中以StatefulSet方式编排服务

news 2026/4/23 6:18:33

Phi-3.5-mini-instruct部署教程：在Kubernetes中以StatefulSet方式编排服务

1. 模型简介

Phi-3.5-mini-instruct是一个轻量级的开放模型，属于Phi-3模型家族。它基于高质量的数据集构建，特别关注推理密集型任务。这个模型支持长达128K令牌的上下文长度，经过严格的训练过程，包括监督微调、策略优化和偏好优化，确保能够精确遵循指令并具备强大的安全性能。

作为一款文本生成模型，Phi-3.5-mini-instruct非常适合需要高效、精准指令响应的应用场景。它的轻量级特性使其成为在Kubernetes环境中部署的理想选择，能够在不牺牲性能的前提下节省计算资源。

2. 环境准备

2.1 系统要求

在开始部署前，请确保您的Kubernetes集群满足以下基本要求：

Kubernetes版本1.20或更高
每个Pod至少分配8GB内存
每个Pod至少2个CPU核心
持久化存储卷（PV）用于模型数据
安装了kubectl命令行工具

2.2 获取模型资源

您可以从官方渠道获取Phi-3.5-mini-instruct模型文件。确保下载完整的模型包，通常包括：

模型权重文件
配置文件
分词器相关文件

3. 部署步骤

3.1 创建持久化存储

首先，我们需要为模型创建持久化存储：

apiVersion: v1 kind: PersistentVolumeClaim metadata: name: phi3-model-pvc spec: accessModes: - ReadWriteOnce resources: requests: storage: 20Gi

应用这个配置：

kubectl apply -f model-pvc.yaml

3.2 创建StatefulSet配置

以下是Phi-3.5-mini-instruct的StatefulSet配置示例：

apiVersion: apps/v1 kind: StatefulSet metadata: name: phi3-mini-instruct spec: serviceName: "phi3-service" replicas: 1 selector: matchLabels: app: phi3-mini-instruct template: metadata: labels: app: phi3-mini-instruct spec: containers: - name: phi3-container image: your-vllm-image:latest ports: - containerPort: 8000 volumeMounts: - name: model-storage mountPath: /models resources: requests: memory: "8Gi" cpu: "2" limits: memory: "10Gi" cpu: "4" volumes: - name: model-storage persistentVolumeClaim: claimName: phi3-model-pvc

3.3 部署服务

创建服务暴露模型API：

apiVersion: v1 kind: Service metadata: name: phi3-service spec: selector: app: phi3-mini-instruct ports: - protocol: TCP port: 8000 targetPort: 8000 type: ClusterIP

应用所有配置：

kubectl apply -f phi3-statefulset.yaml kubectl apply -f phi3-service.yaml

4. 验证部署

4.1 检查Pod状态

使用以下命令检查Pod是否正常运行：

kubectl get pods -l app=phi3-mini-instruct

4.2 查看日志确认模型加载

检查Pod日志确认模型已成功加载：

kubectl logs <pod-name> | grep "Model loaded"

4.3 测试API接口

在集群内部测试API接口：

kubectl run curl-test --image=curlimages/curl -it --rm -- \ curl -X POST http://phi3-service:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{"prompt": "介绍一下你自己", "max_tokens": 100}'

5. 集成Chainlit前端

5.1 部署Chainlit服务

创建Chainlit的Deployment配置：

apiVersion: apps/v1 kind: Deployment metadata: name: chainlit-ui spec: replicas: 1 selector: matchLabels: app: chainlit-ui template: metadata: labels: app: chainlit-ui spec: containers: - name: chainlit-container image: chainlit/chainlit:latest ports: - containerPort: 8000 env: - name: MODEL_API_URL value: "http://phi3-service:8000"

5.2 暴露Chainlit服务

创建Ingress或LoadBalancer服务：

apiVersion: v1 kind: Service metadata: name: chainlit-service spec: selector: app: chainlit-ui ports: - protocol: TCP port: 80 targetPort: 8000 type: LoadBalancer