当前位置：首页 > news >正文

Phi-3.5-mini-instruct部署步骤详解：从镜像拉取、服务启动到Chainlit验证全流程

news 2026/4/21 6:04:25

Phi-3.5-mini-instruct部署步骤详解：从镜像拉取、服务启动到Chainlit验证全流程

1. 模型简介

Phi-3.5-mini-instruct是一个轻量级的开放模型，属于Phi-3模型家族。它基于高质量的数据集构建，特别关注推理密集型任务。这个模型支持长达128K令牌的上下文长度，经过严格的训练过程，包括监督微调、策略优化和直接偏好优化，确保能够精确遵循指令并具备强大的安全性能。

主要特点：

轻量级设计，适合资源有限的环境
支持超长上下文处理
经过优化，能够准确理解并执行复杂指令
内置安全措施，减少有害输出

2. 环境准备

2.1 系统要求

在开始部署前，请确保您的系统满足以下最低要求：

操作系统：Ubuntu 20.04或更高版本
内存：至少16GB RAM
存储：50GB可用空间
GPU：NVIDIA显卡（推荐RTX 3090或更高）
软件依赖：Docker、Python 3.8+

2.2 安装必要工具

如果您的系统缺少必要组件，可以运行以下命令安装：

# 更新系统包 sudo apt-get update && sudo apt-get upgrade -y # 安装Docker sudo apt-get install docker.io -y sudo systemctl enable --now docker # 安装Python和pip sudo apt-get install python3 python3-pip -y

3. 镜像拉取与部署

3.1 拉取镜像

使用以下命令从镜像仓库拉取Phi-3.5-mini-instruct的Docker镜像：

docker pull csdn-mirror/phi-3.5-mini-instruct:latest

拉取完成后，可以通过以下命令验证：

docker images | grep phi-3.5-mini-instruct

3.2 启动容器

运行以下命令启动模型服务：

docker run -d --gpus all -p 8000:8000 \ -v /path/to/models:/models \ --name phi-3-mini \ csdn-mirror/phi-3.5-mini-instruct:latest

参数说明：

--gpus all：启用所有可用的GPU
-p 8000:8000：将容器内的8000端口映射到主机
-v /path/to/models:/models：将本地模型目录挂载到容器内
--name phi-3-mini：为容器指定名称

4. 服务验证

4.1 检查服务状态

服务启动后，可以通过以下命令检查运行状态：

docker logs phi-3-mini

或者查看日志文件：

cat /root/workspace/llm.log

当看到类似以下输出时，表示服务已成功启动：

INFO: Started server process [1] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000

4.2 测试API接口

您可以使用curl命令测试API是否正常工作：

curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ -d '{"prompt": "介绍一下你自己", "max_tokens": 100}'

正常响应应包含模型生成的文本内容。

5. 使用Chainlit构建前端界面

5.1 安装Chainlit

首先安装Chainlit库：

pip install chainlit

5.2 创建前端应用

创建一个Python文件（如app.py），添加以下代码：

import chainlit as cl import requests @cl.on_message async def main(message: str): # 调用模型API response = requests.post( "http://localhost:8000/v1/completions", json={ "prompt": message, "max_tokens": 500 } ) # 获取模型响应 result = response.json()["choices"][0]["text"] # 返回给用户 await cl.Message(content=result).send()