Phi-3-vision-128k-instruct详细步骤：vLLM服务启动+Chainlit前端验证

Phi-3-vision-128k-instruct详细步骤：vLLM服务启动+Chainlit前端验证

1. 模型简介

Phi-3-Vision-128K-Instruct是一个轻量级的多模态模型，属于Phi-3模型家族的最新成员。这个模型特别擅长处理图文对话任务，支持长达128K的上下文长度。它经过精心训练，能够准确理解图片内容并给出专业回答。

这个模型有几个突出特点：

• 轻量高效：相比同类模型，它体积更小但性能不打折
• 多模态能力：可以同时处理文字和图片输入
• 长上下文：支持超长对话记忆
• 安全可靠：经过严格的安全训练

2. 环境准备

2.1 系统要求

在开始前，请确保你的系统满足以下要求：

• Linux操作系统（推荐Ubuntu 20.04或更高版本）
• NVIDIA GPU（显存建议16GB以上）
• Python 3.8或更高版本
• CUDA 11.7或更高版本

2.2 安装依赖

首先安装必要的Python包：

pip install vllm chainlit torch

3. 使用vLLM部署模型

3.1 启动vLLM服务

使用以下命令启动模型服务：

python -m vllm.entrypoints.api_server \ --model Phi-3-Vision-128K-Instruct \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9

参数说明：

• --model: 指定模型名称
• --tensor-parallel-size: GPU并行数量
• --gpu-memory-utilization: GPU内存使用率

3.2 验证服务状态

服务启动后，可以通过以下命令检查日志：

cat /root/workspace/llm.log

看到类似下面的输出表示服务已成功启动：

INFO 05-10 15:30:12 api_server.py:150] Serving on http://0.0.0.0:8000 INFO 05-10 15:30:12 api_server.py:151] Model loaded successfully

4. 使用Chainlit创建前端界面

4.1 创建Chainlit应用

新建一个Python文件app.py，添加以下代码：

import chainlit as cl import requests @cl.on_message async def main(message: cl.Message): response = requests.post( "http://localhost:8000/v1/chat/completions", json={ "model": "Phi-3-Vision-128K-Instruct", "messages": [{"role": "user", "content": message.content}], "max_tokens": 2048 } ) await cl.Message(content=response.json()["choices"][0]["message"]["content"]).send()

4.2 启动Chainlit界面

运行以下命令启动前端：

chainlit run app.py -w

在浏览器中打开http://localhost:8000，你将看到Chainlit的交互界面。

5. 模型使用示例

5.1 上传图片并提问

在Chainlit界面中，你可以：

1. 点击上传按钮选择一张图片
2. 在输入框中输入问题，例如"图片中是什么？"
3. 点击发送按钮获取模型回答

5.2 示例对话

下面是一个典型的使用场景：

用户上传一张猫的图片，然后提问：

图片中的动物是什么品种？

模型可能回答：

图片显示的是一只英国短毛猫，特点是圆脸、短毛和铜色眼睛。

6. 常见问题解决

6.1 模型加载失败

如果遇到模型加载问题，可以尝试：

• 检查GPU驱动和CUDA版本是否兼容
• 确保有足够的GPU内存
• 尝试降低--gpu-memory-utilization参数值

6.2 Chainlit连接问题

如果前端无法连接模型服务：

• 确认vLLM服务正在运行
• 检查端口是否被占用
• 确保Chainlit配置中的地址正确

7. 总结

通过本教程，你已经学会了：

1. 如何使用vLLM部署Phi-3-Vision-128K-Instruct模型
2. 如何用Chainlit创建简单的前端界面
3. 如何进行图文对话交互

这个多模态模型非常适合需要同时处理图像和文本的应用场景，比如：

• 智能客服系统
• 教育辅助工具
• 内容审核平台
• 视觉问答应用

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。