Phi-3-mini-128k-instruct部署教程：WSL2环境下vLLM+Chainlit轻量开发环境搭建
Phi-3-mini-128k-instruct部署教程：WSL2环境下vLLM+Chainlit轻量开发环境搭建
1. 环境准备与快速部署
在开始之前，请确保您已经准备好以下环境：
- Windows 10/11操作系统
- 已启用WSL2功能
- 已安装Ubuntu 20.04或更高版本的WSL2发行版
1.1 安装必要依赖
首先，我们需要在WSL2环境中安装必要的依赖项。打开WSL2终端，执行以下命令：
sudo apt update && sudo apt upgrade -y sudo apt install -y python3-pip python3-venv git1.2 创建Python虚拟环境
为了避免依赖冲突，我们创建一个独立的Python虚拟环境：
python3 -m venv phi3-env source phi3-env/bin/activate1.3 安装vLLM和Chainlit
在激活的虚拟环境中，安装所需的Python包：
pip install vllm chainlit2. 模型下载与部署
2.1 下载Phi-3-mini-128k-instruct模型
我们可以直接从Hugging Face下载模型：
git lfs install git clone https://huggingface.co/microsoft/Phi-3-mini-128k-instruct2.2 使用vLLM启动模型服务
使用vLLM部署模型服务非常简单，只需一条命令：
python -m vllm.entrypoints.api_server --model ./Phi-3-mini-128k-instruct --tensor-parallel-size 1这个命令会启动一个本地API服务，默认监听8000端口。您可以通过查看日志确认服务是否启动成功：
tail -f /root/workspace/llm.log3. 创建Chainlit前端应用
3.1 编写Chainlit应用代码
创建一个名为app.py的文件，内容如下：
import chainlit as cl import requests @cl.on_message async def main(message: cl.Message): response = requests.post( "http://localhost:8000/v1/completions", json={ "model": "Phi-3-mini-128k-instruct", "prompt": message.content, "max_tokens": 512, "temperature": 0.7 } ) result = response.json() await cl.Message(content=result["choices"][0]["text"]).send()3.2 启动Chainlit应用
在终端中运行以下命令启动Chainlit前端：
chainlit run app.py -w启动后，Chainlit会自动打开浏览器窗口，显示交互界面。您可以在界面中输入问题，模型会实时生成回答。
4. 验证与测试
4.1 验证模型服务
确保模型服务正常运行后，您可以通过简单的提问来测试：
- 在Chainlit界面中输入"介绍一下你自己"
- 观察模型生成的回答是否符合预期
- 尝试不同类型的问题，验证模型的各项能力
4.2 性能优化建议
如果发现响应速度较慢，可以尝试以下优化方法：
- 增加vLLM的
--tensor-parallel-size参数（根据GPU显存大小调整） - 调整Chainlit的
-w参数控制工作线程数 - 在WSL2设置中分配更多内存资源
5. 常见问题解决
5.1 模型加载失败
如果模型无法加载，请检查：
- 模型文件是否完整下载
- WSL2是否有足够的磁盘空间
- 显存是否足够（至少需要8GB）
5.2 API连接问题
如果Chainlit无法连接到vLLM API，请确认：
- vLLM服务是否正常运行
- 端口8000是否被占用
- 防火墙设置是否允许本地连接
5.3 性能问题
如果遇到性能问题，可以尝试：
- 降低
max_tokens参数值 - 调整
temperature参数（0.1-1.0之间） - 使用更简单的提示词
6. 总结
通过本教程，我们成功在WSL2环境下搭建了一个轻量级的Phi-3-mini-128k-instruct开发环境，使用vLLM作为推理后端，Chainlit作为交互前端。这套方案具有以下优势：
- 轻量高效：适合个人开发者和研究者使用
- 易于部署：只需简单几步即可完成环境搭建
- 交互友好：通过Web界面与模型交互，体验良好
对于想要进一步探索的开发者，可以考虑：
- 尝试不同的模型参数配置
- 开发更复杂的前端应用
- 将服务部署到云平台
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。