快速部署通义千问1.5-1.8B-Chat模型：vllm部署与chainlit前端配置

快速部署通义千问1.5-1.8B-Chat模型：vllm部署与chainlit前端配置

想快速体验一个能流畅对话、还能帮你处理文本任务的本地AI助手吗？今天要介绍的通义千问1.5-1.8B-Chat-GPTQ-Int4模型，就是一个绝佳的选择。它体积小巧，经过量化优化后，在普通配置的机器上也能顺畅运行，再配合vllm的高效推理引擎和chainlit的简洁前端，从部署到使用，整个过程简单直接。

这篇文章，我就带你一步步完成这个模型的完整部署和配置。无论你是想搭建一个私人的聊天助手，还是为你的应用集成文本生成能力，这个方案都能让你在十分钟内看到效果。

1. 为什么选择这个组合方案？

在开始动手之前，我们先聊聊为什么是“通义千问1.5-1.8B-Chat + vllm + chainlit”这个组合。理解背后的选择，能帮你更好地使用它。

首先，通义千问1.5-1.8B-Chat是一个专门为对话优化的语言模型。“1.8B”指的是它的参数规模，这个大小在保证不错理解能力的同时，对硬件非常友好。后面的“GPTQ-Int4”是关键，它代表模型经过了量化压缩。简单来说，就是通过一种聪明的算法，在几乎不损失精度的情况下，把模型“瘦身”了。原本可能需要好几GB显存的模型，现在用更少的内存就能跑起来，速度还更快。这让你在个人电脑或普通的云服务器上部署和使用成为了可能。

其次，vllm是一个专为大规模语言模型设计的高吞吐量推理和服务引擎。你可以把它想象成一个超级高效的“模型运行管家”。它的核心优势有两个：一是采用了先进的注意力算法和内存管理策略，能极大地提升文本生成的速度；二是它原生提供了标准的API接口，让其他应用（比如我们的前端）能非常方便地调用模型。用vllm来部署，意味着你获得了一个既快又稳的模型服务后端。

最后，chainlit是一个专门为AI应用构建的聊天界面框架。它有点像给你家的AI模型“装修”了一个漂亮、实用的客厅。你不需要懂复杂的前端开发，用几行Python代码就能创建一个功能完整的Web聊天界面，支持对话历史、文件上传、流式输出等特性。对于快速验证模型效果、进行演示或者搭建简单的工具来说，chainlit是上手最快的方式。

所以，这个组合的核心理念就是：一个轻量高效的模型 + 一个性能强劲的推理引擎 + 一个开箱即用的交互界面。它瞄准的就是快速部署和易用性，让你能把精力集中在“用模型做什么”，而不是“怎么让模型跑起来”。

2. 环境准备与一键部署

得益于集成的镜像，最复杂的模型下载和环境配置步骤已经预先完成了。我们的起点是一个已经包含了模型文件、vllm服务端和chainlit前端的完整环境。你需要做的，就是启动它。

2.1 启动模型推理服务

部署的核心是启动vllm服务。这个服务会加载模型，并开放一个API端口供前端调用。通常，这一步通过一个启动脚本完成。

打开你的终端或WebShell，进入项目目录。你会找到一个启动脚本，比如叫做start_server.sh。运行它：

bash start_server.sh

或者，你也可以直接使用vllm的命令行来启动，命令可能类似这样：

python -m vllm.entrypoints.openai.api_server \ --model /path/to/qwen1.5-1.8b-chat-gptq-int4 \ --served-model-name qwen1.5-1.8b-chat \ --api-key token-abc123 \ --port 8000

命令参数简单解释一下：

• --model: 指定模型文件所在的路径。
• --served-model-name: 给你的服务起个名字，前端调用时会用到。
• --api-key: 设置一个API密钥，增加一点基础的安全性（非强制，但建议）。
• --port: 指定服务监听的端口号，默认是8000。

执行命令后，你会看到终端开始输出日志。vllm首先会加载模型，这个过程可能需要一两分钟，取决于你的磁盘速度。当看到类似“Uvicorn running on http://0.0.0.0:8000”的日志时，恭喜你，模型服务已经成功启动并在8000端口待命了。

2.2 验证服务状态

服务启动后，怎么确认它真的在正常工作呢？有两个简单的方法。

方法一：查看日志直接查看服务的输出日志。如果看到模型权重加载完成、API服务器启动成功的消息，就说明没问题。日志里通常会有“Model loaded”和“Application startup complete”这样的关键信息。

方法二：发送一个测试请求打开另一个终端，使用curl命令模拟一个最简单的API调用，问问模型“你好”：

curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer token-abc123" \ -d '{ "model": "qwen1.5-1.8b-chat", "prompt": "你好，请介绍一下你自己。", "max_tokens": 100 }'

如果服务正常，你会收到一个JSON格式的回复，其中choices[0].text字段里就是模型的回答。看到它回复了，心里就踏实了。

3. 配置与启动Chainlit前端

后端服务跑起来了，现在我们来搭建一个看得见、摸得着的聊天界面。Chainlit让这件事变得异常简单。

3.1 编写Chainlit应用文件

首先，在你的项目目录下创建一个Python文件，例如叫做app.py。这个文件将定义你的聊天应用。

将以下代码复制到app.py中：

import chainlit as cl from openai import OpenAI # 配置你的vllm服务器地址和API密钥 # 注意：这里的base_url指向你本地启动的vllm服务 client = OpenAI( base_url="http://localhost:8000/v1", # vllm服务的OpenAI兼容接口 api_key="token-abc123" # 与启动vllm时设置的api-key一致 ) @cl.on_message async def main(message: cl.Message): """ 这是Chainlit的核心消息处理函数。 每当用户在前端发送一条消息，这个函数就会被调用。 """ # 创建一个消息对象来显示“正在思考”的提示 msg = cl.Message(content="") await msg.send() # 调用本地的vllm服务 # 我们使用OpenAI SDK的格式，因为vllm兼容这个接口 response = client.chat.completions.create( model="qwen1.5-1.8b-chat", # 模型名称，与启动服务时设置的--served-model-name一致 messages=[ {"role": "system", "content": "你是一个乐于助人的AI助手。"}, # 系统提示，设定AI的角色 {"role": "user", "content": message.content} # 用户当前的问题 ], stream=True, # 启用流式输出，让回复一个字一个字地显示出来，体验更好 max_tokens=1024, temperature=0.7 # 控制回复的随机性，0.7是一个比较平衡的值 ) # 处理流式响应 for chunk in response: if chunk.choices[0].delta.content is not None: # 将模型返回的每一个文本片段添加到消息中 await msg.stream_token(chunk.choices[0].delta.content) # 流式传输完成，更新最终消息状态 await msg.update()

这段代码做了几件事：

1. 导入必要的库。
2. 创建一个OpenAI客户端，但指向我们本地的vllm服务器（http://localhost:8000/v1）。
3. 定义了一个异步函数main，它会在用户每次发送消息时触发。
4. 在函数内部，它构造一个请求发送给vllm服务，并开启流式传输。
5. 将vllm返回的文本流，实时地推送到前端界面显示给用户。

3.2 启动Chainlit应用

保存好app.py文件后，在终端中运行以下命令来启动前端：

chainlit run app.py

第一次运行可能会提示你安装一些依赖，按照提示操作即可。启动成功后，终端会输出一个本地访问地址，通常是http://localhost:8000（注意，如果和vllm端口冲突，chainlit会自动换一个，比如8080）。

现在，打开你的浏览器，访问这个地址。一个简洁、现代的聊天界面就出现在你面前了。

4. 开始对话与效果体验

界面加载后，你会在底部看到一个输入框。尝试问它一些问题，比如：

• “你能做什么？”
• “用Python写一个计算斐波那契数列的函数。”
• “给我讲一个简短的笑话。”
• “帮我总结一下《三体》的主要情节。”

敲下回车，你会看到回复以流式的方式，一个字一个字地显示出来，体验非常流畅。这个1.8B的模型在常识问答、代码生成、内容总结和创意写作方面，都有不错的表现。虽然它无法和那些千亿参数的大模型比深度和广度，但对于日常的辅助对话、灵感激发和简单的文本处理任务，已经完全够用，而且响应速度极快。

几个使用小技巧：

• 系统提示词：在app.py代码的messages列表里，有一个system角色的内容。你可以修改它来改变AI的“人设”，比如改成“你是一个严谨的代码评审专家”或“你是一个幽默的讲故事的人”，看看回复风格有何变化。
• 温度参数：代码中的temperature=0.7控制创造性。调低（如0.2）会让回复更确定、保守；调高（如1.0）会让回复更随机、有创意。根据你的任务调整。
• 对话历史：当前的示例是单轮对话。Chainlit本身支持维护对话历史，你可以修改代码，将之前的对话内容也放入messages列表中，来实现多轮上下文对话。

5. 总结

回顾一下，我们完成了一件什么事：我们利用vllm这个高性能引擎，部署了经过量化的通义千问1.5-1.8B-Chat模型作为后端服务；然后，用不到20行的Python代码，借助Chainlit框架搭建了一个美观实用的Web聊天前端。整个过程清晰、直接，没有复杂的配置。

这个方案的优点非常突出：

1. 本地化与隐私：所有数据都在你自己的服务器上处理，无需担心隐私泄露。
2. 成本低廉：小模型加量化技术，对硬件要求低，甚至可以在CPU上以可接受的速度运行。
3. 响应迅速：vllm的优化和模型的小体量，保证了极快的文本生成速度。
4. 易于集成：vllm提供标准的OpenAI API接口，意味着你不仅可以用于Chainlit，未来也可以轻松集成到其他任何支持该协议的应用中。
5. 开箱即用：Chainlit极大地降低了构建交互界面的门槛。

它非常适合作为个人学习AI模型部署的起点、企业内部搭建轻量级知识问答工具的原型，或者为其他应用提供文本生成能力的后端。现在，你的本地AI聊天助手已经就绪，接下来想用它来做什么，就完全取决于你的想象力了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。