当前位置：首页 > news >正文

Kimi-VL-A3B-Thinking Chainlit定制化开发：添加历史记录/多用户会话/图片标注功能

news 2026/5/12 13:38:53

Kimi-VL-A3B-Thinking Chainlit定制化开发：添加历史记录/多用户会话/图片标注功能

1. 项目背景与模型介绍

Kimi-VL-A3B-Thinking是一款基于混合专家架构(MoE)的开源视觉语言模型(VLM)，在多模态推理和长上下文理解方面表现出色。该模型仅激活2.8B参数就能达到与更大规模模型相当的性能。

核心优势：

支持128K超长上下文窗口
原生分辨率视觉编码器(MoonViT)
在MMMU、MathVista等专业评测中表现优异
通过CoT监督微调和强化学习获得强大的推理能力

我们使用vLLM部署了该模型，并基于Chainlit框架开发了交互式前端界面。本文将重点介绍如何在该框架基础上实现三个实用功能扩展。

2. 环境准备与基础部署

2.1 模型服务验证

部署完成后，可以通过以下命令检查服务状态：

cat /root/workspace/llm.log

成功部署后日志会显示模型加载完成信息，包括显存占用和API服务端口。

2.2 Chainlit基础调用

Chainlit是一个专为AI应用设计的Python框架，可以快速构建交互式界面。基础调用代码如下：

import chainlit as cl from vllm import LLM, SamplingParams @cl.on_message async def main(message: cl.Message): # 初始化采样参数 sampling_params = SamplingParams(temperature=0.7, top_p=0.9) # 调用vLLM引擎 output = llm.generate([message.content], sampling_params) # 返回响应 await cl.Message(content=output[0].text).send()

3. 功能扩展实现

3.1 多用户会话管理

在真实应用场景中，需要支持多用户同时使用且会话隔离。我们通过Chainlit的用户会话机制实现：

from collections import defaultdict # 存储各用户对话历史 user_sessions = defaultdict(list) @cl.on_chat_start async def start_chat(): user_session = cl.user_session.get("user") if user_session not in user_sessions: user_sessions[user_session] = []

3.2 对话历史记录功能

为提升用户体验，我们添加了对话历史记录和查看功能：

@cl.action_callback("show_history") async def show_history(action): history = user_sessions.get(cl.user_session.get("user"), []) history_text = "\n".join([f"Q: {q}\nA: {a}" for q, a in history]) await cl.Message(content=f"对话历史:\n{history_text}").send() @cl.on_message async def main(message: cl.Message): # 存储当前对话 user_id = cl.user_session.get("user") user_sessions[user_id].append((message.content, response)) # 添加历史查看按钮 actions = [cl.Action(name="show_history", value="click", label="查看历史")] await cl.Message(content=response, actions=actions).send()

3.3 图片标注功能增强

针对视觉问答场景，我们扩展了图片标注能力：

from PIL import Image, ImageDraw import io @cl.on_message async def handle_image(message: cl.Message): if message.elements: for element in message.elements: if "image" in element.mime: # 读取上传的图片 img = Image.open(io.BytesIO(element.content)) # 调用视觉模型处理 visual_output = process_image(img) # 在图片上添加标注 draw = ImageDraw.Draw(img) for obj in visual_output["objects"]: draw.rectangle(obj["bbox"], outline="red", width=3) draw.text(obj["bbox"][:2], obj["label"], fill="red") # 返回标注后的图片 buffered = io.BytesIO() img.save(buffered, format="PNG") await cl.Message( content="图片分析结果", elements=[cl.Image(name="标注结果", content=buffered.getvalue())] ).send()