当前位置：首页 > news >正文

ERNIE-4.5-0.3B-PT实战教程：用chainlit快速构建内部知识问答Bot

news 2026/5/12 3:15:52

ERNIE-4.5-0.3B-PT实战教程：用chainlit快速构建内部知识问答Bot

1. 环境准备与快速部署

在开始构建知识问答Bot之前，我们需要确保环境已经正确配置。ERNIE-4.5-0.3B-PT模型已经通过vllm部署完成，我们可以通过以下步骤验证服务是否正常运行。

首先，检查模型服务日志：

cat /root/workspace/llm.log

如果看到类似下面的输出，说明模型已经成功部署：

[INFO] Model loaded successfully [INFO] API server started on port 8000

2. 安装chainlit并创建应用

chainlit是一个简单易用的Python库，可以快速为AI模型构建交互式界面。我们需要先安装它：

pip install chainlit

创建一个新的Python文件app.py，这是我们的问答应用入口：

import chainlit as cl from vllm import LLM, SamplingParams # 初始化模型 llm = LLM(model="ERNIE-4.5-0.3B-PT") sampling_params = SamplingParams(temperature=0.7, top_p=0.9)

3. 构建问答功能

接下来，我们需要实现问答的核心逻辑。在app.py中添加以下代码：

@cl.on_message async def main(message: str): # 创建响应消息 response = await cl.Message(content="").send() # 生成回答 output = llm.generate([message], sampling_params) answer = output[0].outputs[0].text # 更新响应消息 await cl.Message(content=answer).send()

这段代码做了以下几件事：

监听用户输入的消息
初始化一个空响应
调用ERNIE模型生成回答
将生成的回答发送给用户

4. 启动应用

现在我们可以启动chainlit应用了。在终端运行：

chainlit run app.py -w

-w参数会自动打开浏览器窗口，显示问答界面。你应该能看到一个简洁的聊天界面，可以开始提问了。

5. 优化问答体验

为了让问答体验更好，我们可以对应用做一些优化：

5.1 添加系统提示

修改app.py，在开头添加系统提示：

@cl.on_chat_start async def start(): await cl.Message( content="您好！我是基于ERNIE-4.5的知识问答助手，请问有什么可以帮您？" ).send()

5.2 处理长文本

ERNIE-4.5-0.3B-PT模型对长文本处理效果很好，我们可以添加分块处理：

@cl.on_message async def main(message: str): response = await cl.Message(content="").send() # 分块处理长文本 chunks = [message[i:i+512] for i in range(0, len(message), 512)] full_answer = "" for chunk in chunks: output = llm.generate([chunk], sampling_params) full_answer += output[0].outputs[0].text await cl.Message(content=full_answer).send()

5.3 添加历史记录

为了让对话更连贯，可以添加简单的对话历史：

@cl.on_chat_start async def start(): cl.user_session.set("history", []) @cl.on_message async def main(message: str): history = cl.user_session.get("history") history.append({"role": "user", "content": message}) # 将历史记录作为上下文 context = "\n".join([f"{h['role']}: {h['content']}" for h in history[-3:]]) prompt = f"{context}\nassistant:" output = llm.generate([prompt], sampling_params) answer = output[0].outputs[0].text history.append({"role": "assistant", "content": answer}) await cl.Message(content=answer).send()