当前位置：首页 > news >正文

ERNIE-4.5-0.3B-PT Chainlit定制：添加用户身份识别与个性化回复策略

news 2026/5/12 2:00:58

ERNIE-4.5-0.3B-PT Chainlit定制：添加用户身份识别与个性化回复策略

1. 项目背景与目标

今天我们来聊聊如何给ERNIE-4.5-0.3B-PT模型加上用户身份识别和个性化回复功能。想象一下，你的AI助手能记住每个用户的偏好，给出量身定制的回答，是不是很酷？

这个项目基于vLLM部署的ERNIE-4.5-0.3B-PT文本生成模型，配合Chainlit前端界面。我们将通过一些简单的代码修改，让这个组合具备用户识别和个性化回复的能力。

为什么要做这个？因为通用的AI回复虽然准确，但缺乏个性。加上用户识别后，系统可以：

记住不同用户的对话历史
根据用户偏好调整回复风格
提供更贴心的个性化服务

2. 环境准备与快速部署

2.1 检查模型部署状态

首先确保你的ERNIE-4.5-0.3B-PT模型已经通过vLLM成功部署。打开终端，运行：

cat /root/workspace/llm.log

如果看到模型加载成功的日志信息，说明部署正常。通常你会看到类似"Model loaded successfully"或"Server started on port xxxx"这样的提示。

2.2 Chainlit前端准备

确保Chainlit前端可以正常访问。在浏览器中打开Chainlit界面，你应该能看到一个简洁的聊天窗口。如果还没部署Chainlit，可以用这个简单命令安装：

pip install chainlit

3. 用户身份识别功能实现

3.1 基本的用户识别方案

最简单的用户识别可以通过登录系统实现。我们在Chainlit中添加一个简单的用户认证：

import chainlit as cl from chainlit.input_widget import TextInput import uuid # 用户数据库（实际项目中应该用真正的数据库） user_db = {} @cl.on_chat_start async def start_chat(): # 请求用户输入用户名 settings = await cl.ChatSettings( [ TextInput( id="username", label="请输入您的用户名", initial="匿名用户" ) ] ).send() # 存储用户信息 user_id = str(uuid.uuid4()) user_db[user_id] = { "username": settings["username"], "preferences": {}, "chat_history": [] } # 将用户ID存入会话状态 cl.user_session.set("user_id", user_id) await cl.Message(f"欢迎 {settings['username']}！已为您创建个性化会话。").send()

3.2 基于Cookie的持久化识别

对于更持久的用户识别，我们可以使用浏览器Cookie：

@cl.on_chat_start async def handle_chat_start(): # 检查是否有现有的用户ID Cookie user_id = cl.user_session.get("http_context").get("cookies", {}).get("user_id") if not user_id: # 生成新用户ID并设置Cookie user_id = str(uuid.uuid4()) cl.user_session.set("http_context", { "cookies": {"user_id": user_id}, "headers": {} }) # 获取或创建用户档案 if user_id not in user_db: user_db[user_id] = { "username": f"用户{user_id[:8]}", "preferences": {}, "chat_history": [] } cl.user_session.set("user_id", user_id)

4. 个性化回复策略实现

4.1 用户偏好学习与记忆

让系统学习用户偏好其实很简单，就是记住用户的选择和反馈：

@cl.on_message async def handle_message(message: cl.Message): user_id = cl.user_session.get("user_id") user_data = user_db[user_id] # 记录对话历史 user_data["chat_history"].append({ "role": "user", "content": message.content, "timestamp": datetime.now().isoformat() }) # 分析用户消息中的偏好提示 preference_keywords = { "简单点": "concise", "详细些": "detailed", "专业点": "professional", "幽默些": "humorous" } for keyword, preference in preference_keywords.items(): if keyword in message.content: user_data["preferences"]["style"] = preference break # 生成个性化回复 personalized_prompt = build_personalized_prompt( message.content, user_data["preferences"] ) # 调用ERNIE模型（这里需要你的实际模型调用代码） response = await call_ernie_model(personalized_prompt) # 记录AI回复 user_data["chat_history"].append({ "role": "assistant", "content": response, "timestamp": datetime.now().isoformat() }) await cl.Message(content=response).send()

4.2 个性化提示词构建

这是实现个性化回复的核心逻辑：

def build_personalized_prompt(user_message, user_preferences): style_mapping = { "concise": "请用简洁的语言回答，直接给出核心信息。", "detailed": "请提供详细解释，包括背景信息和相关细节。", "professional": "请使用专业术语和正式语气进行回答。", "humorous": "请用幽默风趣的方式回答，可以适当加入笑话或俏皮话。" } style_instruction = style_mapping.get( user_preferences.get("style", "detailed"), "请提供详细解释，包括背景信息和相关细节。" ) # 构建个性化提示词 prompt = f""" 你是一个智能助手，正在与用户对话。 {style_instruction} 当前用户的消息是：{user_message} 请生成合适的回复： """ return prompt

5. 完整实现示例

5.1 完整的Chainlit应用代码

这是一个完整的示例，展示了如何将用户识别和个性化回复整合到一起：

import chainlit as cl from chainlit.input_widget import TextInput import uuid from datetime import datetime # 模拟用户数据库 user_db = {} def call_ernie_model(prompt): """ 这里应该替换为实际的ERNIE模型调用代码 目前返回模拟响应 """ # 实际项目中这里应该调用vLLM部署的ERNIE模型 return f"这是对提示词'{prompt[:50]}...'的模拟响应" @cl.on_chat_start async def init_chat(): settings = await cl.ChatSettings( [ TextInput( id="username", label="如何称呼您？", initial="新朋友" ) ] ).send() user_id = str(uuid.uuid4()) username = settings["username"] user_db[user_id] = { "username": username, "preferences": {"style": "detailed"}, "chat_history": [], "created_at": datetime.now().isoformat() } cl.user_session.set("user_id", user_id) await cl.Message(f"您好 {username}！我已记住您的偏好，将为您提供个性化服务。").send() @cl.on_message async def handle_message(message: cl.Message): user_id = cl.user_session.get("user_id") user_data = user_db.get(user_id, {}) # 更新对话历史 if "chat_history" not in user_data: user_data["chat_history"] = [] user_data["chat_history"].append({ "role": "user", "content": message.content, "time": datetime.now().strftime("%H:%M:%S") }) # 分析用户偏好 content_lower = message.content.lower() if "简单点" in content_lower: user_data["preferences"]["style"] = "concise" elif "详细" in content_lower: user_data["preferences"]["style"] = "detailed" elif "专业" in content_lower: user_data["preferences"]["style"] = "professional" elif "幽默" in content_lower: user_data["preferences"]["style"] = "humorous" # 构建个性化提示词 prompt = build_personalized_prompt(message.content, user_data["preferences"]) # 调用模型 response = call_ernie_model(prompt) # 记录并发送回复 user_data["chat_history"].append({ "role": "assistant", "content": response, "time": datetime.now().strftime("%H:%M:%S") }) await cl.Message(content=response).send() def build_personalized_prompt(user_message, preferences): style = preferences.get("style", "detailed") style_instructions = { "concise": "请用最简洁的语言回答，直接给出核心结论，不要多余解释。", "detailed": "请提供详细解答，包括背景信息、原因分析和相关细节。", "professional": "请使用专业术语和正式语气，提供准确可靠的信息。", "humorous": "请用幽默风趣的方式回答，可以加入适当的笑话和俏皮话。" } instruction = style_instructions.get(style, style_instructions["detailed"]) return f""" 根据用户偏好生成回复： {instruction} 用户消息：{user_message} 请生成合适的回复： """

5.2 部署与测试

保存上面的代码为app.py，然后运行：

chainlit run app.py -w

打开浏览器访问显示的地址，你就可以测试个性化聊天功能了。试试对不同风格偏好说类似"请用简单的方式解释"这样的话，看看回复风格的变化。

6. 进阶功能与优化建议

6.1 持久化存储

实际项目中，你应该使用数据库来存储用户信息：

# 使用SQLite示例 import sqlite3 def init_db(): conn = sqlite3.connect('users.db') c = conn.cursor() c.execute(''' CREATE TABLE IF NOT EXISTS users ( id TEXT PRIMARY KEY, username TEXT, preferences TEXT, chat_history TEXT, created_at TEXT ) ''') conn.commit() conn.close() def save_user_data(user_id, data): conn = sqlite3.connect('users.db') c = conn.cursor() c.execute(''' INSERT OR REPLACE INTO users (id, username, preferences, chat_history, created_at) VALUES (?, ?, ?, ?, ?) ''', ( user_id, data['username'], json.dumps(data['preferences']), json.dumps(data['chat_history']), data['created_at'] )) conn.commit() conn.close()

6.2 多维度个性化

除了回复风格，你还可以考虑更多个性化维度：

# 在用户数据结构中添加更多偏好维度 user_data = { "username": "用户", "preferences": { "style": "detailed", # 回复风格 "detail_level": "medium", # 详细程度 "formality": "casual", # 正式程度 "topics": [] # 感兴趣的话题 }, "chat_history": [] }