当前位置：首页 > news >正文

Phi-3-mini-128k-instruct Chainlit集成：支持Markdown渲染、LaTeX公式与代码高亮

news 2026/7/16 3:16:36

Phi-3-mini-128k-instruct Chainlit集成：支持Markdown渲染、LaTeX公式与代码高亮

1. 模型简介

Phi-3-Mini-128K-Instruct是一个38亿参数的轻量级开放模型，属于Phi-3系列中的高性能版本。这个模型经过精心训练，特别适合需要长文本理解和复杂推理的任务。

1.1 核心特点

轻量高效：仅38亿参数，却能达到接近大模型的性能
长文本支持：128K token的超长上下文处理能力
多领域适应：在常识、数学、编码和逻辑推理等任务上表现优异
安全可靠：经过监督微调和直接偏好优化，确保响应安全合规

模型训练使用了Phi-3数据集，包含合成数据和精选的公开网站数据，特别注重高质量内容和推理能力的培养。

2. 环境准备与部署验证

2.1 部署状态检查

部署完成后，可以通过以下命令验证服务是否正常运行：

cat /root/workspace/llm.log

如果看到类似下面的输出，表示模型已成功加载并准备就绪：

[INFO] Model loaded successfully [INFO] Ready to serve requests

2.2 Chainlit前端准备

Chainlit是一个专为AI应用设计的Python框架，可以快速构建交互式聊天界面。确保已安装最新版本的Chainlit：

pip install chainlit

3. Chainlit集成实践

3.1 基础集成代码

下面是一个完整的Chainlit集成示例，支持Markdown渲染、LaTeX公式和代码高亮：

import chainlit as cl from vllm import LLM, SamplingParams # 初始化模型 llm = LLM(model="Phi-3-mini-128k-instruct") sampling_params = SamplingParams(temperature=0.7, top_p=0.9) @cl.on_message async def main(message: cl.Message): # 创建响应对象 response = await cl.Message(content="").send() # 流式生成响应 output = llm.generate([message.content], sampling_params) # 逐步发送响应内容 for text in output: await response.stream_token(text) # 完成响应 await response.update()

3.2 Markdown与LaTeX支持

Chainlit原生支持Markdown渲染，可以直接在响应中使用：

@cl.on_message async def handle_message(message: cl.Message): # 示例：包含Markdown和LaTeX的响应 markdown_response = """ ## 数学公式示例 勾股定理： $$ a^2 + b^2 = c^2 $$ ## 代码示例 ```python def hello_world(): print("Hello, World!") ``` """ await cl.Message(content=markdown_response).send()

3.3 代码高亮实现

Chainlit会自动识别代码块并应用语法高亮。只需确保代码块使用标准的Markdown语法包裹：

```python # Python代码示例 def factorial(n): return 1 if n == 0 else n * factorial(n-1) ``` ```javascript // JavaScript代码示例 function greet(name) { return `Hello, ${name}!`; } ```

4. 高级功能实现

4.1 上下文记忆

利用Chainlit的会话状态实现多轮对话记忆：

@cl.on_chat_start def init_chat(): cl.user_session.set("conversation_history", []) @cl.on_message async def chat(message: cl.Message): history = cl.user_session.get("conversation_history") history.append({"role": "user", "content": message.content}) # 将历史记录作为上下文传递给模型 prompt = "\n".join([f"{msg['role']}: {msg['content']}" for msg in history]) output = llm.generate([prompt], sampling_params) response_text = output[0] history.append({"role": "assistant", "content": response_text}) await cl.Message(content=response_text).send()

4.2 文件上传处理

Chainlit支持文件上传功能，可以扩展为处理文档内容：

@cl.on_message async def process_file(message: cl.Message): if message.elements: for element in message.elements: if element.type == "text/plain": content = element.content.decode("utf-8") # 处理文件内容 response = llm.generate([f"分析以下文档:\n{content}"], sampling_params) await cl.Message(content=response[0]).send()