当前位置：首页 > news >正文

Phi-3-Mini-128K代码实例：扩展支持Markdown渲染与代码块高亮显示

news 2026/3/26 18:09:41

Phi-3-Mini-128K代码实例：扩展支持Markdown渲染与代码块高亮显示

1. 项目概述

Phi-3-Mini-128K是一款基于微软Phi-3-mini-128k-instruct模型开发的轻量化对话工具。这个工具严格遵循官方推荐的加载与推理规范，支持128K超长上下文处理，并通过bfloat16半精度优化显存使用。工具采用Streamlit框架搭建了仿ChatGPT风格的交互界面，完全本地运行，无需网络依赖。

1.1 核心优势

高效推理：专为体验Phi-3系列小模型的高效推理而设计
超长上下文：原生支持128K超长上下文窗口
显存优化：采用bfloat16半精度显存优化技术
多轮对话：完整支持多轮对话记忆功能
本地运行：纯本地运行，无需网络连接

2. 环境准备与快速部署

2.1 系统要求

Python 3.8或更高版本
NVIDIA GPU（建议显存8GB以上）
CUDA 11.7或更高版本
PyTorch 2.0或更高版本

2.2 安装步骤

# 克隆项目仓库 git clone https://github.com/example/phi-3-mini-128k.git cd phi-3-mini-128k # 创建虚拟环境 python -m venv venv source venv/bin/activate # Linux/Mac venv\Scripts\activate # Windows # 安装依赖 pip install -r requirements.txt

2.3 快速启动

streamlit run app.py

启动成功后，控制台将输出访问地址（通常为http://localhost:8501），通过浏览器访问即可进入工具界面。

3. Markdown渲染与代码高亮实现

3.1 功能概述

本工具扩展了基础的文本对话功能，新增了对Markdown渲染和代码块高亮的支持。这使得模型生成的代码示例、技术文档等内容能够以更专业、更易读的方式呈现。

3.2 实现代码

from streamlit import markdown import re from pygments import highlight from pygments.lexers import get_lexer_by_name from pygments.formatters import HtmlFormatter def render_markdown_with_code_highlight(text): # 分割文本，识别代码块 parts = re.split(r'(```[\s\S]*?```)', text) for i, part in enumerate(parts): if part.startswith('```') and part.endswith('```'): # 提取代码语言和内容 language, code = part[3:].split('\n', 1) code = code[:-3] # 移除结尾的``` # 获取对应的语法高亮器 lexer = get_lexer_by_name(language.strip() if language.strip() else 'text') # 生成高亮HTML highlighted_code = highlight(code, lexer, HtmlFormatter()) # 替换原始代码块为高亮版本 parts[i] = f'<div style="margin: 1em 0;">{highlighted_code}</div>' # 组合所有部分并渲染 markdown(''.join(parts), unsafe_allow_html=True)

3.3 功能说明

代码块识别：使用正则表达式识别Markdown中的代码块（```包裹的内容）
语言检测：自动检测代码块指定的编程语言（如```python）
语法高亮：使用Pygments库实现专业的语法高亮
安全渲染：通过Streamlit的markdown函数安全渲染HTML内容

4. 使用示例

4.1 基础对话

在聊天输入框中输入问题或指令，例如：

请用Python实现一个快速排序算法，并解释其工作原理

4.2 代码高亮效果

模型回复将自动识别并高亮显示代码块：

def quick_sort(arr): if len(arr) <= 1: return arr pivot = arr[len(arr) // 2] left = [x for x in arr if x < pivot] middle = [x for x in arr if x == pivot] right = [x for x in arr if x > pivot] return quick_sort(left) + middle + quick_sort(right)

4.3 Markdown渲染

模型生成的Markdown内容也会被正确渲染：

标题：显示为不同大小的标题
列表：有序和无序列表正确显示
链接：可点击的超链接
强调：加粗和斜体文本

5. 高级功能配置

5.1 自定义高亮样式

可以通过修改CSS来自定义代码高亮的外观：

def apply_custom_style(): st.markdown(""" <style> .highlight { border-radius: 5px; padding: 1em; margin: 1em 0; background-color: #f8f8f8; } </style> """, unsafe_allow_html=True)