当前位置：首页 > news >正文

Phi-3-mini-4k-instruct-gguf快速上手：VS Code远程开发+Jupyter Notebook联调

news 2026/7/26 15:31:03

Phi-3-mini-4k-instruct-gguf快速上手：VS Code远程开发+Jupyter Notebook联调

1. 环境准备与快速部署

Phi-3-mini-4k-instruct-gguf是微软推出的轻量级文本生成模型，特别适合问答、文本改写、摘要整理等场景。本文将带你快速搭建开发环境，实现VS Code远程开发与Jupyter Notebook联调。

首先确保你的开发环境满足以下要求：

支持CUDA的NVIDIA显卡（推荐RTX 3060及以上）
已安装最新版VS Code
具备基础的Python开发环境

1.1 安装必要组件

在VS Code中安装以下扩展：

Remote - SSH
Python
Jupyter

通过终端执行以下命令安装依赖：

pip install llama-cpp-python jupyter notebook

2. 远程开发环境配置

2.1 连接远程服务器

在VS Code中按Ctrl+Shift+P打开命令面板
输入"Remote-SSH: Connect to Host"
按照提示输入服务器地址和登录凭证

连接成功后，VS Code左下角会显示远程主机信息。

2.2 下载模型文件

在远程服务器上执行：

mkdir -p ~/models/phi3 cd ~/models/phi3 wget https://huggingface.co/TheBloke/Phi-3-mini-4k-instruct-gguf/resolve/main/phi-3-mini-4k-instruct-q4.gguf

3. Jupyter Notebook联调

3.1 创建Notebook文件

在VS Code中新建.ipynb文件，添加以下代码测试模型加载：

from llama_cpp import Llama llm = Llama( model_path="~/models/phi3/phi-3-mini-4k-instruct-q4.gguf", n_ctx=2048, n_threads=4 )

3.2 基础问答测试

在下一个单元格中输入：

response = llm.create_chat_completion( messages=[{"role": "user", "content": "用中文介绍你自己"}] ) print(response['choices'][0]['message']['content'])

运行后应该能看到模型的自我介绍。

4. 实用功能开发

4.1 文本改写功能

def rewrite_text(text, style="正式"): prompt = f"请把下面这句话改写得更{style}：{text}" response = llm.create_chat_completion( messages=[{"role": "user", "content": prompt}], temperature=0.3 ) return response['choices'][0]['message']['content'] print(rewrite_text("今天开会说的东西很多"))

4.2 摘要生成功能

def generate_summary(text, sentences=3): prompt = f"请用{sentences}句话总结以下内容：{text}" response = llm.create_chat_completion( messages=[{"role": "user", "content": prompt}], max_tokens=256 ) return response['choices'][0]['message']['content']

5. 性能优化建议

5.1 参数调优

模型支持以下关键参数调整：

temperature：控制创造性（0-1）
max_tokens：限制输出长度
top_p：影响词汇选择多样性

推荐配置：

response = llm.create_chat_completion( messages=[{"role": "user", "content": prompt}], temperature=0.2, max_tokens=512, top_p=0.9 )

5.2 批处理优化

对于批量任务，建议：

def batch_process(queries): results = [] for query in queries: response = llm.create_chat_completion( messages=[{"role": "user", "content": query}], temperature=0.1 ) results.append(response['choices'][0]['message']['content']) return results