3步搞定Phi-3-mini-4k-instruct-gguf在WSL中的部署与调用

3步搞定Phi-3-mini-4k-instruct-gguf在WSL中的部署与调用

1. 引言

想在Windows系统上快速体验Phi-3-mini模型？通过WSL（Windows Subsystem for Linux）环境部署是个不错的选择。本文将带你用最简单的方式，在WSL中完成Phi-3-mini-4k-instruct-gguf模型的部署和调用。

整个过程只需要三个主要步骤：准备WSL环境、安装必要依赖、加载并调用模型。即使你是第一次接触WSL或Phi-3模型，跟着本文操作也能在30分钟内完成部署并看到实际运行效果。

2. 环境准备

2.1 启用WSL功能

首先确保你的Windows系统已启用WSL功能。以管理员身份打开PowerShell，运行以下命令：

wsl --install

这个命令会自动安装WSL所需组件和默认的Ubuntu发行版。安装完成后需要重启系统。

2.2 设置Ubuntu环境

重启后，从开始菜单打开Ubuntu应用，它会自动完成初始化设置。你需要：

1. 创建用户名和密码（密码输入时不会显示字符，正常输入即可）
2. 运行更新命令确保系统是最新的：

sudo apt update && sudo apt upgrade -y

3. 安装必要依赖

3.1 基础工具安装

在Ubuntu终端中运行以下命令安装基础工具：

sudo apt install -y python3 python3-pip git

3.2 Python环境配置

建议使用venv创建独立的Python环境：

python3 -m venv phi3_env source phi3_env/bin/activate

然后安装必要的Python包：

pip install torch transformers sentencepiece

4. 模型部署与调用

4.1 下载GGUF模型文件

在WSL中创建一个工作目录并下载模型：

mkdir phi3_demo && cd phi3_demo wget https://huggingface.co/TheBloke/Phi-3-mini-4k-instruct-GGUF/resolve/main/phi-3-mini-4k-instruct.Q4_K_M.gguf

4.2 编写调用代码

创建一个Python脚本demo.py，内容如下：

from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_path = "./phi-3-mini-4k-instruct.Q4_K_M.gguf" tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-4k-instruct") model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) input_text = "解释一下量子计算的基本概念" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs, max_length=200) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

4.3 运行模型

在终端中执行脚本：

python demo.py

第一次运行时可能需要几分钟加载模型，之后调用会快很多。你应该能看到模型生成的回答。

5. 常见问题解决

5.1 权限问题

如果遇到权限错误，尝试：

chmod +x phi-3-mini-4k-instruct.Q4_K_M.gguf

5.2 内存不足

WSL默认内存限制可能较低，可以调整配置文件：

1. 在Windows用户目录下创建或修改.wslconfig文件
2. 添加以下内容：

[wsl2] memory=8GB swap=8GB

然后重启WSL：

wsl --shutdown

5.3 模型加载慢

首次加载GGUF模型需要较长时间，耐心等待即可。后续调用会快很多。

6. 总结

通过以上三个主要步骤，我们成功在WSL环境中部署并运行了Phi-3-mini-4k-instruct模型。整个过程相对简单，不需要复杂的配置，适合快速体验和开发测试。

实际使用中，你可以根据需要调整Python脚本中的参数，比如修改max_length控制生成文本长度，或者调整temperature参数改变生成结果的随机性。这个基础示例为你提供了一个起点，你可以在此基础上开发更复杂的应用。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。