Phi-3-mini-4k-instruct-gguf一键部署：VMware虚拟机Ubuntu系统安装全流程

Phi-3-mini-4k-instruct-gguf一键部署：VMware虚拟机Ubuntu系统安装全流程

1. 准备工作与环境搭建

在开始之前，我们需要准备好必要的软件和资源。这个教程适合那些习惯在虚拟化环境中工作的开发者，特别是需要在本地测试后再部署到生产环境的场景。

首先确保你已经下载了以下内容：

• VMware Workstation Pro/Player（最新版本）
• Ubuntu Server 22.04 LTS镜像文件
• Phi-3-mini-4k-instruct-gguf模型文件

建议使用至少8GB内存的物理机，因为虚拟机需要分配足够资源才能流畅运行。如果你的机器配置较低，可以考虑使用轻量级的Ubuntu版本或者减少虚拟机分配的资源。

2. 创建Ubuntu虚拟机

2.1 新建虚拟机向导

打开VMware Workstation，点击"创建新的虚拟机"开始配置：

1. 选择"自定义(高级)"安装类型
2. 硬件兼容性选择最新版本
3. 选择"稍后安装操作系统"
4. 客户机操作系统选择Linux，版本选择Ubuntu 64位
5. 为虚拟机命名并选择存储位置（建议至少有30GB可用空间）

2.2 配置虚拟机硬件

在硬件配置界面，建议设置：

• 处理器：2核或更多（根据主机配置调整）
• 内存：至少4GB（8GB更佳）
• 网络连接：NAT模式（便于上网）
• 磁盘：SCSI类型，至少25GB容量，拆分成多个文件

完成后点击"完成"按钮创建虚拟机。

3. 安装Ubuntu系统

3.1 启动安装过程

右键新建的虚拟机，选择"设置"，在CD/DVD设备中选择下载的Ubuntu ISO镜像文件。然后启动虚拟机，进入Ubuntu安装界面。

选择"Install Ubuntu Server"开始安装：

1. 语言选择English（或其他你熟悉的语言）
2. 键盘布局保持默认
3. 网络配置选择DHCP自动获取IP
4. 代理设置留空（除非你有特殊需求）

3.2 磁盘分区

在磁盘分区步骤，选择"Use an entire disk"让安装程序自动分区。确认后继续：

1. 设置主机名（如ubuntu-phi3）
2. 设置用户名和密码（记住这些凭证，后续SSH连接需要）
3. 选择不安装SSH服务（我们稍后手动安装）
4. 跳过选择额外软件包

安装完成后，系统会提示重启。移除ISO镜像后按回车重启虚拟机。

4. 安装VMware Tools与基础配置

4.1 安装VMware Tools

重启后登录系统，我们需要安装VMware Tools以获得更好的性能和功能：

1. 在VMware菜单选择"虚拟机"→"安装VMware Tools"
2. 在虚拟机中挂载CD-ROM：

   sudo mkdir /mnt/cdrom sudo mount /dev/cdrom /mnt/cdrom

3. 解压并安装：

   cd /mnt/cdrom tar -xzvf VMwareTools-*.tar.gz -C /tmp/ cd /tmp/vmware-tools-distrib/ sudo ./vmware-install.pl -d

4.2 配置共享文件夹

为了方便在主机和虚拟机之间传输文件，设置共享文件夹：

1. 在VMware设置中添加共享文件夹（主机路径选择你的工作目录）
2. 在虚拟机中挂载共享文件夹：

   sudo mkdir /mnt/hgfs sudo vmhgfs-fuse .host:/ /mnt/hgfs -o subtype=vmhgfs-fuse,allow_other

3. 设置开机自动挂载：

   echo ".host:/ /mnt/hgfs fuse.vmhgfs-fuse allow_other,defaults 0 0" | sudo tee -a /etc/fstab

5. 配置SSH与网络

5.1 安装SSH服务

为了能够从主机SSH连接到虚拟机，安装OpenSSH：

sudo apt update sudo apt install -y openssh-server

检查SSH服务状态：

sudo systemctl status ssh

5.2 网络配置

确保虚拟机可以访问互联网：

ping -c 4 google.com

如果需要静态IP，编辑网络配置：

sudo nano /etc/netplan/00-installer-config.yaml

添加类似配置：

network: ethernets: ens33: dhcp4: no addresses: [192.168.1.100/24] gateway4: 192.168.1.1 nameservers: addresses: [8.8.8.8, 8.8.4.4]

应用配置：

sudo netplan apply

6. 部署Phi-3-mini模型

6.1 准备运行环境

安装必要的依赖：

sudo apt install -y python3-pip git pip3 install torch transformers

6.2 下载模型文件

从星图GPU平台下载Phi-3-mini模型：

git clone https://your-model-repo/phi-3-mini-4k-instruct-gguf.git cd phi-3-mini-4k-instruct-gguf

6.3 运行模型

使用Python脚本加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("./phi-3-mini-4k-instruct-gguf") tokenizer = AutoTokenizer.from_pretrained("./phi-3-mini-4k-instruct-gguf") input_text = "解释一下量子计算的基本原理" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs, max_length=200) print(tokenizer.decode(outputs[0]))

7. 总结与后续建议

整个安装过程走下来，VMware虚拟机提供了一个很好的隔离环境来测试和运行Phi-3-mini模型。相比直接在物理机上安装，虚拟机的优势在于可以随时创建快照和回滚，特别适合开发和测试场景。

实际使用中，我发现Ubuntu Server 22.04在这个配置下运行相当流畅，SSH连接也很稳定。Phi-3-mini模型在4K上下文长度下表现不错，虽然推理速度比不上直接使用GPU，但对于学习和测试来说已经足够。

如果你打算长期使用这个环境，建议考虑以下几点优化：

1. 定期创建虚拟机快照，防止系统崩溃导致数据丢失
2. 根据实际需求调整虚拟机的CPU和内存分配
3. 可以配置VS Code的Remote SSH插件，获得更好的开发体验
4. 考虑使用Docker容器来管理模型运行环境，提高可移植性

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。