Qwen3.5-9B GPU算力适配教程：nvidia-smi验证+torch28环境配置

Qwen3.5-9B GPU算力适配教程：nvidia-smi验证+torch28环境配置

1. 教程概述

Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。本教程将手把手教你如何验证GPU算力并配置torch28环境，确保模型能够充分发挥性能。

你将学到：

• 如何验证GPU是否可用
• 如何搭建torch28环境
• 如何部署Qwen3.5-9B模型
• 常见问题解决方法

2. 环境准备

2.1 硬件要求

• GPU：至少16GB显存（推荐NVIDIA A100或RTX 3090）
• 内存：32GB以上
• 存储：至少50GB可用空间（模型文件约19GB）

2.2 软件要求

• 操作系统：Ubuntu 20.04/22.04
• CUDA版本：11.8或12.1
• Python版本：3.9或3.10

3. GPU验证与驱动安装

3.1 验证GPU状态

首先检查你的GPU是否被系统识别：

nvidia-smi

正常输出应显示类似以下内容：

+-----------------------------------------------------------------------------+ | NVIDIA-SMI 535.104.05 Driver Version: 535.104.05 CUDA Version: 12.2 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 NVIDIA RTX 3090 On | 00000000:01:00.0 Off | N/A | | 30% 45C P8 25W / 350W | 0MiB / 24576MiB | 0% Default | +-------------------------------+----------------------+----------------------+

3.2 安装NVIDIA驱动（如未安装）

# 添加官方PPA sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 安装推荐驱动 ubuntu-drivers devices sudo apt install nvidia-driver-535

安装完成后重启系统，再次运行nvidia-smi确认驱动正常工作。

4. Conda环境配置

4.1 安装Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh

按照提示完成安装后，初始化conda：

source ~/.bashrc

4.2 创建torch28环境

conda create -n torch28 python=3.10 -y conda activate torch28

5. PyTorch安装与验证

5.1 安装PyTorch 2.8

根据你的CUDA版本选择安装命令：

# CUDA 11.8 pip install torch==2.8.0 torchvision==0.15.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.1 pip install torch==2.8.0 torchvision==0.15.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu121

5.2 验证PyTorch GPU支持

import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))

预期输出：

2.8.0 True NVIDIA RTX 3090

6. Qwen3.5-9B模型部署

6.1 安装依赖包

pip install transformers gradio huggingface_hub

6.2 下载模型

git lfs install git clone https://huggingface.co/Qwen/Qwen3.5-9B /root/ai-models/Qwen/Qwen3.5-9B

6.3 创建启动脚本

创建/root/qwen3.5-9b/start.sh文件：

#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate torch28 python /root/qwen3.5-9b/app.py

赋予执行权限：

chmod +x /root/qwen3.5-9b/start.sh

7. Supervisor配置

7.1 安装Supervisor

sudo apt install supervisor -y

7.2 创建配置文件

创建/etc/supervisor/conf.d/qwen3.5-9b.conf：

[program:qwen3.5-9b] command=/bin/bash /root/qwen3.5-9b/start.sh directory=/root/qwen3.5-9b environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin" user=root autostart=true autorestart=true startsecs=30 startretries=3 redirect_stderr=true stdout_logfile=/root/qwen3.5-9b/service.log stopasgroup=true killasgroup=true

7.3 启动服务

sudo supervisorctl reread sudo supervisorctl update sudo supervisorctl start qwen3.5-9b

8. 常见问题解决

8.1 模型加载慢

解决方法：

• 检查GPU显存使用情况：nvidia-smi
• 确保模型路径正确
• 首次加载可能需要5-10分钟

8.2 CUDA内存不足

解决方法：

• 减少max_tokens参数
• 尝试半精度加载模型
• 升级更高显存的GPU

8.3 端口冲突

# 查看端口占用 ss -tlnp | grep 7860 # 修改app.py中的端口号 vim /root/qwen3.5-9b/app.py

9. 总结

通过本教程，你已经完成了：

1. GPU驱动验证与安装
2. torch28环境配置
3. Qwen3.5-9B模型部署
4. Supervisor服务管理

现在你可以通过http://服务器IP:7860访问Qwen3.5-9B的Web界面，体验其强大的多模态能力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。