当前位置：首页 > news >正文

Qwen3-VL-30B-A3B-Instruct Docker容器使用指南：快速构建推理环境

news 2026/6/8 12:10:48

Qwen3-VL-30B-A3B-Instruct Docker容器使用指南：快速构建推理环境

【免费下载链接】Qwen3-VL-30B-A3B-Instruct项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/Qwen3-VL-30B-A3B-Instruct

Qwen3-VL-30B-A3B-Instruct是一款基于MindSpore框架的视觉语言模型，通过Docker容器可以快速搭建推理环境，实现高效的图文交互能力。本文将详细介绍如何使用Docker容器部署该模型，让新手用户也能轻松上手。

准备工作：模型下载与环境要求 📋

在开始Docker部署前，需要先准备模型文件并确保硬件环境符合要求。Qwen3-VL-30B-A3B-Instruct推理需要2卡Atlas 800T/800I A2（64G）服务器，基于BF16权重运行。模型文件总大小约60GB，请确保磁盘空间充足。

模型下载步骤

添加下载路径白名单
执行以下命令为自定义下载路径添加白名单（以/mnt/data/Qwen3-VL-30B-A3B-Instruct为例）：
```
export HUB_WHITE_LIST_PATHS=/mnt/data/Qwen3-VL-30B-A3B-Instruct
```

安装依赖并下载模型
通过openmind_hub工具从魔乐社区下载模型权重：

pip install openmind_hub python from openmind_hub import snapshot_download snapshot_download( repo_id="MindSpore-Lab/Qwen3-VL-30B-A3B-Instruct", local_dir="/mnt/data/Qwen3-VL-30B-A3B-Instruct", local_dir_use_symlinks=False ) exit()

一键部署：Docker容器快速启动 ⚡

昇思MindSpore提供了预构建的Docker镜像，无需手动配置依赖，直接拉取镜像即可启动推理环境。

步骤1：清理系统进程

为避免资源冲突，先停止服务器中可能占用NPU资源的进程：

pkill -9 python pkill -9 mindie pkill -9 ray

步骤2：拉取推理容器镜像

执行以下命令拉取官方Docker镜像：

docker pull swr.cn-central-221.ovaijisuan.com/mindsporelab/qwen3vl:20250928

步骤3：创建并启动容器

通过以下命令映射模型路径和设备资源，启动交互式容器（注意修改/mnt/data路径为实际存储位置）：

docker run -it \ --privileged \ --name=Qwen3-VL-30B-A3B-Instruct \ --net=host \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ --device=/dev/davinci_manager \ -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \ -v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ \ -v /usr/local/sbin:/usr/local/sbin \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /mnt/data/Qwen3-VL-30B-A3B-Instruct/:/mnt/data/Qwen3-VL-30B-A3B-Instruct/ \ swr.cn-central-221.ovaijisuan.com/mindsporelab/qwen3vl:20250928 \ /bin/bash

快速体验：执行离线推理任务 🚀

容器启动后，可通过msrun命令执行图片描述等推理任务，支持中英文输入。

示例1：生成图片英文描述

将本地图片路径（如/mnt/data/Qwen3-VL-30B-A3B-Instruct/1.jpg）传入命令：

msrun --worker_num=2 --local_worker_num=2 --master_port=8118 --log_dir=msrun_log --join=True --cluster_time_out=300 /workspace/mindone/examples/transformers/qwen3_vl/generate_qwen3_vl_moe.py --model_name /mnt/data/Qwen3-VL-30B-A3B-Instruct --image /mnt/data/Qwen3-VL-30B-A3B-Instruct/1.jpg --prompt "Describe this image."

示例2：生成图片中文描述

使用中文prompt进行推理：

msrun --worker_num=2 --local_worker_num=2 --master_port=8118 --log_dir=msrun_log --join=True --cluster_time_out=300 /workspace/mindone/examples/transformers/qwen3_vl/generate_qwen3_vl_moe.py --model_name /mnt/data/Qwen3-VL-30B-A3B-Instruct --image /mnt/data/Qwen3-VL-30B-A3B-Instruct/1.jpg --prompt "请描述这张图片"