当前位置：首页 > news >正文

多模态AI推理：如何用Qwen3.5-397B-A17B处理文本、图像和视频输入

news 2026/7/10 20:37:07

多模态AI推理：如何用Qwen3.5-397B-A17B处理文本、图像和视频输入

【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4

Qwen3.5-397B-A17B-MoE-MXFP4是一款强大的多模态AI模型，能够高效处理文本、图像和视频输入，为用户提供精准的文本输出。该模型基于先进的混合专家（MoE）架构，结合AMD的MXFP4量化技术，在保持高性能的同时显著提升了推理效率，非常适合新手和普通用户探索多模态AI的应用潜力。

一、模型核心能力解析 🚀

Qwen3.5-397B-A17B-MoE-MXFP4的核心优势在于其多模态输入处理能力和高效推理性能。模型架构采用Qwen3_5MoeForConditionalGeneration，支持文本、图像和视频三种输入类型，输出为结构化文本。这种灵活性使得它能够应用于从内容分析到智能交互的多种场景。

关键技术特性：

混合专家架构：包含512个专家和10个每令牌专家选择（num_experts_per_tok=10），实现计算资源的智能分配
MXFP4量化优化：通过AMD-Quark工具将权重和激活量化为OCP MXFP4格式，在GSM8K基准测试中实现99.31%的精度恢复率
多模态支持：配置文件中明确包含image_token_id(248056)和video_token_id(248057)，以及完整的视觉处理模块

二、快速开始：环境准备与安装

系统要求

运行Qwen3.5-397B-A17B-MoE-MXFP4需要满足以下环境要求：

操作系统：Linux
硬件：AMD MI350/MI355 GPU
软件栈：ROCm 7.2.0、PyTorch 2.9.1、Transformers 5.3.0

一键安装步骤

克隆仓库

git clone https://gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4 cd Qwen3.5-397B-A17B-MoE-MXFP4

安装依赖建议使用conda创建独立环境：

conda create -n qwen_moe python=3.10 conda activate qwen_moe pip install torch==2.9.1 transformers==5.3.0 sglang

三、文本推理：基础应用指南

文本推理是Qwen3.5-397B-A17B最基础也最常用的功能。通过简单的API调用，即可实现从文本输入到智能响应的全过程。

基本文本生成示例

from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("./") model = AutoModelForCausalLM.from_pretrained("./") prompt = "请解释什么是多模态AI模型？" inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=200) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

优化生成参数

通过调整generation_config.json中的参数，可以控制输出效果：

temperature：控制随机性（0.6为默认值，值越高输出越多样）
top_p：核采样参数（默认0.95）
top_k：限制采样候选数（默认20）

四、图像理解：处理视觉输入

Qwen3.5-397B-A17B具备强大的图像理解能力，能够分析图像内容并生成描述性文本。模型通过视觉编码器将图像转换为特征向量，再与语言模型结合生成输出。

图像输入处理流程

图像预处理：使用模型提供的preprocessor_config.json进行图像标准化
添加图像标记：在文本输入中插入<image>标记和对应的图像数据
生成描述：模型自动识别图像内容并生成文本描述

图像描述示例

from transformers import Qwen3_5MoeProcessor, Qwen3_5MoeForConditionalGeneration from PIL import Image processor = Qwen3_5MoeProcessor.from_pretrained("./") model = Qwen3_5MoeForConditionalGeneration.from_pretrained("./") image = Image.open("example.jpg").convert("RGB") prompt = "描述这张图片的内容：<image>" inputs = processor(prompt, image, return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=300) print(processor.decode(outputs[0], skip_special_tokens=True))

五、视频分析：处理动态视觉内容

视频处理是Qwen3.5-397B-A17B的高级功能，通过video_preprocessor_config.json定义的预处理流程，模型能够提取视频帧特征并理解时空信息。

视频处理关键参数

temporal_patch_size: 2（时间维度采样间隔）
num_position_embeddings: 2304（视频位置编码维度）
spatial_merge_size: 2（空间维度下采样比例）

视频分析示例

# 视频处理需要额外安装decord库 # pip install decord from transformers import Qwen3_5MoeProcessor, Qwen3_5MoeForConditionalGeneration from decord import VideoReader import numpy as np processor = Qwen3_5MoeProcessor.from_pretrained("./") model = Qwen3_5MoeForConditionalGeneration.from_pretrained("./") # 读取视频并采样帧 vr = VideoReader("example.mp4") frame_indices = np.linspace(0, len(vr)-1, 8, dtype=int) frames = [vr[i].asnumpy() for i in frame_indices] prompt = "描述这个视频的内容：<video>" inputs = processor(prompt, video=frames, return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=500) print(processor.decode(outputs[0], skip_special_tokens=True))

六、模型部署：使用SGLang提升推理性能

为获得最佳性能，推荐使用SGLang框架部署Qwen3.5-397B-A17B-MoE-MXFP4模型。SGLang针对大语言模型优化了推理流程，支持高并发请求处理。

启动SGLang服务

python3 -m sglang.launch_server \ --model-path ./ \ --tensor-parallel-size 4 \ --trust-remote-code \ --attention-backend aiter \ --mem-fraction-static 0.8 \ --host 0.0.0.0 --port 30000

发送推理请求

import requests import json url = "http://localhost:30000/v1/chat/completions" headers = {"Content-Type": "application/json"} data = { "model": "Qwen3.5-397B-A17B-MoE-MXFP4", "messages": [{"role": "user", "content": "分析这张图片的内容：<image>"}], "max_tokens": 300 } response = requests.post(url, headers=headers, json=data) print(response.json()["choices"][0]["message"]["content"])