当前位置：首页 > news >正文

如何使用lm-evaluation-harness评估Qwen3.5-397B-A17B-MoE-MXFP4：完整教程指南 [特殊字符]

news 2026/7/10 21:12:57

如何使用lm-evaluation-harness评估Qwen3.5-397B-A17B-MoE-MXFP4：完整教程指南 🚀

【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4

Qwen3.5-397B-A17B-MoE-MXFP4是一款基于混合专家架构的巨型语言模型，经过AMD MXFP4量化技术优化，能够在AMD MI350/MI355硬件上高效运行。本文将为您提供使用lm-evaluation-harness评估该模型的完整教程，帮助您全面了解其性能表现。 😊

为什么需要评估Qwen3.5-397B-A17B-MoE-MXFP4模型？

在部署任何大型语言模型之前，进行全面的性能评估是至关重要的。Qwen3.5-397B-A17B-MoE-MXFP4作为一款经过MXFP4量化的3970亿参数混合专家模型，其评估不仅需要验证准确性，还需要确保量化后的性能损失在可接受范围内。

模型技术亮点 ✨

混合专家架构：拥有512个专家，每token激活10个专家
MXFP4量化：权重和激活均采用OCP MXFP4量化技术
共享专家融合：共享专家也量化为MXFP4并融合到路由MoE内核中
多模态支持：支持文本、图像和视频输入
超长上下文：最大位置嵌入达262,144 tokens

环境准备与依赖安装

硬件要求 💻

推荐硬件：AMD MI350 / MI355系列GPU
ROCm版本：7.2.0或更高
PyTorch版本：2.9.1
操作系统：Linux

软件依赖安装

首先克隆模型仓库并安装必要的依赖：

git clone https://gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4 cd Qwen3.5-397B-A17B-MoE-MXFP4

安装SGLang推理引擎和lm-evaluation-harness：

pip install sglang pip install lm-evaluation-harness

模型服务启动配置

使用SGLang启动模型服务

Qwen3.5-397B-A17B-MoE-MXFP4推荐使用SGLang作为推理引擎，以下是最佳启动配置：

python3 -m sglang.launch_server \ --model-path amd/Qwen3.5-397B-A17B-MoE-MXFP4 \ --tensor-parallel-size 4 \ --trust-remote-code \ --attention-backend aiter \ --mem-fraction-static 0.8 \ --host 0.0.0.0 --port 30000

关键参数说明：

--tensor-parallel-size 4：使用4个GPU进行张量并行推理
--mem-fraction-static 0.8：为KV缓存预留80%的GPU内存
--attention-backend aiter：使用优化的注意力后端

模型配置文件解析 📋

Qwen3.5-397B-A17B-MoE-MXFP4的主要配置位于config.json中，包含：

模型架构：Qwen3_5MoeForConditionalGeneration
隐藏层大小：4096
注意力头数：32
专家数量：512
每token激活专家数：10
量化配置：MXFP4权重和激活量化

lm-evaluation-harness评估实战

GSM8K数学推理基准测试

GSM8K是评估数学推理能力的标准基准测试，以下是评估Qwen3.5-397B-A17B-MoE-MXFP4的具体步骤：

lm_eval --model local-chat-completions --apply_chat_template \ --tasks gsm8k.yaml \ --num_fewshot 5 \ --model_args "model=amd/Qwen3.5-397B-A17B-MoE-MXFP4,base_url=http://127.0.0.1:30000/v1/chat/completions,num_concurrent=64,tokenized_requests=False,max_length=16384" \ --gen_kwargs "max_tokens=12288,temperature=0,top_p=1"

评估结果解读 📊

根据官方评估结果，Qwen3.5-397B-A17B-MoE-MXFP4在GSM8K基准上的表现令人印象深刻：

基准测试	原始FP8模型	MXFP4量化模型	精度恢复率
GSM8K (5-shot)	97.95%	97.27%	99.31%

关键发现：

量化后的精度损失仅为0.68个百分点
精度恢复率达到99.31%，几乎无损
共享专家量化到MXFP4并融合到MoE内核中，进一步提升了推理速度

多任务评估配置

除了GSM8K，您还可以评估其他任务：

# 评估多个任务 lm_eval --model local-chat-completions --apply_chat_template \ --tasks gsm8k.yaml,arc_challenge.yaml,hellaswag.yaml \ --num_fewshot 5 \ --model_args "model=amd/Qwen3.5-397B-A17B-MoE-MXFP4,base_url=http://127.0.0.1:30000/v1/chat/completions" \ --gen_kwargs "max_tokens=4096,temperature=0,top_p=1"

高级评估技巧

1. 批量大小优化

对于大型模型，合理设置并发数可以显著提升评估效率：

# 调整并发数优化吞吐量 --model_args "...,num_concurrent=32,batch_size=4"

2. 内存优化策略

Qwen3.5-397B-A17B-MoE-MXFP4是3970亿参数的大模型，需要特别注意内存使用：

# 调整KV缓存配置 --model_args "...,max_length=8196" # 减少最大生成长度

3. 精度验证方法

验证量化效果时，建议对比原始FP8模型：

# 原始FP8模型评估 lm_eval --model local-chat-completions --apply_chat_template \ --tasks gsm8k.yaml \ --num_fewshot 5 \ --model_args "model=Qwen/Qwen3.5-397B-A17B-FP8,base_url=http://127.0.0.1:30000/v1/chat/completions"