华为昇腾与阿里Qwen3的协同创新：MindSpeed-LLM如何实现0day支持
华为昇腾与阿里Qwen3的协同创新：MindSpeed-LLM如何实现0day支持
【免费下载链接】Qwen3-0.6B-Base项目地址: https://ai.gitcode.com/hf_mirrors/MindSpeed/Qwen3-0.6B-Base
华为昇腾与阿里Qwen3的协同创新，通过MindSpeed-LLM实现了对Qwen3模型的0day支持，为开发者提供了快速部署和高效运行Qwen3大语言模型的强大平台。MindSpeed-LLM作为昇腾AI生态的重要技术支撑，凭借其与昇腾芯片的深度集成，在Qwen3发布当天就实现了模型的完美跑通。
0day首发！MindSpeed-LLM适配Qwen3并上线开源社区
Qwen3是阿里云于2025年4月28日发布并开源的最新一代大型语言模型，提供了一系列密集型和混合专家（MoE）模型，覆盖235B/32B/30B/14B/8B/4B/1.7B/0.6B等多个尺寸。在Qwen3正式发布的同一天，MindSpeed-LLM便立刻支持该模型的完美跑通，标志着MindSpeed-LLM在大规模语言模型应用和高效部署方面的技术优势再次得到巩固。
MindSpeed-LLM：为Qwen3赋能，极速支持无缝集成
MindSpeed-LLM专为大规模语言模型设计，具有超强的计算能力和灵活的开发支持。随着Qwen3的发布，MindSpeed-LLM已立即做好了全面支持和优化准备，为开发者提供了一个稳定、高效的平台来快速部署和调优Qwen3模型。
硬件与框架深度协同，立刻跑通
MindSpeed-LLM与昇腾芯片的深度集成，使得Qwen3大语言模型在发布的第一时间内，就能够顺利跑通并高效运行。无论是在训练过程中，还是在推理阶段，MindSpeed-LLM都为Qwen3提供了最佳的硬件加速支持，确保性能的最大化释放。昇腾NPU驱动和固件的商发版本为这一深度协同提供了坚实基础。
开箱即用，无需复杂配置
开发者只需简单配置，即可在MindSpeed-LLM上无缝运行Qwen3模型。框架提供了完整的工具链，帮助开发者快速将Qwen3应用到实际项目中，减少了复杂的调优过程，缩短了开发周期。
分布式计算优化
MindSpeed-LLM内置的分布式计算能力，能够有效利用多台昇腾AI硬件，确保Qwen3在大规模并发任务下的稳定运行，极大提升了处理效率和响应速度。
MindSpeed-LLM框架与Qwen3的同步发布并立刻支持跑通，标志着昇腾平台在大语言模型领域的技术实力再次提升。开发者可以在第一时间内，借助强大的昇腾计算能力，快速将Qwen3应用于实际项目，进一步加速智能应用的落地。
快速部署与应用：MindSpeed跑通Qwen3模型步骤
环境配置
硬件要求
qwen3的参考硬件配置如下，以A2单机8卡训练和推理为例：
| 类型 | 硬件 | 配置 |
|---|---|---|
| 全参微调 | NPU | 8 x Ascend NPUs |
MindSpeed-LLM仓库部署
MindSpeed-LLM的主要依赖配套包括昇腾NPU驱动、固件、CANN Toolkit等商发版本，以及Python >=3.10、PyTorch 2.1.0、torch_npu插件2.1.0等。安装步骤参考相关安装指导。
仓库拉取命令如下：
git clone https://gitcode.com/hf_mirrors/MindSpeed/Qwen3-0.6B-Base git clone https://github.com/NVIDIA/Megatron-LM.git cd Megatron-LM git checkout core_r0.8.0 cp -r megatron ../MindSpeed-LLM/ cd .. cd MindSpeed-LLM mkdir logs mkdir dataset mkdir ckpt环境搭建过程中，需安装torch和torch_npu，建议从原仓编译安装apex for Ascend，并安装加速库及其余依赖库。由于首发最新版本支持，要求transformers版本为4.51.3，用户需执行pip install transformers == 4.51.3。
权重转换
- 权重下载：从huggingface或者魔乐社区下载权重和配置文件。
- 权重转换：MindSpeed-LLM提供脚本将huggingface开源权重转换为mcore权重，用于训练、推理、评估等任务。使用方法如下，根据实际需要的TP/PP等切分策略和权重路径修改权重转换脚本：
cd MindSpeed-LLM bash tests/0day/qwen3/qwen3-0.6b/ckpt_convert_qwen3_0.6b_hf2mcore.sh数据预处理
MindSpeed-LLM提供脚本进行数据集处理，使用方法如下，根据实际需要修改参数：
cd MindSpeed-LLM bash tests/0day/qwen3/qwen3-0.6b/data_convert_qwen3_0.6b_pretrain.sh训练
cd MindSpeed-LLM bash tests/0day/qwen3/qwen3-0.6b/pretrain_qwen3_0point6_ptd.sh用户需要根据实际情况修改脚本中的MASTER_ADDR、NODE_RANK、CKPT_SAVE_DIR、DATA_PATH、TOKENIZER_PATH、CKPT_LOAD_DIR等变量。
推理
cd MindSpeed-LLM bash tests/0day/qwen3/qwen3-0.6b/generate_qwen3_0point6b_ptd.sh用户需要根据实际情况修改脚本中的MASTER_ADDR、NODE_RANK、CHECKPOINT、TOKENIZER_PATH等变量。
通过以上步骤，开发者可以在MindSpeed-LLM框架下快速部署和应用Qwen3模型，充分发挥华为昇腾与阿里Qwen3协同创新的优势，加速智能应用的落地。MindSpeed-LLM实现的0day支持，为大语言模型的快速应用提供了有力保障，展现了昇腾平台在大语言模型领域的强大技术实力。
【免费下载链接】Qwen3-0.6B-Base项目地址: https://ai.gitcode.com/hf_mirrors/MindSpeed/Qwen3-0.6B-Base
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考