Atlas 800I A2 vs Atlas 300I Duo：盘古Pro MoE硬件选型终极指南

Atlas 800I A2 vs Atlas 300I Duo：盘古Pro MoE硬件选型终极指南

【免费下载链接】Pangu-Pro-MoE项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/Pangu-Pro-MoE

盘古Pro MoE是一款高性能的AI模型，为了充分发挥其性能，选择合适的硬件平台至关重要。本文将对比两款主流昇腾硬件——Atlas 800I A2和Atlas 300I Duo，帮助您为盘古Pro MoE模型做出最佳硬件选型决策。

硬件平台基本要求

盘古Pro MoE推理建议使用1台（8卡）Atlas 800I A2（64G）服务器（基于BF16权重）或使用1台（8卡）Atlas 300I Duo服务器（基于BF16权重）。昇思MindSpore提供了盘古Pro MoE推理可用的Docker容器镜像，供开发者快速体验。

软件配置差异

Atlas 300I Duo特殊配置

使用Atlas 300I Duo推理需要将config.json文件中的torch_dtype配置项由bfloat16改为float16。对应的BF16权重将在模型加载时，自动转换为FP16权重。

推理参数调整

在推理参数设置上，两款硬件也有明显区别：

• gpu_memory_utilization=0.9，Atlas 300I Duo平台需要修改为0.8
• max_num_seqs=512，Atlas 300I Duo平台需要修改为128
• max_model_len=32768，Atlas 300I Duo平台需要修改为16384

镜像拉取与容器启动

Atlas 800I A2镜像拉取

若使用Atlas 800I A2进行推理，则需执行以下 Shell 命令，拉取昇思 MindSpore 盘古Pro MoE Atlas 800I A2推理镜像：

Atlas 300I Duo镜像拉取

若使用Atlas 300I Duo进行推理，则需执行以下 Shell 命令，拉取昇思 MindSpore 盘古Pro MoE Atlas 300I Duo推理镜像：

容器启动命令

以Atlas 800I A2推理为例，执行以下命令，创建并启动容器：

若使用Atlas 300I Duo进行推理，则将上述启动命令中的镜像地址swr.cn-central-221.ovaijisuan.com/mindsporelab/pangu_pro_moe_mindspore-infer:800-A2-20250623替换为swr.cn-central-221.ovaijisuan.com/mindsporelab/pangu_pro_moe_mindspore-infer:300I-Duo-20250623。

推理服务启动

Atlas 800I A2服务启动

执行以下shell命令启动Atlas 800I A2推理服务：

Atlas 300I Duo服务启动

若使用Atlas 300I Duo进行推理，则需执行以下shell命令启动推理服务：

性能表现对比

在昇腾Atlas 800I A2平台上部署盘古Pro MoE模型（基于W8A8量化权重），可在时延100ms的约束条件下，实现平均每卡1020token/s的增量吞吐性能。配套代码和镜像计划于7月上旬发布，敬请期待。

Atlas 300I Duo虽然在部分参数上有所限制，但凭借其独特的架构设计，在特定场景下也能展现出优异的性能表现，是预算有限情况下的理想选择。

选型建议

• 追求极致性能和更大模型支持：选择Atlas 800I A2，支持更高的max_num_seqs和max_model_len，适合处理复杂、长文本任务。
• 预算有限且任务相对简单：选择Atlas 300I Duo，通过适当调整参数，也能满足大部分推理需求。

无论选择哪款硬件，都需要确保按照官方文档正确配置软件环境和参数，以获得最佳性能。建议在正式部署前，根据实际任务特点进行充分测试和评估。

要开始使用盘古Pro MoE模型，请先克隆仓库：git clone https://gitcode.com/hf_mirrors/MindSpore-Lab/Pangu-Pro-MoE，然后根据所选硬件平台，参考README.md中的详细部署指南进行操作。

【免费下载链接】Pangu-Pro-MoE项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/Pangu-Pro-MoE