ERNIE-4.5-300B：MoE大模型开源亮相

ERNIE-4.5-300B：MoE大模型开源亮相

【免费下载链接】ERNIE-4.5-300B-A47B-Base-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-300B-A47B-Base-PT

百度ERNIE系列最新力作——ERNIE-4.5-300B-A47B-Base-PT（以下简称ERNIE-4.5-300B）正式以开源形式亮相，这款基于混合专家（Mixture of Experts, MoE）架构的超大规模语言模型，凭借3000亿总参数与470亿激活参数的配置，以及多模态异构MoE预训练等核心技术，再次刷新了行业对大模型性能与应用边界的认知。

近年来，大语言模型（LLM）正朝着规模化与专业化双轨并行的方向快速演进。一方面，模型参数量持续突破，从千亿级向万亿级迈进，以追求更强的通用智能；另一方面，MoE架构凭借其高效的计算资源利用率，成为平衡模型规模与训练推理成本的主流选择。据行业观察，2024年以来，采用MoE架构的大模型数量同比增长超过150%，其在降低单token计算成本的同时保持性能优势，已广泛应用于智能客服、内容创作、多模态交互等场景。在此背景下，ERNIE-4.5-300B的开源无疑为开发者社区注入了新的活力。

ERNIE-4.5-300B的核心竞争力体现在三大技术创新与实用特性上：

首先是多模态异构MoE预训练技术。该模型创新性地将文本与视觉模态进行联合训练，并设计了异构MoE结构与模态隔离路由机制。通过引入路由正交损失和多模态令牌平衡损失，有效避免了不同模态在训练中相互干扰，确保文本理解生成、图像理解及跨模态推理能力的协同增强。这使得模型不仅能处理纯文本任务，还为未来拓展至图文混合场景奠定了坚实基础。

其次是高效的规模化基础设施支持。基于飞桨（PaddlePaddle）深度学习框架，ERNIE-4.5-300B采用异构混合并行与分层负载均衡策略，结合节点内专家并行、内存高效流水线调度、FP8混合精度训练等技术，实现了高效的预训练吞吐量。在推理端，通过多专家并行协作与卷积码量化算法，更是实现了4位/2位无损量化，显著降低了部署门槛。

如上图所示，该示意图清晰展示了ERNIE-4.5-300B的MoE架构核心组件，包括文本专家、视觉专家以及模态隔离路由机制。这一架构设计是实现多模态高效协同训练的关键，也是模型能够在3000亿总参数规模下保持高效推理的基础。

再者，模型在实用性上进行了深度优化。其Base版本支持长达131072 tokens的上下文窗口，满足长文本处理需求，且提供PyTorch（-PT）与PaddlePaddle（-Paddle）两种权重格式，适配主流深度学习框架。通过vLLM等工具，开发者可实现高效部署，例如在16张80G GPU上即可启动服务，结合FP8在线量化技术更可将GPU需求降至8张，大幅降低了大规模模型的应用门槛。

从技术参数来看，ERNIE-4.5-300B展现了强大的配置规格：54层网络结构，64个查询头与8个键值头，配备64个文本专家与64个视觉专家（每轮推理各激活8个）。值得注意的是，当前开源的Base模型专注于文本补全能力，用户需使用vLLM/FastDeploy中的completionAPI进行评估，后续百度团队或将推出更完善的对话优化版本。

从图中可以看出，该参数表详细列出了ERNIE-4.5-300B的核心配置，包括模态支持、训练阶段、参数量、网络层数、上下文长度等关键信息。这些参数直观反映了模型的规模与能力边界，为开发者评估其适配场景提供了重要参考。

ERNIE-4.5-300B的开源将对大模型行业产生多维度影响。对于学术研究而言，其异构MoE架构与多模态训练方案为探索更高效的模型设计提供了宝贵的实践范例；对于企业开发者，3000亿参数级别的开源模型意味着可基于此进行定制化微调，快速构建高性能应用；而对于整个生态，百度持续开放核心技术的举措，将加速大模型技术的普惠化，推动AI应用在各行各业的深度落地。

Apache 2.0许可证的采用，确保了ERNIE-4.5-300B可用于商业用途，进一步降低了企业级应用的合规风险。随着模型的开源，预计将有更多开发者基于此进行二次创新，围绕模型优化、工具链开发、垂直领域适配等方向形成丰富的生态。

ERNIE-4.5-300B的开源，不仅是百度在大模型领域技术实力的又一次展示，更标志着超大规模MoE模型从闭源实验走向开源协作的重要转折。未来，随着多模态能力的进一步开放和社区贡献的积累，这款模型有望在智能内容生成、复杂知识问答、跨模态检索等领域发挥重要作用，为AI技术的创新应用开辟新的可能性。对于开发者而言，此刻正是深入探索MoE架构潜力、构建下一代智能应用的绝佳时机。

【免费下载链接】ERNIE-4.5-300B-A47B-Base-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-300B-A47B-Base-PT