ERNIE 4.5-21B重磅发布：210亿参数MoE模型来了

ERNIE 4.5-21B重磅发布：210亿参数MoE模型来了

【免费下载链接】ERNIE-4.5-21B-A3B-Base-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-PT

百度ERNIE（文心一言）家族再添新成员，正式发布210亿参数的混合专家模型（Mixture of Experts, MoE）——ERNIE-4.5-21B-A3B-Base-PT，标志着中文大模型在效率与性能平衡上迈出重要一步。

行业现状：MoE架构成大模型发展新方向

随着大语言模型参数规模持续膨胀，传统密集型模型面临计算成本高、部署门槛大等挑战。混合专家模型（MoE）通过仅激活部分参数处理输入，在保持模型能力的同时显著降低计算资源消耗，已成为大模型技术演进的重要方向。据行业研究显示，采用MoE架构的模型在相同算力条件下，通常能实现2-3倍的训练效率提升，并有效支持更长的上下文处理能力。目前，国内外主流AI企业均已将MoE技术视为下一代大模型的核心技术路径之一。

ERNIE 4.5-21B核心亮点解析

1. 创新MoE架构：210亿总参数，仅激活30亿

ERNIE-4.5-21B采用先进的MoE架构设计，总参数规模达210亿，但每个输入token仅激活约30亿参数（约14%）。模型包含64个文本专家和64个视觉专家，每次推理会动态选择6个文本专家和6个视觉专家参与计算，同时配备2个共享专家处理跨模态信息。这种设计使模型在保持高性能的同时，大幅降低了计算资源需求，为大模型的高效部署提供了可能。

2. 超长上下文处理：支持131072 tokens序列长度

该模型将上下文窗口扩展至131072 tokens（约26万字），远超当前主流大模型的上下文能力。这一突破使其能轻松处理超长文档理解、代码库分析、多轮对话等复杂任务，为企业级应用场景提供了更强的处理能力。

3. 高效训练与推理技术

ERNIE 4.5系列采用异构混合并行策略和分层负载均衡技术，结合FP8混合精度训练和细粒度重计算方法，实现了高效的模型训练。在推理优化方面，百度团队提出多专家并行协作方法和卷积码量化算法，可实现4位/2位无损量化，显著提升了模型在各类硬件平台上的部署效率。

4. 分阶段训练策略保障模型质量

为确保多模态联合训练的稳定性，ERNIE 4.5采用三阶段训练策略：前两阶段专注文本参数训练，构建强大的语言理解和长文本处理能力；第三阶段引入视觉模态参数，实现文本与视觉能力的相互增强。最终提取的文本相关参数形成了当前发布的21B模型，保证了基础模型的纯粹性和高性能。

行业影响：推动大模型产业化落地进程

ERNIE-4.5-21B的发布将加速大模型在企业级场景的应用普及。其高参数规模与高效计算的平衡特性，使得中大型企业无需顶级算力即可部署高性能大模型。在技术层面，百度展示的MoE架构创新、超长上下文处理和高效量化技术，为行业树立了技术标杆，可能引发新一轮大模型效率竞赛。

从应用角度看，该模型13万tokens的上下文能力，将显著提升法律文档分析、医疗记录处理、代码开发辅助等专业领域的AI应用深度。同时，其支持中英双语的特性，也为跨境业务场景提供了更好的自然语言处理支持。

结论与前瞻

ERNIE-4.5-21B的推出，体现了百度在大模型技术上的持续深耕。通过MoE架构实现性能与效率的平衡，不仅是技术上的突破，更代表着大模型从"参数竞赛"向"实用化"发展的行业趋势。随着模型效率的提升和部署成本的降低，我们有理由期待更多垂直领域将迎来AI应用的爆发式增长。

未来，随着多模态能力的进一步融合和模型优化技术的发展，ERNIE系列有望在企业级AI应用中扮演更加核心的角色，推动人工智能技术真正赋能千行百业。

【免费下载链接】ERNIE-4.5-21B-A3B-Base-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-PT