ERNIE 4.5开放21B-A3B-Base模型

百度ERNIE系列大模型再添新成员，ERNIE-4.5-21B-A3B-Base-Paddle模型正式开放，标志着百度在大语言模型领域的技术积累和开放策略进入新阶段。

【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle

当前大语言模型领域正呈现"模型能力跃升"与"部署门槛降低"并行的发展趋势。随着MoE（Mixture of Experts）架构的普及，模型参数规模实现指数级增长的同时，通过激活参数的动态调配有效平衡了计算资源消耗。据相关研究数据显示，2024年全球MoE架构大模型的应用落地数量同比增长显著，成为企业级AI应用的主流选择。在此背景下，ERNIE 4.5系列模型的开放具有重要的行业参考价值。

ERNIE-4.5-21B-A3B-Base-Paddle模型的核心优势体现在三大技术创新上。首先是多模态异构MoE预训练技术，通过设计异构MoE结构和模态隔离路由机制，实现文本与视觉模态的协同训练。模型总参数达210亿，其中激活参数30亿，在保证计算效率的同时保留了强大的多模态理解能力。其次是高效可扩展的基础设施，基于PaddlePaddle深度学习框架，采用异构混合并行和分层负载均衡策略，结合FP8混合精度训练和4位/2位无损量化技术，显著提升了训练和推理性能。最后是特定模态后训练优化，针对文本生成任务进行专项优化，支持长达131072 tokens的上下文长度，为长文档处理、代码生成等场景提供强大支持。

该模型的开放将加速大模型技术的行业渗透。从技术架构看，其MoE设计采用64个文本专家和64个视觉专家，每次推理动态激活6个专家，配合2个共享专家，形成高效的计算资源分配机制。模型配置显示其包含28层网络结构，20个查询头和4个键值头，这些参数设置使其在文本续写任务中表现尤为突出。百度同时提供了完整的工具链支持，通过ERNIEKit可实现高效的LoRA微调，FastDeploy部署工具则简化了企业级应用的落地流程。

如上图所示，该图展示了ERNIE 4.5的多模态异构MoE架构，清晰呈现了文本与视觉模态的协同训练机制。这种设计使模型能够同时处理文本和视觉信息，为跨模态应用开发提供了基础架构支持。

对于开发者而言，模型提供了便捷的使用路径。通过huggingface-cli工具可直接下载模型权重，使用ERNIEKit进行指令微调（SFT）和对齐训练（DPO）仅需简单命令即可完成。以LoRA微调为例，开发者只需指定模型路径和配置文件，即可快速适配特定业务场景。在推理部署方面，FastDeploy支持单卡80G显存环境下的服务化部署，满足中小规模企业的应用需求。

从图中可以看出，ERNIE 4.5在多个权威评测集上表现优异，尤其在中文语言理解和生成任务上超越同类模型。这一性能优势得益于其创新的预训练方法和针对中文场景的深度优化。

ERNIE 4.5系列模型的开放体现了百度在AI技术普惠化进程中的持续努力。Apache 2.0开源协议允许商业使用，降低了企业级应用的技术门槛。随着模型生态的不断完善，预计将在智能客服、内容创作、数据分析等领域催生大量创新应用。未来，随着多模态能力的进一步开放和工具链的持续优化，ERNIE 4.5有望成为中文大模型应用开发的重要基础设施。

【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle