面壁智能开源低比特大模型训练成果 BitCPM-CANN，推理阶段释放约 6 倍显存红利

【导语：面壁智能联合清华大学、OpenBMB 开源社区，在清华大学鲲鹏昇腾科教创新卓越中心支持下，正式发布并开源低比特大模型训练方向的最新成果 BitCPM-CANN，该成果在华为昇腾上原生完成，性能表现优异。】

BitCPM-CANN：低比特大模型训练新突破

面壁智能宣布联合多方正式发布并开源低比特大模型训练方向的最新成果 BitCPM-CANN。从量化算子、训练算法到全链路框架，BitCPM-CANN 均在华为昇腾上原生完成，包含 0.5B、1B、3B、8B 四个模型尺寸。

显存红利与能力保留率双优

相比传统 BF16 精度，BitCPM-CANN 在推理阶段释放约6 倍显存红利，同时将模型能力保留率维持在 90%-97.2%。评测结果显示，三个尺寸模型的能力保留率达到 95.7% - 97.2% 区间，即使是能力保留最弱的 0.5B，保留率也达到了 90.1%。

这一成果对于手机产业意义重大，6 倍的显存红利意味着一个 8B 参数的 BitCPM-CANN 大模型，可以轻松运行在当前主流旗舰手机之上。

搭建低比特训练底座

面壁智能基于 MindSpeed × Megatron-LM 主干搭建了完整的低比特训练底座，包含环境适配、32K 长序列支持、并行策略、融合算子等完整工程体系。从此，所有面向昇腾的低比特训练工作，都可建立在同一套公共基础设施之上。

编辑观点：BitCPM-CANN 的发布与开源是低比特大模型训练领域的重要突破，其显存红利和高能力保留率为大模型在更多设备上的应用提供了可能，搭建的训练底座也将推动相关领域的发展。