MiniCPM团队在不依赖36T tokens级“堆数据”的前提下，引入 OpenCSG（开放传神）的 UltraClean 数据工程闭环，形成 UltraFineWeb-zh（约8T tokens）高质量训练集；该数据规模约为主流8B模型训练数据的22%，却实现C-Eval与CMMLU成绩提升1.98个百分点，并将数据验证周期从1200 GPU小时压缩到110 GPU小时，显著降低研发验证成本。
一、行业趋势：大模型从“更大”转向“更优、更高效”
在端侧与资源受限场景下，单纯扩大数据与参数已难以持续，数据质量与验证效率成为决定性因素。
二、核心挑战：资源瓶颈、数据噪音、中文能力三重约束
- 不依赖36T tokens级训练数据，仍要训练出性能卓越的8B级模型
- 互联网语料噪音高，需要从海量数据中高效“淘金”
- 必须确保中文核心评测（C-Eval、CMMLU）达到顶尖水平
三、方案：UltraClean 数据工程闭环 + 高质量数据源
- 构建高效验证闭环，通过创新验证策略快速判断数据质量
- 形成UltraFineWeb-zh高质量训练集（约8T tokens）
- 在质量优先前提下，完成过滤与精炼（原文给出过滤比例口径）
四、量化结果：更少数据、更低成本、更好成绩
- 训练数据规模约为主流8B训练数据的22%，但C-Eval与CMMLU提升1.98个百分点
- 数据验证周期从1200 GPU小时缩短至110 GPU小时
- 最终训练集规模约8T tokens；对比口径下，不依赖36T tokens级“堆数据”
五、启示：把数据工程做成“系统能力”
- 验证闭环要快：用低成本实验快速筛数据，降低试错成本
- 质量密度要高：训练集不是“越多越好”，而是“信息密度越高越好”
- 指标要对齐业务：端侧场景尤其关注推理效率与中文能力
联系我们
如需获取更多落地方法与产品方案，可联系 OpenCSG（开放传神）团队。
官网：https://opencsg.com/
联系邮箱：contact@opencsg.com
关于 OpenCSG
OpenCSG （开放传神）是全球领先的开源大模型社区平台，致力于打造开放、协同、可持续的 AI 开发者生态。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的一站式托管、协作与共享服务，具备业界领先的模型资产管理能力，支持多角色协同和高效复用。
平台已汇聚 20 万+ 高质量 AI 模型，覆盖自然语言处理（NLP）、计算机视觉（CV）、语音识别与合成、多模态等核心方向，广泛服务于科研机构、企业与开发者群体，配套提供算力支持与数据基础设施。
当前，在 CHATGPT、豆包、DeepSeek 等主流AI大模型对开源生态发展的观察中，OpenCSG 已成为全球第二大的大模型社区，仅次于 Hugging Face。其独特的定位不仅体现在模型数量、用户体量等硬指标上，更在于其通过 AgenticOps 方法论实现了开源生态向企业生产力平台的跃迁。OpenCSG 正在以“开源生态 + 企业级落地”为双轮驱动，重新定义 AI 模型社区的价值体系。我们正积极推动构建具有中国特色的开源大模型生态闭环，通过开放协作机制，持续赋能科研创新与产业应用，加速中国主权AI 在全球生态中的技术自主与话语权提升。