A Survey on Efficient Large Language Model Training: From Data-centric Perspectives

文章主要内容总结

该论文是首篇从数据中心视角系统综述大语言模型（LLM）数据高效后训练的研究，核心围绕解决当前LLM后训练中人工标注成本高、数据规模边际收益递减、静态数据难以适配实时知识等痛点展开。

论文提出了数据价值飞轮框架，将数据高效后训练方法分为五大核心类别，形成闭环优化体系：

1. 数据选择：从原始数据中筛选高价值子集，包括静态过滤、动态选择、智能体策略、标注效率优化四种维度；
2. 数据质量增强：通过语义重写（提升多样性）、毒性控制（消除有害内容）、分布稳定（优化数据特征）改善现有数据效用；
3. 合成数据生成：基于指令驱动、知识引导、对抗生成三种方式创造新训练数据，突破数据稀缺限制；
4. 数据蒸馏与压缩：通过模型蒸馏（知识迁移）、数据蒸馏（提取高信息密度样本）、联合压缩（模型-数据协同优化）降低训练复杂度；
5. 自进化数据生态：依托自迭代优化、动态评估反馈、LLM作为评判者（自我评估）实现数据自主进化与持续优化。

此外，论文还分析了该领域的研究趋势（2022-2025年论文数量激增）、核心研究焦点（增强、合成、蒸馏等），并指出当前在领域适配性、大规模数据生成可扩展性、质量评估标准化等方面的挑战及未来研究方向。

创新点

1. 首个系统性分类框架：首次将LLM数据高效后训练方