2025_NIPS_Hierachical Balance Packing: Towards Efficient Supervised Fine-tuning for Long-Context LLM

文章核心总结与翻译

一、主要内容

该研究针对长上下文大语言模型（LLM）有监督微调（SFT）中长、短上下文数据混合训练导致的工作量不平衡问题，提出了分层平衡打包（Hierarchical Balance Packing, HBP）方法。核心目标是在维持模型性能的同时，显著提升训练效率。

核心背景与问题

1. 长上下文LLM需同时处理长、短上下文数据以兼顾专项能力与通用能力，但混合训练存在两大核心问题：

   • 工作量不平衡：包括批次内（padding过多）和批次间（计算分布不均）不平衡；
   • 衍生问题：注意力计算复杂度差异大、序列并行（SP）导致的通信开销浪费、数据分布改变影响性能。

2. 现有数据打包方法的局限：仅采用单一层级打包，未解决注意力计算不平衡和通信开销浪费问题。

HBP核心组件

1. 分层组自动选择：通过性能分析确定最优打包长度组及对应配置（打包长度、梯度检查点、SP度数），避免单一长度打包的局限性；
2. 平衡打包：将样本分配到最优组，通过贪心填充减少padding、按注意力复杂度排序实现批次平衡，降低注意力不平衡率（ABR）和通信比率（CR）；
3. 动态训练流水线：包含课程学习（先短上下文后混合训练）、自