2025_NIPS_Rethinking Memory and Communication Costs for Efficient Data Parallel Training of Large...

文章总结与翻译

一、主要内容总结

（一）研究背景

大语言模型（LLMs）参数规模已达数百亿，分布式训练成为必备技术。现有分布式训练策略可分为基础策略（如数据并行ZeRO、模型并行Megatron）和复合策略（如多维混合并行、自动并行），但基础策略在特定场景下选择有限，且未充分考虑集群中组内与组间通信性能差异，导致训练速度存在优化空间。同时，针对参数高效微调（PEFT）等场景的分布式训练策略研究不足。

（二）核心方案：PaRO（Partial Redundancy Optimizer）

1. PaRO-DP（数据并行策略集）：基于模型状态（参数、梯度、优化器状态）的精细化分区（无分区N、组内分区I、全局分区G），筛选出14种有效策略组合，覆盖全参数训练、部分参数训练及PEFT场景。通过组内通信替代部分全局通信，在可接受的内存冗余下降低通信开销，例如PIIGP_{IIG}