056、多 GPU 分布式训练实战：DDP 配置、通信后端选型与加速比优化

056、多 GPU 分布式训练实战：DDP 配置、通信后端选型与加速比优化

一、从一次“训练卡死”说起

上个月调YOLOv6的分布式训练，8卡A100跑起来，前两个epoch正常，第三个epoch直接卡死——所有GPU的utilization掉到0%，日志停在“DataLoader worker 0”那一行。当时第一反应是“数据加载出问题了”，查了三天，最后发现是NCCL的通信超时设置太保守，加上模型里有个自定义的BatchNorm层没处理好同步。这种问题在单卡训练时根本不会出现，但一上分布式，所有隐藏的“地雷”都会炸。

分布式训练不是简单地把batch size乘以GPU数量。你可能会遇到：梯度同步卡死、通信后端选错导致性能下降、加速比远低于理论值、甚至模型精度莫名其妙变差。这篇文章就围绕YOLOv8/YOLOv11的DDP实战，把那些坑一个个填上。

二、DDP配置：别用DataParallel，用DistributedDataParallel

很多新手上来就用nn.DataParallel，觉得简单。但DataParallel有严重问题：主卡显存占用远高于其他卡，因为所有梯度汇总都在主卡上做。YOLOv8的官方代码从v8.0开始就全面转向DDP，这是有道理的。

DDP的核心配置代码，我直接贴一个能跑通的版本：