【AI黑话日日新】什么是分布式训练？从数据并行到 ZeRO 优化的全景解析

TL;DR：本文系统梳理了深度学习分布式训练的核心技术栈，涵盖数据并行、模型并行、流水线并行、张量并行四大并行策略，深入解析 AllReduce 等通信原语的工作原理，详解 ZeRO 三阶段显存优化机制，并对比 DeepSpeed、Megatron-LM、FSDP、Ray 等主流框架的适用场景，最后讨论混合精度训练与未来趋势。

目录

• 1. 为什么需要分布式训练
• 2. 分布式训练的核心概念
• 3. 数据并行（Data Parallelism）