当前位置：首页 > news >正文

3.2 分布式训练：并行策略与 DeepSpeed 实践

news 2026/5/11 21:22:50

3.2 分布式训练：并行策略与 DeepSpeed 实践

基于《大规模语言模型：从理论到实践（第2版）》第4章分布式模型训练

爆款小标题：数据并行、张量并行、流水并行怎么选？原书第4章+DeepSpeed 落地

为什么这一节重要

当模型参数量达到 7B、70B 甚至更大时，单卡显存无法容纳完整模型与优化器状态，必须依赖分布式训练把计算与显存分摊到多卡或多机。分布式训练有多种并行方式：数据并行、张量并行、流水并行，以及 ZeRO 等显存优化技术。选错策略会导致显存溢出、训练极慢或通信成为瓶颈。本节基于原书第 4 章与 DeepSpeed 实践，把各类并行的适用场景、ZeRO 的分片逻辑与使用顺序讲清，并给出「先跑通再调优」的落地建议。

学习目标

学完本节，你将能够：

区分三种并行：准确说明数据并行（DP）、张量并行（TP）、流水并行（PP）各自如何切分计算与数据、适用什么规模的模型、以及通信特点。
理解 ZeRO：说明 ZeRO-1/2/3 分别对优化器状态、梯度、参数做了哪些分片与通信，以及 ZeRO-3 相比 ZeRO-2 的额外收益与通信开销。
能做初步选型：根据模型规模（如 7B/70B）与单卡显存、卡数，初步选择「DP+ZeRO」或「DP+ZeRO+TP/PP」的组合，并能在 DeepSpeed 配置上跑通一个示例。