DeepSpeed 训练实战：解决 FP16 梯度溢出与 BF16 迁移指南

作者：海天一色y

日期：2026-02-28

关键词：DeepSpeed, FP16, BF16, 梯度溢出, Loss Scale, 混合精度训练

后续会更新相关内容，感兴趣的小伙伴儿给博主点个免费的关注吧！

一、问题背景

在使用 DeepSpeed 进行大语言模型（LLM）微调时，开发者经常会遇到一个令人头疼的错误：

Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run.

这个错误通常发生在使用FP16（半精度浮点）混合精度训练时，本文将深入分析其根本原因，并提供完整的BF16（Brain Float 16）迁移方案。

二、错误深度解析

2.1 错误堆栈分析

从报错信息可以看出问题的完整调用链：

# 错误发生在 DeepSpeed 的优化器步骤中 File "/deepspeed/runtime/engine.py", line 2690, in step self._take_model_step(lr_kwargs) File "/deepspeed/runtime/zero/stage_1_and_2.py", line 2039, in step self._update_scale(self.overflow) File "/deepspeed/runtime/fp16/loss_scaler.py", line 182, in update_scale raise Exception("Current loss scale already at minimum...")

2.2 FP16 的动态损失缩放机制

DeepSpeed 使用动态损失缩放（Dynamic Loss Scaling）来解决 FP16 的数值范围限制问题：

问题本质：当梯度值过小（< $2^{-24}$），FP16 会下溢为 0，导致模型无法更新。DeepSpeed 通过动态增大损失缩放值来避免这个问题，但当损失缩放已经降到最小值（通常为 $2^{-24}$）而梯度仍然溢出时，就会抛出异常。

2.3 常见触发原因

三、解决方案对比

3.1 方案一：FP16 调优（临时方案）

如果硬件不支持 BF16，可以尝试以下 FP16 调优参数：

// ds_config_fp16_tuned.json { "fp16": { "enabled": true, "loss_scale": 0, // 0 表示动态 "initial_scale_power": 16, // 初始缩放值 2^16 = 65536 "loss_scale_window": 1000, // 缩放调整窗口 "hysteresis": 2, // 容忍连续溢出次数 "min_loss_scale": 1e-5 // 降低最小值（默认通常是 1e-4） }, "gradient_clipping": 1.0, // 添加梯度裁剪 "zero_optimization": { "stage": 2, "round_robin_gradients": true } }

局限性：这只是缓解措施，无法从根本上解决 FP16 的动态范围限制。

3.2 方案二：BF16 迁移（推荐方案）

BF16 的核心优势：

1. 更大的动态范围：与 FP32 相同的 8 位指数，几乎不会出现下溢

2. 无需损失缩放：省去了动态调整 loss scale 的开销和失败风险

3. 训练稳定性：对异常值和极端梯度更鲁棒

4. 速度优势：在现代 GPU 上，BF16 Tensor Core 利用率更高

四、BF16 完整迁移指南

4.1 硬件兼容性检查

在迁移前，务必确认 GPU 支持 BF16：

# check_bf16_support.py import torch ​ def check_hardware(): if not torch.cuda.is_available(): raise RuntimeError("CUDA 不可用") device_name = torch.cuda.get_device_name(0) capability = torch.cuda.get_device_capability(0) bf16_supported = torch.cuda.is_bf16_supported() print(f"GPU: {device_name}") print(f"Compute Capability: {capability[0]}.{capability[1]}") print(f"BF16 Supported: {bf16_supported}") # 支持 BF16 的架构 supported_archs = { (8, 0): "Ampere (A100)", (8, 6): "Ampere (RTX 3090/4090)", (8, 9): "Ada Lovelace (RTX 4090)", (9, 0): "Hopper (H100)" } arch_name = supported_archs.get(capability, "Unknown") print(f"Architecture: {arch_name}") return bf16_supported ​ if __name__ == "__main__": check_hardware()

支持 BF16 的 GPU 列表：

不支持 BF16 的 GPU：V100, T4, RTX 2080Ti, P100 等（Volta 及更早架构）

4.2 方案 A：命令行参数方式（推荐）

这是最简单直接的迁移方式，无需修改配置文件：

#!/bin/bash # train_bf16.sh ​ # 关键修改：添加 --bf16，移除 --fp16（如果有） DEEPSPEED_ARGS="--num_gpus=1" ​ MODEL_ARGS=" --model_name_or_path /workspace/Qwen3-0.6B \ --data_path /workspace/DeepSpeedExamples/applications/DeepSpeed-Chat/dschat/utils/data/data/train.jsonl " ​ TRAINING_ARGS=" --per_device_train_batch_size 2 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 4 \ --learning_rate 1e-5 \ --max_grad_norm 1.0 \ --num_train_epochs 3 \ --warmup_ratio 0.03 \ --logging_steps 10 \ --save_steps 500 \ --eval_steps 100 \ --bf16 # <-- 核心修改：启用 BF16 " ​ DEEPSPEED_CONFIG=" --zero_stage 2 \ --deepspeed ds_config_bf16.json \ --enable_tensorboard \ --tensorboard_path ./output \ --output_dir ./output " ​ # 执行训练 deepspeed $DEEPSPEED_ARGS main.py \ $MODEL_ARGS \ $TRAINING_ARGS \ $DEEPSPEED_CONFIG

4.3 方案 B：DeepSpeed 配置文件方式

创建专门的 BF16 配置文件ds_config_bf16.json：

{ "bf16": { "enabled": true }, "fp16": { "enabled": false }, "zero_optimization": { "stage": 2, "offload_optimizer": { "device": "cpu", "pin_memory": true }, "allgather_partitions": true, "allgather_bucket_size": 2e8, "overlap_comm": true, "reduce_scatter": true, "reduce_bucket_size": 2e8, "contiguous_gradients": true, "round_robin_gradients": true }, "train_batch_size": "auto", "train_micro_batch_size_per_gpu": "auto", "gradient_accumulation_steps": "auto", "optimizer": { "type": "AdamW", "params": { "lr": "auto", "betas": [0.9, 0.999], "eps": 1e-8, "weight_decay": 0.01 } }, "scheduler": { "type": "WarmupLR", "params": { "warmup_min_lr": 0, "warmup_max_lr": "auto", "warmup_num_steps": "auto" } }, "gradient_clipping": 1.0, "steps_per_print": 10, "wall_clock_breakdown": false, "dump_state": false }

配置要点：

• "bf16": {"enabled": true}：显式启用 BF16

• "fp16": {"enabled": false}：禁用 FP16，避免冲突

• "gradient_clipping": 1.0：即使 BF16 更稳定，仍建议保留梯度裁剪

4.4 方案 C：Hugging Face Trainer 集成

如果你使用 Hugging Face Trainer + DeepSpeed 集成：

# training_args_bf16.py from transformers import TrainingArguments, HfArgumentParser ​ def get_training_args(): parser = HfArgumentParser(TrainingArguments) # 命令行或代码中指定 args = TrainingArguments( output_dir="./output", num_train_epochs=3, per_device_train_batch_size=2, per_device_eval_batch_size=1, gradient_accumulation_steps=4, learning_rate=1e-5, max_grad_norm=1.0, warmup_ratio=0.03, # 关键：启用 BF16 bf16=True, fp16=False, # 确保 FP16 关闭 # DeepSpeed 配置 deepspeed="ds_config_bf16.json", # 日志和保存 logging_steps=10, save_steps=500, eval_steps=100, evaluation_strategy="steps", load_best_model_at_end=True, # 报告工具 report_to=["tensorboard"], logging_dir="./output/logs", ) return args

五、进阶优化技巧

5.1 自动混合精度选择

编写自适应代码，根据硬件自动选择精度：

# auto_mixed_precision.py import torch from transformers import TrainingArguments ​ def get_optimal_precision(): """根据硬件自动选择最佳精度""" if not torch.cuda.is_available(): return "fp32" # CPU 训练 if torch.cuda.is_bf16_supported(): # 检查是否为支持 BF16 的架构 capability = torch.cuda.get_device_capability() if capability[0] >= 8: # Ampere 及以上 return "bf16" return "fp16" ​ def create_training_args(precision=None): if precision is None: precision = get_optimal_precision() common_args = { "output_dir": "./output", "num_train_epochs": 3, "per_device_train_batch_size": 2, "gradient_accumulation_steps": 4, "learning_rate": 1e-5, "max_grad_norm": 1.0, } if precision == "bf16": print("✅ 使用 BF16 混合精度训练") return TrainingArguments(**common_args, bf16=True) elif precision == "fp16": print("⚠️ 使用 FP16 混合精度训练（建议检查稳定性）") return TrainingArguments(**common_args, fp16=True) else: print("ℹ️ 使用 FP32 全精度训练（速度较慢但最稳定）") return TrainingArguments(**common_args) ​ # 使用示例 args = create_training_args() # 自动检测 # 或手动指定：args = create_training_args("bf16")

5.2 监控和调试工具

添加训练状态监控，及时发现数值异常：

# training_monitor.py import torch import deepspeed from transformers import TrainerCallback ​ class NumericalStabilityCallback(TrainerCallback): """监控训练中的数值稳定性""" def on_step_end(self, args, state, control, model=None, **kwargs): if model is None: return # 检查模型参数 has_nan = False has_inf = False max_grad = 0.0 for name, param in model.named_parameters(): if param.grad is not None: if torch.isnan(param.grad).any(): has_nan = True print(f"⚠️ NaN detected in gradient: {name}") if torch.isinf(param.grad).any(): has_inf = True print(f"⚠️ Inf detected in gradient: {name}") grad_max = param.grad.abs().max().item() max_grad = max(max_grad, grad_max) if state.global_step % 100 == 0: print(f"Step {state.global_step}: Max gradient = {max_grad:.4f}") if has_nan or has_inf: # 可以选择暂停训练或调整学习率 control.should_training_stop = True return control ​ # 在 Trainer 中使用 from transformers import Trainer ​ trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, callbacks=[NumericalStabilityCallback()] # 添加监控回调 )

5.3 学习率调度优化

BF16 训练通常可以使用稍高的学习率：

# lr_scheduler_config.py { "scheduler": { "type": "WarmupDecayLR", "params": { "warmup_min_lr": 0, "warmup_max_lr": "auto", "warmup_num_steps": "auto", "total_num_steps": "auto", "lr_decay_style": "cosine" } } }

经验法则：

• FP16 推荐学习率：1e-5~5e-5

• BF16 推荐学习率：5e-5~1e-4（可承受略高的学习率）

六、常见问题 FAQ

Q1: 我的 GPU 不支持 BF16，该怎么办？

方案一：使用 FP16 但调小学习率

--learning_rate 5e-6 --max_grad_norm 0.5

方案二：使用 FP32 全精度（慢但稳定）

# 不添加 --fp16 或 --bf16

方案三：使用 Gradient Checkpointing 减少显存，换取 FP32 空间

Q2: BF16 精度足够吗？会不会影响模型效果？

大量研究表明，BF16 在大多数 LLM 训练任务中与 FP32 效果相当，甚至优于 FP16。因为：

• 保留了完整的 8 位指数（与 FP32 相同）

• 虽然尾数只有 7 位，但深度学习模型通常对精度不敏感

• 训练稳定性提升往往带来更好的最终效果

Q3: 如何确认训练确实在使用 BF16？

查看训练日志中的 DeepSpeed 配置输出：

[INFO] [config.py:xxx] BF16 is enabled. [WARNING] [config.py:xxx] FP16 is disabled.

或使用nvidia-smi查看 GPU 利用率模式。

Q4: 混合使用 FP16 和 BF16 可以吗？

不建议。DeepSpeed 不支持同时启用 FP16 和 BF16，这会导致未定义行为。选择一种并保持一致。

七、总结对比表

八、参考资源

1. DeepSpeed 官方文档 - BF16 支持

2. NVIDIA BF16 技术白皮书

3. Hugging Face 混合精度训练指南

4. Google Brain BF16 论文

结语

从 FP16 迁移到 BF16 是解决 DeepSpeed 梯度溢出问题的最有效方案。随着 Ampere 及更新架构 GPU 的普及，BF16 正在成为大模型训练的新标准。通过本文提供的完整迁移方案，你可以：

1. ✅ 彻底解决loss scale at minimum错误

2. ✅ 提升训练稳定性，减少调试时间

3. ✅ 在支持的硬件上获得更快的训练速度

4. ✅ 为未来更大规模的模型训练做好准备

检查你的 GPU 支持情况，开始 BF16 迁移吧！