LLaMA-Factory 微调任务在 AMD Instinct GPU 上的实践

从推理到微调：打破 AMD GPU 的训练壁垒

在大模型领域，AMD Instinct GPU 凭借 ROCm 生态的进步，早已不再是“只能跑推理”的备选方案。许多开发者已经成功在 DevCloud 或本地工作站上利用 vLLM 搭建了高性能推理服务，但在涉及模型微调（Fine-tuning）时，往往因为缺乏明确的指引而望而却步。事实上，借助 LLaMA-Factory 这一统一框架，结合 DeepSpeed 或 FSDP 等分布式训练策略，完全可以在 AMD 显卡上高效完成指令微调任务。本文将聚焦于如何将成熟的推理环境延伸至训练领域，填补 AMD 平台微调教程的空白，带你跑通从数据准备到模型输出的完整流程。

训练环境构建与依赖适配

微调任务对环境的稳定性要求远高于推理。虽然你可能已经拥有了能运行 vLLM 的 ROCm 7.x 环境，但训练栈需要额外的编译工具链支持。首先，确保系统安装了hip-dev、rocm-libs以及对应的编译器（GCC 11 或 Clang 15）。对于 LLaMA-Factory，建议直接使用其官方提供的 Docker 镜像或在纯净的 Conda 环境中从头构建，以避免系统包冲突。

核心难点在于 PyTorch 的 ROCm 后端适配。必须安装专门编译的 PyTorch 版本，并通过export PYTORCH_ROCM_ARCH="gfx90a"（根据具体显卡架构调整，如 MI300 系列需设为gfx942）来指定目标架构。若忽略此变量，训练过程中极易出现"illegal instruction"错误导致进程崩溃。安装完基础依赖后，通过pip install llama-factory[deepspeed]引入训练框架及 DeepSpeed 支持。此时，务必运行一个简单的健康检查脚本，确认torch.cuda.is_available()返回 True，且能正确识别所有参与训练的 GPU 设备。

DeepSpeed 与 FSDP 的多卡通信配置

单卡显存难以承载大参数模型的微调，多卡并行是必经之路。在 ROCm 环境下，LLaMA-Factory 主要支持 DeepSpeed ZeRO 策略和 PyTorch 原生的 FSDP（Fully Sharded Data Parallel）。配置的关键在于解决卡间通信同步问题。

对于 DeepSpeed，你需要编写ds_config.json文件。重点在于将communication_data_type设置为fp16或bf16（视显卡支持情况），并确保zero_optimization中的stage设置合理（通常 stage 2 或 3 用于节省显存）。在 AMD 平台上，需特别注意 NCCL 的替代方案 RCCL（ROCm Communication Collectives Library）是否被正确链接。若遇到多卡启动 hangs 住的情况，尝试在启动命令前添加NCCL_DEBUG=INFO排查通信链路，或通过export RCCL_NET_PLUGIN=none禁用特定网络插件以规避兼容性 bug。

若选择 FSDP，则需在 LLaMA-Factory 的启动参数中启用--fsdp "full_shard auto_wrap"选项。FSDP 的优势在于更细粒度的显存管理，但在 ROCm 下需确保 PyTorch 版本较新（2.1+），以支持稳定的sharding_strategy。无论采用哪种策略，都建议通过numactl进行进程绑核，将每个训练进程绑定到对应的 NUMA 节点，减少跨 socket 通信带来的延迟，这对于提升多卡训练效率至关重要。

显存优化：梯度检查点与量化策略

微调场景下的显存压力主要来自激活值、梯度和优化器状态。为了在有限的显存内训练更大模型或增加 Batch Size，必须应用激进的优化策略。

梯度检查点（Gradient Checkpointing）是首选方案。它通过牺牲少量计算时间换取巨大的显存节省，原理是不存储中间激活值，而在反向传播时重新计算。在 LLaMA-Factory 中，只需添加--gradient_checkpointing true参数即可开启。实测表明，这能将显存占用降低 40% 以上，使得单卡微调 7B 甚至 14B 模型成为可能。

此外，量化感知训练也是重要手段。虽然全量微调通常使用 BF16 精度，但在显存极度紧张时，可结合 QLoRA 技术。LLaMA-Factory 支持--quantization_bit 4配合--lora_target_modules进行低秩适配微调。在 ROCm 环境下，需确认 bitsandbytes 库是否已正确编译为 HIP 版本（即bitsandbytes-rocm）。若官方尚未提供稳定 wheel 包，可能需要从源码编译并指定HIP_PATH。通过 4-bit 量化加载基座模型，仅训练 LoRA 适配器，可将显存需求进一步压缩至极致，同时保持接近全量微调的效果。

数据准备与全流程实战

一切就绪后，进入实质性的训练阶段。数据准备方面，LLaMA-Factory 支持多种格式，推荐使用标准的 JSONL 格式，包含instruction、input和output字段。对于中文场景，务必在预处理阶段检查分词器（Tokenizer）的截断长度，避免关键信息丢失。

启动训练的命令示例如下：

llamafactory-cli train\--model_name_or_pathmeta-llama/Meta-Llama-3-8B-Instruct\--do_train\--datasetalpaca_zh\--templatellama3\--finetuning_typelora\--lora_target_modulesall\--output_dir./saves/llama3-lora\--per_device_train_batch_size2\--gradient_accumulation_steps4\--lr_scheduler_typecosine\--logging_steps10\--save_steps100\--learning_rate5e-5\--num_train_epochs3.0\--plot_loss\--fp16\--gradient_checkpointingtrue\--deepspeedds_config.json

在训练过程中，密切观察loss曲线的下降趋势以及显存监控数据。若发现显存波动剧烈，可适当调小per_device_train_batch_size或增大gradient_accumulation_steps。训练完成后，LLaMA-Factory 会自动合并 LoRA 权重（若配置了 merge）并保存至输出目录。此时，你可以直接将微调后的模型路径指向之前搭建的 vLLM 推理服务，无需重启容器即可验证微调效果，真正实现从训练到推理的无缝闭环。

通过上述步骤，AMD Instinct GPU 不再仅仅是推理加速器，而是成为了具备完整大模型生产能力的训练平台。随着 ROCm 生态的持续迭代，越来越多的算子优化将被纳入，让开源社区在非 NVIDIA 硬件上的探索之路越走越宽。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper