ms-swift 大模型微调完整实战指南：从环境搭建到SFT/GRPO/OPD全流程

ms-swift 大模型微调完整实战指南：从环境搭建到SFT/GRPO/OPD全流程

摘要

随着大模型技术的迅猛发展，模型微调已成为将通用大模型适配到特定业务场景的关键环节。ms-swift（ModelScope SWIFT）作为魔搭社区官方推出的大模型与多模态大模型微调部署框架，凭借其强大的兼容性（支持500+大模型与200+多模态大模型的训练）、丰富的对齐算法集成（涵盖预训练、指令微调、GRPO、DPO、KTO等多种人类对齐方法）以及开箱即用的分布式训练支持，正成为越来越多开发者进行大模型微调的首选工具。本文聚焦于一个真实的生产级微调场景：在4张80GB显存的A100 GPU上，基于ms-swift框架，使用用户自己的数据集，完整跑通SFT（监督微调）、GRPO（Group Relative Policy Optimization）和OPD（On-Policy Distillation）三种训练范式，全程开启DeepSpeed ZeRO-3以优化显存利用。本文将提供详尽的代码示例、参数解析和踩坑指南，帮助读者从零开始构建一条完整的大模型微调生产线。

环境概览：4×A100 80GB GPU，CUDA 12.2，可连接外网，使用ms-swift最新版本。

目录

1. ms-swift框架概述与核心能力
2. 环境准备与安装
3. 自定义数据集准备
4. DeepSpeed ZeRO-3配置详解
5. 阶段一：SFT指令监督微调