LLaMA Factory大模型微调保姆级教程：6种方法，从零到精通，附零代码WebUI操作！
▎ 什么是 LLaMA Factory
LLaMA Factory 是一个开源的大语言模型训练与微调平台，支持超过 100 种预训练模型的高效微调。它入选了 ACL 2024 论文，目前在 GitHub 上已获得超过 40K 星标，是大模型微调领域最受欢迎的工具之一。
无论你是研究人员还是工程师，无论你有多卡 A100 集群还是只有一张消费级显卡，LLaMA Factory 都能帮你快速完成微调任务——甚至不需要写一行代码。
💡 核心优势：集成方法丰富、多精度支持、先进优化算法、WebUI 零代码操作、极速推理部署。
▎ 快速安装
三行命令即可完成安装：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e “.[torch,metrics]” --no-build-isolation
安装完成后，运行 llamafactory-cli version 验证是否成功。如果使用 Docker，可以一键启动：
docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest
▎ 三大微调策略
LLaMA Factory 支持的微调策略可以分为三大类，它们在效果和资源消耗之间各有取舍：
- 全参微调（Full）
更新模型的全部权重参数，效果最好但显存需求巨大。通常需要配合 DeepSpeed ZeRO-3 在多卡环境下进行。适合追求极致效果且资源充足的场景。
finetuning_type: full
- 冻结微调（Freeze）
只更新模型的部分层，大幅降低显存开销。通过指定冻结层数和可训练模块，在保持一定效果的前提下显著减少计算资源需求。
finetuning_type: freeze
- LoRA 低秩适配（推荐）
LoRA 是目前最主流的高效微调方法。它冻结全部预训练权重，仅在关键层插入一对低秩矩阵进行训练。配合 4-bit 量化（QLoRA），甚至可以在单张 RTX 3090 上微调 7B 模型。
finetuning_type: lora lora_target: all lora_rank: 8 lora_alpha: 16
💡 新手推荐：使用 LoRA + 4-bit 量化（QLoRA），是效果与资源消耗的最佳平衡点。
▎ LoRA 的进阶变体
LLaMA Factory 还支持多种 LoRA 改进方案，帮助你在不同场景下获得更好的效果：
LoRA+：为适配器矩阵 A 和 B 设置不同学习率，克服 LoRA 的次优问题。设置 loraplus_lr_ratio 即可启用。
rsLoRA：修改缩放因子，让大 rank 的 LoRA 训练更加稳定，避免梯度崩溃。设置 use_rslora: true 启用。
DoRA：将预训练权重分解为幅度和方向两个分量，分别进行更新，提升微调效果。设置 use_dora: true 启用。
PiSSA：使用 SVD 分解原权重的主成分来初始化适配器，收敛速度更快。设置 pissa_init: true 启用。
▎ 六大训练阶段
大模型微调不止"训练"这一步。LLaMA Factory 支持完整的训练流水线，覆盖从预训练到对齐的全过程。
阶段一：预训练（Pre-training）
在大规模语料上继续训练，增强模型的领域知识。例如用医学文献对通用模型进行增量预训练，让它具备更强的医学理解能力。
stage: pt
阶段二：监督微调（SFT）⭐
最核心的微调阶段。通过"指令-回答"对训练模型，让它学会遵循用户指令。这是后续所有对齐训练的基础。
stage: sft dataset: alpaca_zh_demo finetuning_type: lora
阶段三：奖励模型训练（RM）
训练一个"评委"模型，学习什么样的回答更符合人类偏好。它为后续的 PPO 强化学习提供评价信号。
stage: rm dataset: dpo_en_demo
阶段四：PPO 强化学习
经典的 RLHF 方法。通过奖励模型的反馈，利用近端策略优化（PPO）算法调整语言模型，让它输出更符合人类偏好的内容。训练过程涉及四个模型：Actor、Critic、Reference、Reward。
stage: ppo reward_model: saves/llama3-8b/lora/reward
阶段五：DPO 直接偏好优化 ⭐
无需单独训练奖励模型，直接从偏好数据中学习。训练更简单、更稳定、成本更低，是目前最流行的对齐方案。还支持 ORPO 和 SimPO 等变体。
stage: dpo pref_beta: 0.1 pref_loss: sigmoid
阶段六：KTO
只需要标注回答的好与坏（二元标注），无需配对的偏好数据。在标注成本受限时，是 DPO 的绝佳替代方案。
stage: kto pref_beta: 0.1
💡 推荐路径：SFT → DPO（最简单有效的全流程方案）
▎ 分布式训练
当模型太大或数据太多时，需要用到分布式训练。LLaMA Factory 支持三种分布式引擎：
DDP：最基本的数据并行方案，每张 GPU 保留完整模型参数。
DeepSpeed：微软开发的深度学习训练引擎，支持 ZeRO-1/2/3 内存优化和 CPU Offload，是大模型训练的首选。
FSDP：全切片数据并行，将参数、梯度和优化器状态都分片到不同 GPU，适合极限显存优化场景。
DeepSpeed 启动 FORCE_TORCHRUN=1 llamafactory-cli train config.yaml
▎ 零代码训练：WebUI
LLaMA Factory 提供了 LlamaBoard 可视化界面，只需一行命令即可启动：
llamafactory-cli webui
在浏览器中即可完成模型选择、数据配置、参数调整、训练启动和实时监控。无需编写任何配置文件或命令，是初学者的最佳入门方式。
▎ 模型合并与部署
LoRA 微调后需要合并权重才能部署。LLaMA Factory 提供了便捷的合并和推理命令：
假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。
接下来告诉你一条最快的邪修路线，
3个月即可成为模型大师，薪资直接起飞。
阶段1:大模型基础
阶段2:RAG应用开发工程
阶段3:大模型Agent应用架构
阶段4:大模型微调与私有化部署
配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇