llama-factory || AutoDL || 自定义数据集微调实战指南
1. 从零开始：认识llama-factory与AutoDL
第一次接触llama-factory时，我完全被这个开源项目的设计理念打动了。它就像是为大模型微调量身定制的"乐高积木"，把复杂的模型训练过程封装成了可视化的操作界面。而AutoDL作为国内领先的AI开发平台，最大的优势就是提供了即开即用的GPU算力，再也不用为配置环境发愁了。
这两个工具组合起来特别适合三类人群：刚入门NLP的学生党、需要快速验证idea的研究员，以及中小企业的算法工程师。我自己在电商评论情感分析项目中就用了这个组合，从数据准备到模型上线只用了不到8小时。最让我惊喜的是，整个流程几乎不需要写代码，所有操作都能在网页界面完成。
提示：虽然界面友好，但建议先了解transformer和微调的基本概念，这样遇到报错时更容易排查
2. 数据准备：打造高质量训练集
2.1 数据集格式规范
很多新手最容易栽在数据准备这一步。llama-factory支持的格式其实很灵活，但JSON是目前最稳定的选择。我习惯用这种结构：
[ { "instruction": "分析这段文本的情感倾向", "input": "手机续航能力太差了", "output": "负面" }, // 更多样本... ]最近做法律合同分类项目时，我发现几个关键细节：
- 单个样本不要超过512个token（可以用tiktoken库检查）
- 输出内容尽量控制在3句话以内
- 避免出现特殊符号如<>/
2.2 数据清洗实战技巧
上周帮朋友处理医疗问答数据时，我们用了这个预处理流水线：
import re import json def clean_text(text): text = re.sub(r'\s+', ' ', text) # 合并空格 text = text.replace('\u3000', ' ') # 处理中文空格 return text.strip() with open('raw_data.json') as f: data = json.load(f) cleaned_data = [{ 'instruction': clean_text(item['question']), 'output': clean_text(item['answer'][:200]) # 截断长回答 } for item in data]3. 平台配置：AutoDL环境搭建
3.1 实例选择指南
在AutoDL上创建实例时，我总结出这样的配置原则：
- 7B以下模型：RTX 3090（24G显存）够用
- 13B模型：建议A100 40G
- 70B模型：需要A100 80G * 2卡
最近发现个省钱技巧：先选最低配置把环境装好，创建镜像后再换高配机。这样基础环境安装时间就不计费了。
3.2 环境部署步骤
这是我验证过最快的部署方案：
# 1. 基础环境 conda create -n llama-factory python=3.10 conda activate llama-factory # 2. 安装依赖 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -r requirements.txt # 3. 启动WebUI CUDA_VISIBLE_DEVICES=0 python src/train_web.py常见坑点：
- 如果报错
libGL.so.1缺失，需要运行apt install libgl1 - 端口被占用时，修改
src/train_web.py里的demo.launch(server_port=7860)
4. 微调实战：从入门到精通
4.1 参数配置详解
在Web界面中，这几个参数对效果影响最大：
- 学习率：7B模型建议3e-5，13B模型建议1e-5
- Batch size：根据显存调整，3090跑7B模型可以设到32
- LoRA rank：一般设为8或16，太高容易过拟合
上周调参时意外发现个小技巧：先跑1个epoch看loss曲线，如果震荡剧烈就把学习率减半。
4.2 训练监控与调试
训练开始后要重点观察三个指标：
- 显存占用（nvidia-smi）
- Loss下降曲线
- 样本处理速度
遇到loss不下降时，可以尝试：
- 检查数据标注质量
- 减小学习率
- 增加warmup步数
5. 模型部署与应用
5.1 模型导出方案
训练完成后，我常用这两种部署方式：
- 直接使用WebUI的推理接口
- 导出为HuggingFace格式：
python src/export_model.py \ --model_name_or_path path_to_checkpoint \ --output_dir export_path5.2 性能优化技巧
在实际业务中部署时，这几个优化立竿见影：
- 使用vLLM加速推理
- 开启TensorRT优化
- 对长文本启用Flash Attention
最近给客户部署客服系统时，经过优化后QPS从15提升到了120，关键就是正确配置了--max_batch_size参数。
6. 常见问题解决方案
6.1 显存不足报错
遇到CUDA out of memory时，可以尝试：
- 启用gradient checkpointing
- 使用4bit量化：
from transformers import BitsAndBytesConfig bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16 )6.2 训练中断恢复
突然断电后恢复训练的方法：
python src/train_web.py \ --resume_from_checkpoint path_to_checkpoint建议每500步保存一次checkpoint，这个频率在安全和存储开销间比较平衡。