ms-swift：支持LoRA/QLoRA轻量微调，7B模型仅需9GB显存
ms-swift：支持LoRA/QLoRA轻量微调，7B模型仅需9GB显存
1. 为什么选择ms-swift进行大模型微调
在当今大模型技术快速发展的背景下，如何高效地进行模型微调成为了许多开发者和研究者的核心需求。ms-swift作为魔搭社区提供的大模型与多模态微调框架，凭借其轻量化和高效的特点，正在成为越来越多人的首选工具。
ms-swift最突出的优势在于其极低的资源需求。通过LoRA/QLoRA等轻量微调技术，仅需9GB显存即可完成7B规模大模型的微调训练。这一特性使得普通开发者也能在消费级GPU（如RTX 3090）上开展大模型研究工作，大大降低了技术门槛。
除了资源效率外，ms-swift还具备以下核心优势：
- 广泛的模型支持：覆盖600+纯文本大模型和300+多模态模型，包括Qwen3、InternLM3、GLM4.5、Mistral等热门模型
- 全流程支持：从训练、推理到评测、量化与部署，提供完整的大模型开发生命周期支持
- 先进的训练技术：集成Megatron并行技术、GRPO算法族强化学习等前沿方法
- 灵活的训练方式：支持全参数训练、LoRA、QLoRA等多种微调策略
2. 快速上手：10分钟完成7B模型微调
2.1 环境准备与安装
ms-swift提供了便捷的Docker镜像，可以快速搭建开发环境：
docker pull modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.4.0-py310-torch2.6.0-vllm0.8.5.post1-modelscope1.27.1-swift3.5.3 docker run -it --name qwenvl --network=host -v /data:/data -v /nfs/lide01/shiwei:/nfs --gpus all --shm-size 32G modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.4.0-py310-torch2.6.0-vllm0.8.5.post1-modelscope1.27.1-swift3.5.3 /bin/bash2.2 单卡3090上的LoRA微调实战
以下是在单卡RTX 3090（22GB显存）上对Qwen2.5-7B-Instruct模型进行自我认知微调的完整命令：
CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \ 'AI-ModelScope/alpaca-gpt4-data-en#500' \ 'swift/self-cognition#500' \ --torch_dtype bfloat16 \ --num_train_epochs 1 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-robot关键参数说明：
--train_type lora：指定使用LoRA微调方法--lora_rank 8：设置LoRA的秩为8--gradient_accumulation_steps 16：通过梯度累积减少显存占用--torch_dtype bfloat16：使用bfloat16精度节省显存
3. 数据准备与格式要求
3.1 标准数据格式
ms-swift支持多种数据格式，对于对话任务，推荐使用以下JSON格式：
{ "id": "sample_0001", "messages": [ { "role": "user", "content": [ {"type": "image", "image": "/path/to/img_001.jpg"}, {"type": "text", "text": "图中有哪些动物？请用中文回答。"} ] }, { "role": "assistant", "content": [ {"type": "text", "text": "有两只长颈鹿和一只斑马。"} ] } ] }3.2 数据格式转换
如果你的数据是其他格式，可以使用Python脚本进行转换。以下是将self-llm格式转换为ms-swift格式的示例代码：
import json import os def convert_format(input_file, output_file): with open(input_file, 'r', encoding='utf-8') as f: data = json.load(f) converted_data = [] for idx, item in enumerate(data, 1): new_item = { "id": f"sample_{idx:04d}", "messages": [] } for conversation in item["conversations"]: role = conversation["role"] value = conversation["value"] if role == "user": content = [ {"type": "image", "image": value}, {"type": "text", "text": "请识别图片中的公式，并用LaTex格式返回。"} ] else: content = [ {"type": "text", "text": value} ] new_item["messages"].append({ "role": role, "content": content }) converted_data.append(new_item) with open(output_file, 'w', encoding='utf-8') as f: json.dump(converted_data, f, ensure_ascii=False, indent=2) print(f"转换完成，共处理{len(converted_data)}条数据，已保存至{output_file}") if __name__ == "__main__": input_json = "latex_ocr_val.json" output_json = "latex_ocr_val_swift.json" if os.path.exists(input_json): convert_format(input_json, output_json) else: print(f"错误：输入文件'{input_json}'不存在")4. 多模态模型微调实战
ms-swift同样支持多模态模型的轻量微调。以下是使用Qwen2.5-VL-3B-Instruct模型进行LaTex OCR任务的微调命令：
swift sft \ --model ./Qwen2.5-VL-3B-Instruct \ --dataset latex_ocr_train_swift.json \ --output_dir ./outputs/qwen25vl_lora \ --max_pixels 518400 \ --lora_rank 64 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --fp16 false \ --num_train_epochs 3 \ --learning_rate 1e-4 \ --save_steps 500 \ --logging_steps 20关键参数说明：
--max_pixels 518400：控制单图分辨率上限，防止显存溢出--lora_rank 64：多模态任务通常需要更高的LoRA秩--gradient_accumulation_steps 16：通过梯度累积平衡显存占用与训练效率
5. 模型推理与部署
5.1 基础推理
训练完成后，可以使用以下命令进行交互式推理：
CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/vx-xxx/checkpoint-xxx \ --stream true \ --temperature 0 \ --max_new_tokens 20485.2 高性能推理
对于生产环境，推荐使用vLLM进行加速推理：
CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/vx-xxx/checkpoint-xxx \ --stream true \ --merge_lora true \ --infer_backend vllm \ --vllm_max_model_len 8192 \ --temperature 0 \ --max_new_tokens 20485.3 模型部署
将微调后的模型部署为服务：
CUDA_VISIBLE_DEVICES=0 swift deploy \ --model Qwen/Qwen2.5-7B-Instruct \ --infer_backend vllm6. 总结与进阶建议
ms-swift作为一款轻量化的大模型微调框架，通过LoRA/QLoRA等技术显著降低了资源需求，使7B模型的微调仅需9GB显存。本文介绍了从环境搭建、数据准备到模型微调、推理部署的完整流程。
对于希望进一步探索的开发者，建议：
- 尝试不同微调方法：除了LoRA，还可以实验QLoRA、DoRA等更高效的微调策略
- 优化训练参数：调整学习率、批次大小等超参数以获得更好效果
- 探索多模态应用：利用ms-swift强大的多模态支持开发创新应用
- 参与社区贡献：ms-swift是开源项目，欢迎贡献代码和分享使用经验
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。