ms-swift框架入门指南：命令行与Web-UI两种方式微调Qwen2.5-7B模型

ms-swift框架入门指南：命令行与Web-UI两种方式微调Qwen2.5-7B模型

1. 前言

ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，支持600+纯文本大模型与300+多模态大模型的训练、推理、评测、量化与部署全流程。本文将详细介绍如何使用ms-swift框架，通过命令行和Web-UI两种方式对Qwen2.5-7B-Instruct模型进行微调。

2. 环境准备

2.1 硬件要求

• GPU: 推荐使用NVIDIA RTX 3090/A10/A100/H100等显卡
• 显存: 至少22GB (7B模型微调所需)
• 系统: Linux (推荐CentOS 7+)

2.2 软件安装

使用Anaconda创建Python环境并安装ms-swift:

conda create --name swift python=3.10 conda activate swift pip install 'ms-swift[all]' -U -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 命令行方式微调

3.1 基础微调命令

以下命令将在单卡上对Qwen2.5-7B-Instruct模型进行LoRA微调:

CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \ 'AI-ModelScope/alpaca-gpt4-data-en#500' \ 'swift/self-cognition#500' \ --torch_dtype bfloat16 \ --num_train_epochs 1 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-robot

3.2 关键参数说明

• --model: 指定模型ID或本地路径
• --train_type: 训练类型(lora/qlora/full)
• --dataset: 训练数据集，可指定多个
• --lora_rank: LoRA矩阵的秩
• --lora_alpha: LoRA缩放系数
• --target_modules: 应用LoRA的目标模块
• --gradient_accumulation_steps: 梯度累积步数

3.3 使用自定义数据集

准备自定义数据集JSON文件(sharegpt格式):

[ { "system": "你是一名优秀的陪聊大师", "conversations": [ {"from": "user", "value": "您和模型关系?"}, {"from": "assistant", "value": "其实我也不是无所不知..."} ] } ]

创建数据集描述文件custom_dataset_info.json:

{ "my_dataset": { "dataset_path": "/path/to/dataset.json" } }

运行命令时指定自定义数据集:

swift sft ... --dataset my_dataset --custom_dataset_info /path/to/custom_dataset_info.json

4. Web-UI方式微调

4.1 启动Web界面

swift web-ui --host 0.0.0.0 --port 7860

访问http://<服务器IP>:7860打开Web界面。

4.2 界面操作步骤

1. 在"模型"选项卡选择"Qwen/Qwen2.5-7B-Instruct"
2. 在"数据集"选项卡添加训练数据集
3. 在"训练"选项卡配置训练参数:
   • 训练类型: LoRA
   • 学习率: 1e-4
   • 训练轮数: 1
   • 批大小: 1
4. 点击"开始训练"按钮

4.3 监控训练进度

Web界面提供实时训练曲线和日志展示，包括:

• 损失值变化
• 准确率变化
• GPU显存使用情况
• 训练速度

5. 模型推理与部署

5.1 使用微调后的模型推理

# 交互式命令行推理 CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/checkpoint-xxx \ --stream true \ --temperature 0 \ --max_new_tokens 2048 # 合并LoRA权重并使用vLLM加速 CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/checkpoint-xxx \ --merge_lora true \ --infer_backend vllm \ --vllm_max_model_len 8192

5.2 模型部署

# 本地部署 CUDA_VISIBLE_DEVICES=0 swift deploy \ --model Qwen/Qwen2.5-7B-Instruct \ --adapters output/checkpoint-xxx \ --infer_backend vllm # 推送到ModelScope Hub swift export \ --adapters output/checkpoint-xxx \ --push_to_hub true \ --hub_model_id '<your-model-id>' \ --hub_token '<your-sdk-token>'

6. 常见问题解决

6.1 RTX 4000系列显卡问题

如果使用RTX 4090等显卡遇到通信问题，设置以下环境变量:

export NCCL_IB_DISABLE=1 export NCCL_P2P_DISABLE=1

6.2 显存不足问题

可尝试以下方案:

• 使用--train_type qlora进行4bit量化训练
• 减小--per_device_train_batch_size
• 增加--gradient_accumulation_steps
• 启用--gradient_checkpointing

6.3 训练速度慢

可尝试:

• 增加--dataloader_num_workers
• 使用--use_flash_attn启用Flash Attention
• 升级CUDA和显卡驱动

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。