5分钟搞定Qwen2.5-3B数学推理模型微调：LoRA+GRPO保姆级教程
5分钟搞定Qwen2.5-3B数学推理模型微调：LoRA+GRPO保姆级教程
数学推理一直是AI领域最具挑战性的任务之一。对于开发者来说，如何快速高效地微调一个能够理解数学问题、进行逻辑推理并输出结构化结果的模型，是提升工作效率的关键。本文将带你用最短时间完成Qwen2.5-3B模型的数学推理能力微调，结合LoRA和GRPO两大技术，实现零基础快速上手。
1. 环境准备与数据加载
在开始之前，确保你的开发环境满足以下基本要求：
- Python 3.8或更高版本
- CUDA 11.7及以上（NVIDIA显卡）
- PyTorch 2.0+
- 至少16GB显存（推荐24GB以上）
安装必要的依赖包：
pip install torch transformers datasets peft trl modelscope我们将使用GSM8K数据集，这是一个包含8.5K个小学数学问题的数据集，每个问题都有详细的解题步骤和最终答案。数据加载和预处理代码如下：
from datasets import load_dataset def preprocess(example): system_prompt = "你是一个擅长用XML格式输出链式思考和答案的数学助理" return { "prompt": [ {"role": "system", "content": system_prompt}, {"role": "user", "content": example["question"]} ], "answer": example["answer"].split("####")[-1].strip() } dataset = load_dataset("gsm8k", "main", split="train") dataset = dataset.map(preprocess, remove_columns=dataset.column_names)提示：如果网络环境受限，可以提前下载数据集到本地，然后使用
load_from_disk方法加载。
2. 模型加载与LoRA配置
Qwen2.5-3B是一个强大的开源大语言模型，特别适合中文数学推理任务。为了高效微调，我们将使用LoRA技术，它可以在保持原始模型参数不变的情况下，仅训练少量额外参数。
关键LoRA配置参数：
| 参数名 | 推荐值 | 作用说明 |
|---|---|---|
| r (秩) | 16 | 控制LoRA矩阵的秩大小 |
| alpha | 32 | 控制LoRA权重缩放比例 |
| dropout | 0.05 | 防止过拟合的正则化参数 |
| target_modules | ["q_proj","k_proj",...] | 应用LoRA的模型层 |
具体实现代码：
from transformers import AutoModelForCausalLM, AutoTokenizer from peft import LoraConfig, get_peft_model model_id = "Qwen/Qwen2.5-3B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) tokenizer.pad_token = tokenizer.eos_token model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True ) lora_config = LoraConfig( r=16, lora_alpha=32, target_modules=[ "q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj" ], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # 查看可训练参数数量3. GRPO奖励函数设计
GRPO(Generalized Reinforcement Policy Optimization)是一种强大的强化学习算法，特别适合指导模型生成特定格式的输出。我们需要设计三个核心奖励函数：
- 正确性奖励：检查答案是否正确
- 格式奖励(宽松)：检查是否包含基本XML结构
- 格式奖励(严格)：检查XML格式是否完整规范
import re def extract_answer(text): match = re.search(r'<answer>(.*?)</answer>', text, re.DOTALL) return match.group(1).strip() if match else "" def correctness_reward(completions, answers): rewards = [] for comp, ans in zip(completions, answers): content = comp[0]['content'] extracted = extract_answer(content) rewards.append(1.0 if ans in extracted else 0.0) return rewards def soft_format_reward(completions): pattern = r"<reasoning>.*?</reasoning>\s*<answer>.*?</answer>" return [2.0 if re.search(pattern, c[0]['content'], re.DOTALL) else 0.0 for c in completions] def strict_format_reward(completions): pattern = r"^\s*<reasoning>.*?</reasoning>\s*<answer>.*?</answer>\s*$" return [4.0 if re.search(pattern, c[0]['content'], re.DOTALL) else 0.0 for c in completions]4. 训练配置与执行
现在我们将所有组件整合起来，配置训练参数并启动微调过程。关键训练参数如下：
- 学习率：2e-4（使用余弦退火调度）
- 批次大小：16（单卡）
- 梯度累积步数：8
- 最大提示长度：512 tokens
- 最大生成长度：64 tokens
from trl import GRPOConfig, GRPOTrainer from torch.optim import AdamW from transformers import get_cosine_schedule_with_warmup train_args = GRPOConfig( per_device_train_batch_size=16, gradient_accumulation_steps=8, learning_rate=2e-4, num_train_epochs=1, lr_scheduler_type="cosine", warmup_ratio=0.05, max_prompt_length=512, max_completion_length=64, num_generations=8, output_dir="./qwen3b_math_lora" ) class CustomTrainer(GRPOTrainer): def create_optimizer_and_scheduler(self, num_training_steps): self.optimizer = AdamW(self.model.parameters(), lr=self.args.learning_rate) self.lr_scheduler = get_cosine_schedule_with_warmup( self.optimizer, num_warmup_steps=int(self.args.warmup_ratio * num_training_steps), num_training_steps=num_training_steps ) trainer = CustomTrainer( model=model, processing_class=tokenizer, reward_funcs=[correctness_reward, soft_format_reward, strict_format_reward], args=train_args, train_dataset=dataset ) trainer.train()训练完成后，保存LoRA适配器和tokenizer：
model.save_pretrained("./qwen3b_math_lora") tokenizer.save_pretrained("./qwen3b_math_lora")5. 模型测试与优化建议
训练完成后，我们可以测试模型的数学推理能力。以下是一个测试示例：
test_question = "小明有5个苹果，吃了2个，又买了3个，现在有多少个苹果？" inputs = tokenizer.apply_chat_template([ {"role": "system", "content": "你是一个数学助理"}, {"role": "user", "content": test_question} ], return_tensors="pt").to(model.device) outputs = model.generate(inputs, max_new_tokens=128) print(tokenizer.decode(outputs[0], skip_special_tokens=True))预期输出格式：
<reasoning> 小明最初有5个苹果，吃了2个后剩下3个，又买了3个，所以现在有6个苹果。 </reasoning> <answer>6</answer>性能优化建议：
- 如果显存不足，可以尝试：
- 启用梯度检查点：
model.gradient_checkpointing_enable() - 使用更小的批次大小（如8）
- 降低LoRA的秩（r=8）
- 启用梯度检查点：
- 如果生成质量不理想：
- 增加训练epoch数（2-3个）
- 调整奖励函数权重
- 增加严格格式奖励的比重
在实际项目中，我发现调整格式奖励的权重对输出质量影响很大。将严格格式奖励权重提高到6.0，可以显著改善模型输出的规范性。