微调生成特定写作风格助手
参考
如何把你的 DeePseek-R1 微调为某个领域的专家？今天我们一起来聊聊大模型的进阶使用：“模型微调” ，也就是较大 - 掘金
看完就想试！Unsloth打造个性化AI助手案例展示-CSDN博客
unsloth 布署见
unsloth 部署（简单易上手版本）-CSDN博客
把基础模型下载到本地，确定数据集的格式
训练过程
import os from unsloth import FastLanguageModel, is_bfloat16_supported from datasets import load_dataset import subprocess from trl import SFTTrainer,SFTConfig # 设置代理（可选），详见autodl参考文档 # 1. 加载模型和 tokenizer model, tokenizer = FastLanguageModel.from_pretrained( model_name="/root/Qwen/Qwen2-1.5B-Instruct", max_seq_length=2048, dtype=None, load_in_4bit=True, ) # 2. 添加 LoRA（Unsloth 自动优化） model = FastLanguageModel.get_peft_model( model, r=32, # LoRA rank target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", "lm_head"], lora_alpha=64, lora_dropout=0.05, bias="none", use_gradient_checkpointing="unsloth", # 更高效 random_state=3407, ) # 3. 加载数据集（假设是 Alpaca 格式） dataset = load_dataset("json", data_files="/root/ft_data.json", split="train") # load_dataset批量处理数据集 # 4. 定义 formatting_func（关键！）把结构化的 instruction/input/output 字段，批量转换成模型能识别的对话格式文本 #更标准的写法，和test的写法一致 def formatting_func(examples): outputs = [] for i in range(len(examples["instruction"])): instruction = examples["instruction"][i].strip() input_text = examples["input"][i].strip() if "input" in examples and examples["input"][i] else "" output = examples["output"][i].strip() # 构造标准化 messages（和推理时一致） messages = [ {"role": "user", "content": f"{instruction}\n{input_text}" if input_text else instruction}, {"role": "assistant", "content": output} ] # 用 apply_chat_template 生成格式（和推理时完全相同） text = tokenizer.apply_chat_template( messages, tokenize=False, # 只生成文本，不编码 add_generation_prompt=False # 训练时不需要加 assistant 生成提示符 ) outputs.append(text) return outputs# 5. 使用 Unsloth 的 train 方法（自动处理 packing、formatting 等） training_config = SFTConfig( per_device_train_batch_size=4, gradient_accumulation_steps=2, warmup_steps=10, max_steps=100, learning_rate=1e-4, logging_steps=2, save_steps=50, output_dir="/root/my_qwen_assistant", optim="adamw_8bit", seed=3407, fp16=False, bf16=True, packing=False, # 关闭打包，与 Unsloth 无填充批处理兼容 remove_unused_columns=False, # 保留数据集字段，避免格式化函数报错 ) trainer = SFTTrainer( model=model, tokenizer=tokenizer, train_dataset=dataset, formatting_func=formatting_func, # ←← Unsloth 的 SFTTrainer 要求这个 max_seq_length=2048, dataset_num_proc=2, packing=False, args=training_config, ) # 6. 训练并保存 trainer_stats = trainer.train() model.save_pretrained("my_qwen_assistant") tokenizer.save_pretrained("my_qwen_assistant")推理过程
from peft import PeftModel from unsloth import FastLanguageModel, is_bfloat16_supported # 1. 加载基础模型（保持和训练一致的dtype/device_map） base_model, tokenizer = FastLanguageModel.from_pretrained( model_name="/root/Qwen/Qwen2-1.5B-Instruct", max_seq_length=2048, dtype=None, load_in_4bit=True, ) # 2. 加载LoRA适配器（校验路径） lora_model_path = "/root/my_qwen_assistant" # 校验LoRA权重是否存在 import os if not os.path.exists(lora_model_path): raise ValueError(f"LoRA权重路径不存在：{lora_model_path}") print(f"成功加载LoRA权重：{lora_model_path}") model = PeftModel.from_pretrained(base_model, lora_model_path) model.eval() # 评估模式 # 3. 推理（仅用LoRA模型，删除基础模型推理代码） messages = [ {"role": "user", "content": "项目名称：xxxx；一，xxx，二，xxx。三，xxx。。。"} ] # 用和训练时一致的chat template生成输入 input_ids = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors="pt" ).to(model.device) # 生成参数（简化，聚焦核心） outputs = model.generate( input_ids=input_ids["input_ids"], attention_mask = input_ids["attention_mask"], max_new_tokens=800, do_sample=True, # 开启采样，提升回复多样性 temperature=0.7, top_p=0.95, repetition_penalty=1.1, pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.eos_token_id, ) # 解码输出 response = tokenizer.decode(outputs[0][input_ids["input_ids"].shape[1]:], skip_special_tokens=True) print("LoRA模型推理结果：") print(response.strip()) #（可选）验证基础模型结果（对比用） base_model.eval() outputs_base = base_model.generate( input_ids=input_ids["input_ids"], attention_mask = input_ids["attention_mask"], max_new_tokens=800, do_sample=True, temperature=0.7, top_p=0.95, repetition_penalty=1.1, pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.eos_token_id, ) response_base = tokenizer.decode(outputs_base[0][input_ids["input_ids"].shape[1]:], skip_special_tokens=True) print("\n基础模型推理结果：") print(response_base.strip())