当前位置：首页 > news >正文

Unsloth快速部署：conda环境配置+模型下载完整教程

news 2026/6/12 23:11:10

Unsloth快速部署：conda环境配置+模型下载完整教程

1. 环境准备与快速部署

1.1 创建conda环境

首先确保已安装Anaconda或Miniconda，然后执行以下命令创建专用环境：

conda create -n unsloth_env python=3.10 -y conda activate unsloth_env

1.2 安装Unsloth核心包

提供两种安装方式，推荐方式2获取最新版本：

# 方式1：稳定版安装 pip install unsloth # 方式2：从源码安装最新版 pip uninstall unsloth -y && pip install --upgrade --no-cache-dir --no-deps git+https://github.com/unslothai/unsloth.git

1.3 验证安装

执行以下命令检查是否安装成功：

python -m unsloth

如果看到类似"Unsloth initialized successfully"的输出，说明环境配置正确。

2. 模型下载与配置

2.1 安装ModelScope

对于中国用户推荐使用ModelScope下载模型：

pip install modelscope

2.2 下载DeepSeek-R1模型

提供两种下载方式：

# 方式1：命令行下载（推荐） modelscope download --model unsloth/DeepSeek-R1-Distill-Qwen-7B --local_dir ./models # 方式2：手动下载 # 1. 访问ModelScope官网搜索模型 # 2. 下载后解压到./models/DeepSeek-R1-Distill-Qwen-7B目录

2.3 常见问题解决

若遇到DLL加载错误，执行以下修复命令：

pip uninstall triton -y pip install triton==2.0.0

3. 基础使用示例

3.1 快速加载模型

from unsloth import FastLanguageModel import torch model, tokenizer = FastLanguageModel.from_pretrained( model_name = "models/DeepSeek-R1-Distill-Qwen-7B", max_seq_length = 2048, dtype = torch.float16, load_in_4bit = True, )

3.2 简单推理测试

prompt = "解释量子计算的基本原理" inputs = tokenizer([prompt], return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=200) print(tokenizer.decode(outputs[0]))

4. 进阶微调配置

4.1 准备训练数据

创建JSON格式的训练文件train.jsonl：

{"Question": "什么是神经网络？", "Response": "神经网络是..."} {"Question": "如何训练LLM？", "Response": "训练LLM需要..."}

4.2 配置LoRA微调

model = FastLanguageModel.get_peft_model( model, r=16, # LoRA秩 target_modules=["q_proj","k_proj","v_proj","o_proj"], lora_alpha=16, lora_dropout=0, bias="none", use_gradient_checkpointing="unsloth", )

4.3 启动训练

from transformers import TrainingArguments trainer = SFTTrainer( model=model, train_dataset=dataset, dataset_text_field="text", args=TrainingArguments( per_device_train_batch_size=2, gradient_accumulation_steps=4, warmup_steps=10, max_steps=100, learning_rate=2e-4, fp16=True, logging_steps=1, output_dir="outputs", ), ) trainer.train()