Unsloth Docker部署详解：从零开始搭建训练环境

Unsloth Docker部署详解：从零开始搭建训练环境

1. 环境准备与Docker安装

1.1 系统要求检查

在开始之前，请确保你的系统满足以下基本要求：

• 64位Linux系统（推荐Ubuntu 22.04）
• NVIDIA显卡驱动已安装（建议版本>=525）
• 至少20GB可用磁盘空间
• 8GB以上内存（推荐16GB+）

1.2 Docker安装步骤

如果你的系统尚未安装Docker，可以按照以下步骤进行安装：

# 更新系统包 sudo apt-get update # 安装必要依赖 sudo apt-get install -y ca-certificates curl gnupg # 添加Docker官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod a+r /etc/apt/keyrings/docker.gpg # 设置Docker仓库 echo \ "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 安装Docker引擎 sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # 将当前用户添加到docker组 sudo usermod -aG docker $USER newgrp docker

安装完成后，验证Docker是否正常运行：

docker --version sudo systemctl status docker

2. Unsloth镜像构建与配置

2.1 准备Dockerfile

创建一个新的工作目录，并准备以下Dockerfile内容：

# 使用NVIDIA CUDA基础镜像 FROM nvidia/cuda:12.1.0-base-ubuntu22.04 # 设置环境变量 ENV TORCH_HOME=/root/.cache/torch ENV DEBIAN_FRONTEND=noninteractive # 安装系统依赖 RUN apt-get update && apt-get install -y --no-install-recommends \ wget build-essential python3.10 python3-pip python3.10-dev \ git libgl1 libglib2.0-0 \ && apt-get clean \ && rm -rf /var/lib/apt/lists/* # 更新pip和setuptools RUN python3.10 -m pip install --upgrade pip setuptools wheel # 安装Miniconda ENV CONDA_DIR /opt/conda RUN wget --quiet https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh ENV PATH=$CONDA_DIR/bin:$PATH # 创建并配置Conda环境 RUN conda create --name unsloth_env python=3.10 RUN echo "source activate unsloth_env" > ~/.bashrc ENV PATH /opt/conda/envs/unsloth_env/bin:$PATH # 安装PyTorch和相关依赖 RUN conda install -n unsloth_env -y pytorch-cuda=12.1 pytorch=2.0.1 cudatoolkit xformers -c pytorch -c nvidia -c xformers RUN pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" RUN pip install matplotlib scipy pandas RUN pip install --no-deps trl peft accelerate bitsandbytes RUN pip install autoawq # 创建工作目录 WORKDIR /workspace # 防止容器自动退出 CMD ["/bin/bash", "-c", "tail -f /dev/null"]

2.2 构建Docker镜像

在包含Dockerfile的目录下执行构建命令：

docker build -t unsloth:latest .

构建过程可能需要15-30分钟，具体取决于你的网络速度和系统性能。构建完成后，可以查看镜像列表：

docker images

3. 运行Unsloth容器

3.1 启动容器

使用以下命令启动Unsloth容器：

docker run -d --gpus all \ -p 8888:8888 \ -v $(pwd)/workspace:/workspace \ --name unsloth_container \ unsloth:latest

参数说明：

• --gpus all：启用所有可用的GPU
• -p 8888:8888：映射Jupyter Notebook端口（可选）
• -v $(pwd)/workspace:/workspace：挂载本地目录到容器内

3.2 进入容器环境

要进入容器内部进行操作：

docker exec -it unsloth_container /bin/bash

进入容器后，激活conda环境：

conda activate unsloth_env

4. 验证安装与基本使用

4.1 验证Unsloth安装

在容器内执行以下命令验证Unsloth是否安装成功：

python -m unsloth

如果安装成功，你将看到Unsloth的版本信息和可用功能。

4.2 简单模型加载测试

创建一个Python脚本test_load.py，内容如下：

from unsloth import FastLanguageModel import torch model, tokenizer = FastLanguageModel.from_pretrained( "unsloth/mistral-7b-bnb-4bit", max_seq_length=2048, dtype=torch.float16, load_in_4bit=True, ) print("模型加载成功！")

运行测试脚本：

python test_load.py

如果一切正常，你将看到"模型加载成功！"的输出。

5. 常见问题解决

5.1 CUDA版本不匹配

如果遇到CUDA相关错误，检查CUDA版本：

nvcc --version

确保Docker镜像中的CUDA版本（12.1）与主机驱动兼容。

5.2 显存不足问题

对于显存较小的GPU，可以尝试以下优化：

• 使用更小的模型（如mistral-7b）
• 降低max_seq_length参数
• 使用更低的量化位数（如2bit）

5.3 容器网络问题

如果遇到GitHub访问问题，可以在构建时使用国内镜像源：

RUN pip install "unsloth[colab-new] @ git+https://github.com.cnpmjs.org/unslothai/unsloth.git"

6. 总结与下一步

通过本教程，你已经成功完成了：

1. Docker环境的准备和安装
2. Unsloth镜像的构建和配置
3. 容器的启动和基本验证
4. 简单模型加载测试

接下来，你可以：

• 尝试使用自己的数据集进行模型微调
• 探索Unsloth提供的各种优化选项
• 将训练好的模型部署为服务

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。