当前位置：首页 > news >正文

使用uv安装并运行rllm（不需要拉docker）

news 2026/3/31 17:32:48

1. 什么是rllm

rllm是伯克利开发的一个用于Agent RL的框架，基于verl开发，简单易上手，可以快速定义环境和工具，并一键运行。

2. 环境部署

作者在不拉docker镜像的前提下，尝试使用官方教程部署rllm，部署后，代码跑不通。
上网查了很多资料后，作者自己摸索出了一套流程，可以成功部署环境，并且跑通代码。

前置条件：cuda>12.2

下载git库

git clone --recurse-submodules https://github.com/rllm-org/rllm.git
cd rllm

使用uv创建虚拟环境（在<rllm-venv-path>中填入环境的存储地址）（这里python版本设为3.10或者3.12都可以）

uv venv <rllm-venv-path> --python=3.12
source <rllm-venv-path>/bin/activate

安装v0.5.0版本的verl

# 进入verl文件夹中
cd verl
git checkout v0.5.0
uv pip install e .
uv pip install vllm==0.8.2
uv pip install tensordict==0.6.2
uv pip install "sglang[all]>=0.4.5.post3"
uv pip install torch==2.6.0 torchaudio==2.6.0  torchvision==0.21.0
uv pip install ray==2.44.0

下载flash-attn（点击链接即可下载）后，上传到服务器，然后安装

uv pip install flash_attn-2.6.3+cu123torch2.4cxx11abiFALSE-cp312-cp312-linux_x86_64.whl

安装rllm

# 进入rllm项目文件夹中
cd ../
uv pip install e .

创建另外一个环境，用于运行vllm（上面安装的vllm运行Qwen3的模型可能会有问题）

uv venv <venv-vllm-path> --python=3.10
source <venv-vllm-path>/bin/activate
uv pip install vllm

3. quickstart

下载Qwen3-4B模型（在 <qwen-model-path>中填入自己模型的路径）

source <rllm-venv-path>/bin/activate
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download Qwen/Qwen3-4B --local-dir <qwen-model-path>

下载数据集（在 <data-path1>和 <data-path2>中填入自己模型的路径）

huggingface-cli download --repo-type dataset agentica-org/DeepScaleR-Preview-Dataset --local-dir <data-path1>
huggingface-cli download --repo-type dataset HuggingFaceH4/aime_2024 --local-dir <data-path2>

使用vllm部署Qwen3-4B模型

source <venv-vllm-path>/bin/activate
MODEL_PATH=<qwen-model-path>
python -m vllm.entrypoints.openai.api_server \--model $MODEL_PATH \--host 0.0.0.0 \--port 30000

注册数据集
1. 进入examples/math_tool文件夹中
2. 将prepare_math_data.py中的load_dataset中的数据集改为本地路径（也就是 <data-path1>和 <data-path2>）
3. 运行
```
source <rllm-venv-path>/bin/activate
python prepare_math_data.py
```
运行推理脚本
1. 进入examples/math_tool文件夹中
2. 将run_math_with_tool中的model_name变量中的数据集改为<qwen-model-path>的值
3. 运行
```
source <rllm-venv-path>/bin/activate
python run_math_with_tool.py
```
运行训练脚本（如果只想运行训练脚本，那么不需要执行第3步和第5步）
1. 进入examples/math_tool文件夹中
2. 设置wandb的api-key
```
export WANDB_API_KEY=your_api_key_here
```
3. 修改train_math_with_tool.sh的脚本中的参数
  需要改的参数有这么几个：
  1. actor_rollout_ref.model.path：要训练的模型的路径（设置为<qwen-model-path>）
  2. trainer.n_gpus_per_node：GPU的数量
  3. trainer.save_freq：多少步保存一次。（为了测试用，这里设置为1）
  4. trainer.test_freq：多少步测试一次。（为了测试用，这里设置为1）
  5. trainer.total_epochs：一共有多少个epoch。（为了测试用，这里为1）
    此外，还有一些需要加的参数
  6. trainer.max_actor_ckpt_to_keep：最多保存多少个检查点（为了测试用，这里设为1）
  7. trainer.max_critic_ckpt_to_keep：同上
  8. trainer.default_local_dir：检查点路径
4. 执行
```
# 退回到rllm项目文件夹中
cd ../../
bash examples/math_tool/train_math_with_tool.sh
```