RT-DETR实战入门：从零搭建PyTorch训练环境与数据准备
1. RT-DETR简介与环境配置
RT-DETR是百度最新推出的实时目标检测模型，基于Transformer架构设计，在速度和精度上都有不错的表现。相比传统的YOLO系列，RT-DETR采用了更先进的注意力机制，能够更好地处理复杂场景中的目标检测任务。对于刚接触这个模型的开发者来说，第一步就是要搭建好PyTorch训练环境。
我最近在本地机器上配置RT-DETR环境时踩过不少坑，这里分享下最稳妥的安装方法。官方推荐使用torch2.0.1版本，但实测下来torch2.1.0也能完美兼容。建议先到PyTorch官网下载对应CUDA版本的whl文件进行离线安装，这样可以避免很多依赖冲突问题。比如我的显卡是RTX 3090，CUDA版本是11.8，就选择cu118对应的torch版本。
安装完PyTorch后，还需要安装其他依赖项。这里有个小技巧：不要直接运行pip install -r requirements.txt，因为这样可能会安装CPU版本的torch。正确的做法是先激活虚拟环境，然后手动安装transformers库：
conda create -n rtdetr python=3.8 conda activate rtdetr pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt pip install transformers环境配置完成后，建议运行以下命令验证是否安装成功：
import torch print(torch.__version__) print(torch.cuda.is_available())如果输出正确版本号且CUDA可用，说明环境配置成功。这里特别提醒下，transformers库的版本最好控制在4.28.1，太高或太低的版本都可能导致兼容性问题。
2. 数据集准备与格式转换
RT-DETR官方使用的是COCO格式的数据集，但实际项目中我们经常遇到的是YOLO格式的数据。这就需要将YOLO格式转换为COCO格式。我最近处理过一个柑橘病害检测项目，正好需要做这样的转换，下面分享具体实现方法。
YOLO格式的数据集通常包含images和labels两个文件夹，结构如下：
data/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/转换的核心在于坐标系的转换。YOLO使用的是归一化的中心坐标(x_center,y_center)和宽高(width,height)，而COCO需要的是绝对坐标(x_min,y_min,width,height)。我写了个转换函数来处理这个数学转换：
def convert_yolo_to_coco(x_center, y_center, width, height, img_width, img_height): x_min = (x_center - width / 2) * img_width y_min = (y_center - height / 2) * img_height width = width * img_width height = height * img_height return [x_min, y_min, width, height]完整的数据集转换脚本需要考虑更多细节，比如类别映射、图像尺寸获取、文件路径处理等。我在实际项目中发现，有些YOLO数据集会使用JPG扩展名而标签文件使用txt，这点需要特别注意。转换完成后，COCO格式的数据集结构应该是这样的：
coco_data/ ├── annotations/ │ ├── train_coco_format.json │ └── val_coco_format.json ├── train/ └── val/转换过程中最常见的错误是路径问题。建议使用os.path.join来处理路径拼接，这样可以避免不同操作系统下的路径分隔符问题。另外，JSON文件的缩进建议设置为4，这样方便后续调试和查看。
3. 配置文件修改与参数调整
数据集准备好后，接下来需要修改配置文件。RT-DETR的配置文件主要存放在rtdetr_pytorch/configs目录下，这里有两个关键文件需要修改：数据集配置和模型配置。
首先修改coco_detection.yml，这个文件定义了数据集的路径和加载方式。需要特别注意train_dataloader和val_dataloader下的img_folder和ann_file路径：
train_dataloader: dataset: img_folder: "/path/to/your/coco_data/train" ann_file: "/path/to/your/coco_data/annotations/train_coco_format.json" val_dataloader: dataset: img_folder: "/path/to/your/coco_data/val" ann_file: "/path/to/your/coco_data/annotations/val_coco_format.json"然后是模型配置文件，比如rtdetr_r18vd_6x_coco.yml。这里有几个关键参数需要关注：
- batch_size：根据你的GPU显存调整，RTX 3090可以设置到16
- num_workers：建议设置为CPU核心数的70-80%
- lr：学习率，小数据集可以适当降低
- epochs：训练轮数，一般100-300轮足够
在tools/train.py中，需要指定使用的配置文件路径。我习惯使用绝对路径来避免各种路径问题：
default="path/to/rtdetr_pytorch/configs/rtdetr/rtdetr_r18vd_6x_coco.yml"训练过程中如果遇到内存不足的问题，可以尝试减小batch_size或者降低输入图像的分辨率。我发现在RTX 3090上，640x640的分辨率配合batch_size=16是比较稳定的配置。
4. 训练过程与常见问题
启动训练很简单，直接运行python tools/train.py即可。但实际训练过程中可能会遇到各种问题，这里分享几个我遇到的典型问题及解决方案。
第一个常见问题是CUDA out of memory。这通常是因为batch_size设置过大。我的经验是先用小的batch_size(比如4)测试能否正常启动训练，确认没问题后再逐步增大。另一个技巧是使用梯度累积，这可以在不增加显存占用的情况下模拟更大的batch_size。
第二个问题是训练初期loss不下降。这可能是因为学习率设置不当。RT-DETR默认的学习率是针对COCO数据集优化的，对于小数据集可能太大。我通常会先使用1e-4的学习率训练几轮，观察loss变化后再调整。
训练过程中可以使用TensorBoard来监控各项指标：
tensorboard --logdir=output在浏览器中打开localhost:6006就能看到训练曲线。重点关注以下几个指标：
- train/loss：训练损失，应该稳步下降
- val/mAP：验证集精度，反映模型真实性能
- lr：学习率变化曲线
如果发现验证集精度长时间不提升，可能是过拟合了。这时候可以尝试：
- 增加数据增强
- 使用更小的模型
- 添加正则化项
- 早停(early stopping)
训练完成后，模型权重会保存在output目录下。可以使用tools/infer.py进行推理测试。我建议先用几张验证集图片测试效果，确认无误后再应用到实际场景中。