【Lane】Ultra-Fast-Lane-Detection 实战：从环境搭建到自定义数据集训练全流程解析
1. Ultra-Fast-Lane-Detection 项目简介
Ultra-Fast-Lane-Detection 是一个基于深度学习的车道线检测开源项目，由香港中文大学多媒体实验室开发。这个项目的最大特点是速度快、精度高，能够在普通GPU上实现实时检测。相比传统车道线检测算法，它采用了全新的思路：将车道线检测问题转化为行分类问题，通过预测车道线在预定义行上的位置来实现快速检测。
我第一次接触这个项目是在开发智能驾驶辅助系统时，当时测试了多个开源方案，发现这个项目的推理速度确实名不虚传。在NVIDIA 1080Ti显卡上，它能达到300+FPS的惊人速度，而且检测精度也不输给其他主流算法。这对于需要实时处理车载视频的应用场景来说简直是福音。
项目基于PyTorch框架实现，支持多种骨干网络（如ResNet18、34、50等），可以根据实际需求在速度和精度之间做权衡。官方提供了在Tusimple和CULane两个主流车道线数据集上预训练的模型，开箱即用非常方便。
2. 环境搭建与依赖安装
2.1 创建Python虚拟环境
我强烈建议使用conda创建独立的Python环境，避免与系统环境冲突。以下是具体步骤：
conda create -n lane python=3.7 conda activate lane选择Python 3.7是因为它在兼容性和稳定性方面表现最好。在实际项目中，我尝试过Python 3.8和3.9，偶尔会遇到一些依赖包版本冲突的问题。
2.2 安装PyTorch和CUDA
PyTorch的安装需要根据你的CUDA版本选择对应的命令。我使用的是CUDA 10.1，安装命令如下：
conda install pytorch torchvision cudatoolkit=10.1 -c pytorch如果你没有GPU或者CUDA版本不同，可以去PyTorch官网查看对应的安装命令。记得一定要检查CUDA是否安装成功：
import torch print(torch.cuda.is_available()) # 应该返回True2.3 安装其他依赖包
克隆项目代码后，进入项目目录安装requirements.txt中列出的依赖：
git clone https://github.com/cfzd/Ultra-Fast-Lane-Detection cd Ultra-Fast-Lane-Detection pip install -r requirements.txt这里有个小坑要注意：OpenCV的版本最好不要超过4.5，我遇到过4.6版本导致的一些兼容性问题。如果已经安装了高版本，可以降级：
pip install opencv-python==4.5.5.643. 数据集准备与处理
3.1 下载开源数据集
Tusimple是项目默认支持的数据集，可以从官网下载。下载后解压到项目根目录下的TUSIMPLEROOT文件夹，结构如下：
TUSIMPLEROOT/ ├── clips/ ├── label_data_0313.json ├── label_data_0531.json ├── label_data_0601.json ├── test_label.json └── readme.md3.2 数据格式转换
Tusimple数据集提供的标注是json格式，需要转换为项目需要的格式：
python scripts/convert_tusimple.py --root ./TUSIMPLEROOT这个脚本会生成train_gt.txt和test.txt两个文件，包含了训练集和测试集的图片路径及标注信息。
3.3 自定义数据集准备
如果你想用自己的数据训练模型，需要按照以下步骤准备：
- 使用labelme等工具标注车道线，生成json标注文件
- 将图片和json文件分别放在两个文件夹中
- 运行数据转换脚本生成实例分割图
我写了一个简单的转换脚本，可以将labelme格式的标注转换为项目需要的格式：
import json import cv2 import numpy as np def convert_labelme_to_mask(img_path, json_path, output_path): img = cv2.imread(img_path) mask = np.zeros(img.shape[:2], dtype=np.uint8) with open(json_path) as f: data = json.load(f) for shape in data['shapes']: points = np.array(shape['points'], dtype=np.int32) cv2.fillPoly(mask, [points], color=1) cv2.imwrite(output_path, mask*255)4. 模型测试与推理
4.1 下载预训练模型
官方提供了在Tusimple数据集上预训练的模型，下载后放在项目根目录下。运行测试命令：
python test.py configs/tusimple.py --test_model tusimple_18.pth --test_work_dir ./tmp这个命令会在tmp文件夹下生成测试结果，包括检测效果图和评估指标。
4.2 视频推理演示
项目提供了demo.py脚本可以对视频文件进行推理：
python demo.py configs/tusimple.py --test_model tusimple_18.pth --video input.mp4我修改了demo.py使其支持更多视频格式，并添加了FPS显示功能：
# 在while循环中添加FPS计算 start_time = time.time() # ...推理代码... fps = 1.0 / (time.time() - start_time) cv2.putText(frame, f"FPS: {fps:.2f}", (10,30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,255,0), 2)4.3 自定义数据测试
如果你想测试自己的图片，可以修改demo.py：
# 替换视频读取部分为图片读取 img = cv2.imread("your_image.jpg") img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img = Image.fromarray(img)记得调整configs/tusimple.py中的输入尺寸参数，使其与你的图片尺寸匹配。
5. 模型训练与调参
5.1 准备训练配置
修改configs/tusimple.py中的参数：
# 数据集路径 data_root = 'your_dataset_path' # 训练参数 epoch = 100 batch_size = 32 learning_rate = 4e-45.2 启动训练
运行训练命令：
python train.py configs/tusimple.py训练过程中常见的几个问题及解决方案：
- CUDA out of memory：减小batch_size
- Loss变为NaN：减小learning_rate
- 训练不收敛：检查数据标注是否正确
5.3 训练监控
使用tensorboard监控训练过程：
tensorboard --logdir=your_log_directory重点关注以下几个指标：
- 训练损失(train_loss)
- 验证准确率(val_acc)
- 学习率(lr)
5.4 模型调优技巧
根据我的经验，可以尝试以下调优方法：
- 数据增强：添加随机旋转、颜色抖动等
- 学习率调度：使用cosine衰减或warmup
- 模型架构：尝试不同的backbone如ResNet34
我在实际项目中发现，适当增加griding_num（默认100）可以提高检测精度，但会降低速度。
6. 实际应用与部署
6.1 模型导出
训练完成后，可以将模型导出为ONNX格式便于部署：
import torch model = torch.load("your_model.pth") dummy_input = torch.randn(1, 3, 288, 800) torch.onnx.export(model, dummy_input, "model.onnx")6.2 性能优化
使用TensorRT加速推理：
trtexec --onnx=model.onnx --saveEngine=model.trt --fp16在我的测试中，TensorRT加速后推理速度可以提升2-3倍。
6.3 嵌入式部署
对于树莓派等嵌入式设备，建议：
- 使用ResNet18作为backbone
- 输入尺寸调整为144x400
- 开启半精度推理
我在Jetson Nano上部署时，通过以上优化实现了25FPS的实时检测。
7. 常见问题解决
7.1 CUDA相关错误
如果遇到"CUDA error: device-side assert triggered"，通常是数据标签有问题。检查：
- 标签值是否超出范围
- 是否有NaN或inf值
- 数据加载是否正确
7.2 检测效果不佳
如果检测效果不理想，可以尝试：
- 增加训练数据量
- 调整损失函数权重
- 修改行锚点(row_anchor)设置
7.3 速度不达标
如果推理速度达不到预期：
- 降低输入分辨率
- 使用更轻量的backbone
- 开启TensorRT加速
我在实际项目中踩过不少坑，最大的教训是数据质量决定模型上限。花时间清洗和标注高质量的数据，比调参带来的提升更明显。另外，这个项目对弯曲车道的检测效果特别好，但在极端光照条件下表现会下降，这时可以考虑融合其他传感器的数据。