从滴滴D²-City到你的模型：手把手教你构建‘斑马线+行人+交通灯’YOLO训练集（附完整脚本）

从零构建交通场景YOLO数据集：滴滴D²-City视频处理与标注实战指南

行车记录仪视角的交通场景数据集在智能驾驶算法开发中具有不可替代的价值。不同于公开数据集的通用性标注，针对特定任务（如交通灯颜色识别）的定制化数据集往往能显著提升模型性能。本文将完整呈现从原始视频抽帧到生成YOLO格式标注文件的每个技术细节，尤其聚焦斑马线、行人、交通灯三大核心目标的处理技巧。

1. 视频素材预处理与关键帧提取

原始行车记录仪视频通常包含大量冗余帧，直接标注会浪费存储资源和时间成本。我们采用动态抽帧算法平衡数据多样性与效率：

import cv2 import numpy as np def adaptive_frame_sampling(video_path, output_dir, min_interval=10, diff_threshold=5000): cap = cv2.VideoCapture(video_path) prev_frame = None frame_count = 0 while cap.isOpened(): ret, frame = cap.read() if not ret: break if frame_count % min_interval == 0: if prev_frame is not None: diff = np.sum(cv2.absdiff(frame, prev_frame)) if diff > diff_threshold: cv2.imwrite(f"{output_dir}/frame_{frame_count:06d}.jpg", frame) else: cv2.imwrite(f"{output_dir}/frame_{frame_count:06d}.jpg", frame) prev_frame = frame frame_count += 1 cap.release()

提示：设置diff_threshold时可先用测试视频观察帧间差异值分布，城市道路场景建议5000-10000区间

存储优化方案对比：

实际项目中建议混合使用动态抽帧与人工筛选：

1. 首轮用脚本提取候选帧（约保留原视频10%）
2. 人工快速浏览剔除模糊/重复帧
3. 对目标密集时段手动补充采样

2. 多类别标注规范设计

针对交通场景的特殊性，标注规范需要解决以下挑战：

• 交通灯状态判别：红灯/绿灯/黄灯需区分，熄灭状态单独归类
• 行人遮挡处理：部分可见人体需标注可见区域
• 斑马线截断：图像边缘不完整的斑马线仍需标注

标注细则示例：

1. 交通灯 - 红灯：包括箭头红灯、圆形红灯 - 绿灯：含倒计时显示状态 - 黄灯：闪烁状态归入此类 - 黑灯：灯组可见但未点亮 2. 行人 - 完整可见：标注全身矩形框 - 部分遮挡：标注可见部分 - 人群密集：个体间距>20像素时单独标注 3. 斑马线 - 完整呈现：标注全部可见区域 - 部分可见：至少包含3条白线才标注

标签融合处理脚本（适用于合并不同版本标注）：

python merge_labels.py \ --base_dir ./3class_labels \ --addon_dir ./traffic_light_labels \ --output_dir ./merged_labels \ --class_mapping '{"traffic_light": ["red_light", "green_light"]}'

3. YOLO格式数据集构建

标准YOLO数据集需要严格的目录结构和规范的标签文件。我们推荐以下工作流：

目录树结构：

dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── dataset.yaml

数据集配置文件示例：

# dataset.yaml path: ../dataset train: images/train val: images/val test: images/test names: 0: pedestrian 1: crosswalk 2: red_light 3: green_light 4: yellow_light 5: off_light

数据集划分脚本核心逻辑：

from sklearn.model_selection import train_test_split def split_dataset(image_files, test_ratio=0.2, seed=42): train_files, test_files = train_test_split( image_files, test_size=test_ratio, random_state=seed ) val_files, test_files = train_test_split( test_files, test_size=0.5, random_state=seed ) return train_files, val_files, test_files

注意：保持图像与标签文件的严格对应关系，建议使用校验脚本验证：

python verify_labels.py --img_dir ./images/train --label_dir ./labels/train

4. 标注质量提升技巧

低质量标注会直接影响模型性能，我们总结出三个关键优化方向：

1. 困难样本挖掘

• 使用预训练模型初筛预测结果
• 重点关注假阳性/假阴性样本
• 对低置信度样本进行复核标注

2. 标注一致性检查

def check_annotation_consistency(label_dir): class_counts = defaultdict(int) for label_file in Path(label_dir).glob('*.txt'): with open(label_file) as f: for line in f: class_id = int(line.split()[0]) class_counts[class_id] += 1 # 输出类别分布异常报告 avg_count = sum(class_counts.values()) / len(class_counts) for cls, count in class_counts.items(): if count < avg_count * 0.3: print(f'警告：类别{cls}样本数异常偏少')

3. 边缘案例增强

• 极端光照条件（逆光/夜间）
• 罕见天气（雨雪/雾霾）
• 特殊视角（高架桥/隧道）

实际项目中，我们建议采用三级质检流程：

1. 标注员自检（完成每100张后）
2. 小组交叉审核（每日批次）
3. 最终抽样检查（验收阶段）

5. 训练集优化与模型适配

完成基础标注后，还需针对YOLO特性进行专项优化：

锚框聚类分析

from sklearn.cluster import KMeans def analyze_anchors(label_dir, n_clusters=9): all_boxes = [] for label_file in Path(label_dir).glob('*.txt'): with open(label_file) as f: for line in f: _, x, y, w, h = map(float, line.split()) all_boxes.append([w, h]) kmeans = KMeans(n_clusters=n_clusters) kmeans.fit(all_boxes) return kmeans.cluster_centers_

数据增强策略对比：

在交通灯识别任务中，我们发现色相保持增强尤为重要：

# yolov5 data augmentation config hsv_h: 0.0 # 禁用色相扰动 hsv_s: 0.7 # 适度饱和度变化 hsv_v: 0.4 # 亮度变化范围

6. 实战问题排查指南

最后分享几个实际项目中遇到的典型问题及解决方案：

问题1：交通灯误检为交通标志

• 原因：两类物体视觉特征相似
• 解决：在标注阶段明确区分边界，增加对比样本

问题2：远处行人漏检

• 原因：小目标特征不足
• 解决：采用马赛克增强，调整anchor尺寸

问题3：斑马线部分检测

• 原因：长条形目标IOU计算偏差
• 解决：修改NMS参数，使用DIoU损失函数

模型训练阶段建议监控以下指标：

python train.py \ --img 640 \ --batch 16 \ --epochs 300 \ --data dataset.yaml \ --weights yolov5m.pt \ --cache \ --bbox_interval 10 # 增加边界框验证频率