nuScenes 数据预处理实战：使用 MMDetection3D 生成 .pkl 文件 3 步流程

nuScenes 数据预处理实战：MMDetection3D 高效生成 .pkl 文件的进阶指南

1. 理解 nuScenes 数据集的核心价值

nuScenes 作为自动驾驶领域最具影响力的开源数据集之一，其核心优势在于多模态传感器数据的同步采集与精细标注。这套数据集包含：

• 6 个摄像头（前视/左右前视/后视/左右后视）
• 1 个 32 线激光雷达（车顶中央位置）
• 5 个毫米波雷达（前向+四角分布）
• IMU 和 GPS定位系统

# 典型传感器配置示例 sensor_config = { 'cameras': ['CAM_FRONT', 'CAM_FRONT_LEFT', 'CAM_FRONT_RIGHT', 'CAM_BACK', 'CAM_BACK_LEFT', 'CAM_BACK_RIGHT'], 'lidar': ['LIDAR_TOP'], 'radars': ['RADAR_FRONT', 'RADAR_FRONT_LEFT', 'RADAR_FRONT_RIGHT', 'RADAR_BACK_LEFT', 'RADAR_BACK_RIGHT'] }

2. 环境配置与数据准备

2.1 硬件建议配置

2.2 关键依赖安装

# 创建conda环境 conda create -n mmdet3d python=3.8 -y conda activate mmdet3d # 安装MMDetection3D pip install mmdet==2.28.1 mmcv-full==1.7.0 mmdet3d==1.1.0 # 安装nuScenes开发套件 pip install nuscenes-devkit==1.1.10

注意：建议使用Linux系统进行数据处理，Windows下可能遇到路径相关的问题

3. 数据预处理全流程解析

3.1 原始数据结构解构

nuScenes原始数据包含以下关键目录：

v1.0-mini/ ├── maps # 高精地图数据 ├── samples # 关键帧传感器数据 ├── sweeps # 中间帧传感器数据 └── v1.0-mini # 元数据JSON文件

3.2 坐标系转换原理

处理过程中涉及三大坐标系转换：

1. 传感器坐标系→车辆坐标系

   # 激光雷达点到车辆坐标系的转换矩阵示例 lidar_to_ego = np.array([ [0.997, -0.071, 0.022, 0.], [0.071, 0.997, -0.022, 0.], [-0.020, 0.024, 0.999, 1.73], [0., 0., 0., 1.] ])

2. 车辆坐标系→全局坐标系

3. 3D边界框→2D图像投影

3.3 关键处理步骤代码实现

def convert_nuscenes_to_pkl(data_root, out_dir, version='v1.0-mini'): """核心转换函数""" from nuscenes.nuscenes import NuScenes from nuscenes.utils import splits # 初始化数据集 nusc = NuScenes(version=version, dataroot=data_root, verbose=True) # 创建信息字典结构 info = { 'images': {}, 'lidar_points': {}, 'instances': [], 'cam_instances': {} } # 处理每个样本 for sample in nusc.sample: # 激光雷达数据处理 lidar_data = nusc.get('sample_data', sample['data']['LIDAR_TOP']) info['lidar_points']['filename'] = lidar_data['filename'] info['lidar_points']['timestamp'] = lidar_data['timestamp'] # 相机数据处理 for cam_name in ['CAM_FRONT', 'CAM_FRONT_LEFT', 'CAM_FRONT_RIGHT', 'CAM_BACK', 'CAM_BACK_LEFT', 'CAM_BACK_RIGHT']: cam_data = nusc.get('sample_data', sample['data'][cam_name]) info['images'][cam_name] = { 'img_path': cam_data['filename'], 'cam_intrinsic': nusc.get('calibrated_sensor', cam_data['calibrated_sensor_token'])['camera_intrinsic'] } # 保存为pkl文件 output_path = os.path.join(out_dir, f'nuscenes_infos_{version}.pkl') with open(output_path, 'wb') as f: pickle.dump(info, f)

4. MMDetection3D 适配技巧

4.1 配置文件关键参数

# configs/_base_/datasets/nuscenes-3d.py dataset_type = 'NuScenesDataset' data_root = 'data/nuscenes/' class_names = [ 'car', 'truck', 'trailer', 'bus', 'construction_vehicle', 'bicycle', 'motorcycle', 'pedestrian', 'traffic_cone', 'barrier' ] point_cloud_range = [-51.2, -51.2, -5.0, 51.2, 51.2, 3.0] # 点云处理范围(X,Y,Z)

4.2 多帧融合处理

通过LoadPointsFromMultiSweeps实现时序融合：

train_pipeline = [ dict( type='LoadPointsFromFile', coord_type='LIDAR', load_dim=5, # x,y,z,intensity,timestamp use_dim=5), dict( type='LoadPointsFromMultiSweeps', sweeps_num=10, # 融合过去10帧 use_dim=[0, 1, 2, 4]), # 使用x,y,z和时间差 ... ]

5. 性能优化与调试

5.1 常见问题解决方案

5.2 数据处理加速技巧

# 使用多进程处理 python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --workers 8 # 启用内存映射 with open('data.pkl', 'rb') as f: data = pickle.load(f, mmap_mode='r')

6. 进阶应用：自定义数据扩展

6.1 添加新传感器数据

def add_radar_features(info_dict, nusc, sample): """添加雷达特征到info字典""" radar_data = nusc.get('sample_data', sample['data']['RADAR_FRONT']) info_dict['radar_points'] = { 'filename': radar_data['filename'], 'velocity': parse_radar_velocity(radar_data) # 自定义解析函数 } return info_dict

6.2 多任务学习支持

扩展info结构以支持语义分割：

info['pts_semantic_mask_path'] = 'path/to/semantic_mask.bin' info['pts_instance_mask_path'] = 'path/to/instance_mask.bin'

7. 质量验证与可视化

7.1 数据校验脚本

def validate_pkl(pkl_path): """验证生成的pkl文件完整性""" with open(pkl_path, 'rb') as f: data = pickle.load(f) assert 'images' in data, "Missing images info" assert 'lidar_points' in data, "Missing lidar data" assert len(data['instances']) > 0, "No annotations found" print(f"Validation passed! Contains {len(data['instances'])} instances")

7.2 可视化工具使用

from mmdet3d.apis import show_result_meshlab # 加载预测结果和原始数据 result = dict( boxes_3d=..., scores_3d=..., labels_3d=... ) show_result_meshlab( data, # 原始数据 result, # 预测结果 out_dir, # 输出目录 show=True, # 交互式显示 snapshot=True # 保存截图 )