nuScenes 全景分割：Panoptic nuScenes 完整实现指南

nuScenes 全景分割：Panoptic nuScenes 完整实现指南

【免费下载链接】nuscenes-devkitThe devkit of the nuScenes dataset.项目地址: https://gitcode.com/gh_mirrors/nu/nuscenes-devkit

Panoptic nuScenes 是 nuScenes 数据集的重要扩展，提供了丰富的全景分割标注，帮助开发者实现更精准的自动驾驶环境感知。本指南将从零开始，带您掌握 Panoptic nuScenes 的数据集结构、核心功能和完整实现流程，让您快速上手这一强大的自动驾驶感知工具。

什么是 Panoptic nuScenes？

Panoptic nuScenes 是 2021 年 8 月发布的 nuScenes 扩展数据集，它创新性地结合了语义分割和实例分割，为自动驾驶场景提供了全面的环境理解能力。与传统的语义分割不同，Panoptic nuScenes 不仅能识别每个点的类别（如车辆、行人、道路），还能区分同一类别中的不同实例（如区分两辆不同的汽车）。

官方文档详细介绍了 Panoptic nuScenes 的设计理念和技术细节，您可以通过 docs/instructions_nuscenes.md 深入了解。

数据集结构与准备

目录结构

Panoptic nuScenes 数据集需要与基础 nuScenes 数据集配合使用，典型的目录结构如下：

└── nuscenes ├── 标准 nuScenes 文件夹（samples, sweeps 等） │ ├── panoptic │ └── v1.0-{mini, test, trainval} # 包含全景分割标注文件 │ └── v1.0-{mini, test, trainval} ├── 标准 JSON 文件（attribute.json, calibrated_sensor.json 等） └── panoptic.json # 全景分割标注的元数据

快速安装步骤

1. 克隆仓库：

   git clone https://gitcode.com/gh_mirrors/nu/nuscenes-devkit

2. 安装依赖：

   cd nu/nuscenes-devkit pip install -r setup/requirements.txt

3. 下载数据集： 从 nuScenes 官网 下载基础数据集和 Panoptic 扩展包，解压到/data/sets/nuscenes目录。

核心功能与 API

初始化 NuScenes 类

Panoptic nuScenes 的所有功能都通过NuScenes类实现，初始化时会自动加载全景分割数据：

from nuscenes import NuScenes nusc = NuScenes(version='v1.0-mini', dataroot='/data/sets/nuscenes', verbose=True)

数据统计与分析

Panoptic nuScenes 提供了丰富的统计功能，帮助您了解数据集分布：

• 类别统计：

  # 按点数量统计语义类别 nusc.list_lidarseg_categories(sort_by='count', gt_from='panoptic')

• 实例统计：

  # 统计每个类别的实例数量和属性 nusc.list_panoptic_instances(sort_by='count')

这些功能在 python-sdk/nuscenes/nuscenes.py 中实现，通过list_panoptic_instances方法可以获取每个类别的实例数量、平均持续帧数等关键指标。

可视化全景分割结果

Panoptic nuScenes 提供了多种可视化工具，帮助您直观理解标注数据：

鸟瞰图可视化

sample_data_token = my_sample['data']['LIDAR_TOP'] nusc.render_sample_data( sample_data_token, with_anns=False, show_lidarseg=False, show_panoptic=True )

这段代码会生成点云的鸟瞰图，其中不同类别的实例会用不同颜色标记，帮助您清晰区分同一类别的不同对象。

相机图像叠加

nusc.render_pointcloud_in_image( my_sample['token'], pointsensor_channel='LIDAR_TOP', camera_channel='CAM_BACK', render_intensity=False, show_lidarseg=False, show_panoptic=True, filter_lidarseg_labels=[17, 22, 23, 24] # 过滤特定类别 )

此功能将激光雷达点云的全景分割结果叠加到相机图像上，便于分析传感器数据的空间对应关系。

模型评估与预测可视化

评估指标计算

Panoptic nuScenes 提供了完整的评估工具，支持全景分割和全景跟踪任务的评估：

python python-sdk/nuscenes/eval/panoptic/evaluate.py \ --result_path /data/panoptic_pred_results \ --eval_set mini_val

评估代码位于 python-sdk/nuscenes/eval/panoptic/evaluate.py，支持计算 PQ（Panoptic Quality）等关键指标。

预测结果可视化

训练模型后，您可以将预测结果保存为.npz文件，并使用以下代码可视化：

my_predictions_bin_file = os.path.join( '/data/sets/nuscenes/panoptic/v1.0-mini', sample_data_token + '_panoptic.npz' ) nusc.render_pointcloud_in_image( my_sample['token'], pointsensor_channel='LIDAR_TOP', camera_channel='CAM_BACK', render_intensity=False, show_lidarseg=False, show_panoptic=True, lidarseg_preds_bin_path=my_predictions_bin_file )

实战教程与示例

完整的 Panoptic nuScenes 教程请参考 python-sdk/tutorials/nuscenes_lidarseg_panoptic_tutorial.ipynb，其中包含：

• 数据集初始化与探索
• 语义和实例统计分析
• 多种可视化方法演示
• 预测结果加载与评估

通过这个教程，您可以快速掌握 Panoptic nuScenes 的核心功能和使用方法。

总结

Panoptic nuScenes 为自动驾驶环境感知提供了强大的全景分割标注和工具支持。通过本指南，您已经了解了数据集结构、核心 API、可视化方法和评估流程。无论是学术研究还是工业应用，Panoptic nuScenes 都能为您的自动驾驶感知系统开发提供有力支持。

立即开始探索 python-sdk/nuscenes/panoptic/ 目录下的代码，开启您的全景分割之旅吧！ 🚗💨

【免费下载链接】nuscenes-devkitThe devkit of the nuScenes dataset.项目地址: https://gitcode.com/gh_mirrors/nu/nuscenes-devkit