当前位置：首页 > news >正文

StreamPETR可视化工具使用教程：3D检测结果的可视化分析

news 2026/7/5 18:11:07

StreamPETR可视化工具使用教程：3D检测结果的可视化分析

【免费下载链接】StreamPETR[ICCV 2023] StreamPETR: Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection项目地址: https://gitcode.com/gh_mirrors/st/StreamPETR

StreamPETR是ICCV 2023提出的高效多视角3D目标检测模型，它采用对象中心的时间建模方法，在自动驾驶场景中实现了卓越的检测性能。本文将详细介绍如何使用StreamPETR内置的可视化工具来分析和理解3D检测结果，帮助您快速掌握3D检测结果的可视化分析方法。

📊 为什么需要3D检测可视化？

在自动驾驶和机器人感知领域，3D目标检测的可视化分析至关重要。与传统的2D检测不同，3D检测需要在三维空间中精确定位物体的位置、大小和朝向。StreamPETR的可视化工具能够：

直观展示检测结果：将复杂的3D边界框投影到图像平面上
对比预测与真值：方便进行模型性能评估和错误分析
多视角同步显示：同时展示6个相机视角的检测结果
支持批量处理：一次性生成大量样本的可视化图像

🔧 准备工作与环境配置

1. 安装StreamPETR项目

首先克隆项目仓库并安装依赖：

git clone https://gitcode.com/gh_mirrors/st/StreamPETR cd StreamPETR pip install -r requirements.txt

2. 准备数据集

StreamPETR使用nuScenes数据集进行训练和评估。您需要：

下载nuScenes数据集并放置在指定目录
按照data_preparation.md文档准备数据
确保数据路径配置正确

3. 获取预训练模型

从模型库下载预训练模型，例如：

# 下载StreamPETR V2-99模型 wget https://github.com/exiawsh/storage/releases/download/v1.0/stream_petr_vov_flash_800_bs2_seq_24e.pth

🚀 生成检测结果

在使用可视化工具之前，需要先运行模型推理生成检测结果：

# 使用分布式测试生成结果 ./tools/dist_test.sh projects/configs/StreamPETR/stream_petr_vov_flash_800_bs2_seq_24e.py \ work_dirs/stream_petr_vov_flash_800_bs2_seq_24e/latest.pth 8 --format-only

这个命令会生成JSON格式的检测结果文件，默认保存在work_dirs/pp-nus/results_eval/pts_bbox/results_nusc.json。

🎨 使用可视化工具

StreamPETR提供了强大的可视化工具tools/visualize.py，让我们深入了解其使用方法。

基础可视化配置

打开tools/visualize.py文件，您会看到以下核心配置：

# 可视化配置参数 use_gt = False # 是否使用真值标注 out_dir = './result_vis/' # 输出目录 result_json = "work_dirs/pp-nus/results_eval/pts_bbox/results_nusc" # 结果文件路径 dataroot = '/data/nuscenes' # 数据集根目录

可视化预测结果

要可视化模型的预测结果，只需运行：

python3 tools/visualize.py

图1：StreamPETR框架架构图，展示了多视角3D检测的整体流程

可视化真值标注

如果您想查看真值标注的可视化效果，可以将use_gt设置为True：

use_gt = True # 切换到真值标注模式

自定义可视化参数

在visual_nuscenes.py文件中，render_sample方法提供了丰富的参数配置：

def render_sample(self, sample_token: str, box_vis_level: BoxVisibility = BoxVisibility.ANY, nsweeps: int = 1, out_path: str = None, verbose: bool = True):

主要参数说明：

box_vis_level：边界框可见性级别
nsweeps：激光雷达扫描次数
out_path：输出图像路径
verbose：是否显示详细信息

📈 高级可视化技巧

1. 批量可视化处理

默认情况下，可视化工具会处理前100个样本。您可以通过修改循环范围来控制处理数量：

# 修改tools/visualize.py中的循环 for token in tqdm.tqdm(tokens[:50]): # 只处理前50个样本

2. 调整置信度阈值

在visual_nuscenes.py的NuScenes类初始化时，可以设置score_thr参数来过滤低置信度的检测结果：

nusc = NuScenes(version='v1.0-trainval', dataroot=dataroot, verbose=True, pred=True, annotations=result_json, score_thr=0.25) # 置信度阈值设为0.25

3. 多视角同步显示

StreamPETR的可视化工具会自动同步显示6个相机视角的检测结果，让您可以从不同角度观察3D检测效果。

4. 结果对比分析

您可以同时生成预测结果和真值标注的可视化图像，便于对比分析：

# 生成预测结果图像 nusc.render_sample(token, out_path=f"./result_vis/{token}_pred.png") # 生成真值标注图像（需要切换模式） nusc_gt = NuScenes(version='v1.0-trainval', dataroot=dataroot, verbose=True, pred=False, annotations="sample_annotation") nusc_gt.render_sample(token, out_path=f"./result_vis/{token}_gt.png")

🔍 理解可视化输出

图像组成要素

StreamPETR的可视化输出包含以下关键要素：

多视角图像：显示6个相机视角的原始图像
3D边界框：彩色边界框表示检测到的物体
类别标签：显示物体类别（如car、pedestrian等）
置信度分数：显示检测结果的置信度
坐标系：显示世界坐标系和相机坐标系

颜色编码系统

可视化工具使用统一的颜色编码：

红色：车辆类（car、truck、bus等）
绿色：行人（pedestrian）
蓝色：交通锥（traffic cone）
黄色：障碍物（barrier）
紫色：自行车/摩托车

⚡ 性能优化建议

图2：StreamPETR与其他方法的FPS性能对比，展示了其高效的时间建模优势

1. 内存优化

对于大规模数据集的可视化，建议：

分批处理样本，避免内存溢出
调整图像分辨率以获得更好的性能
使用更高效的图像保存格式

2. 并行处理

您可以修改可视化脚本，使用多进程并行处理多个样本：

from multiprocessing import Pool def process_token(token): nusc.render_sample(token, out_path=f"./result_vis/{token}_pred.png") with Pool(processes=4) as pool: pool.map(process_token, tokens[:100])