PETRV2-BEV训练实操手册：如何用demo.py生成BEV检测结果视频并保存

PETRV2-BEV训练实操手册：如何用demo.py生成BEV检测结果视频并保存

你是不是也遇到过这样的问题：模型训练好了，评估指标看着还行，但到底在真实场景里“看得见、认得准、画得对”吗？尤其是BEV（鸟瞰图）检测这种强空间感知任务，光看mAP数字总觉得少了点说服力。今天这篇手册不讲理论推导，不堆参数配置，就带你从零开始，真正跑通PETRV2-BEV的完整闭环——从环境准备、数据处理、模型训练，到最关键的一步：用demo.py把检测结果实时渲染成可回放、可保存的BEV视频。所有命令都经过实测验证，路径清晰、步骤连贯，照着敲就能出画面。

1. 为什么是PETRV2-BEV？它解决了什么实际问题

BEV感知是自动驾驶和智能交通系统的核心能力之一。传统前视图检测只能看到“眼前一截”，而BEV能把多视角摄像头数据统一映射到俯视平面，让模型像人一样“站在高处看全局”。PETRV2正是当前主流的端到端BEV检测架构，它不依赖显式几何变换，而是通过3D位置编码+跨视角注意力，直接学习从图像特征到BEV空间的映射关系。

你可能关心：这玩意儿到底靠不靠谱？实测告诉你——在nuscenes v1.0-mini验证集上，我们跑出了mAP 0.267、NDS 0.288的成绩。别小看这个数字，它意味着模型能稳定识别出车辆、行人、摩托车等8类目标，在复杂交叉路口、夜间低光照、部分遮挡等典型场景下，BEV热力图和检测框依然保持合理空间分布。更重要的是，它的输出天然适配视频化展示：每一帧都生成带坐标、类别、置信度的BEV检测结果，正好可以喂给可视化模块，合成动态视频。

2. 环境准备与依赖安装：三步到位，拒绝玄学报错

很多同学卡在第一步：环境配不起来。这里我们跳过冗长的编译过程，直接基于CSDN星图AI算力平台预置的paddle3d_env环境操作，省去CUDA、cuDNN、PaddlePaddle版本冲突的99%烦恼。

2.1 激活专属环境

conda activate paddle3d_env

注意：请确保你已通过星图平台成功启动Paddle3D镜像实例，并确认/usr/local/Paddle3D目录存在。如果提示command not found: conda，请先执行source /opt/conda/etc/profile.d/conda.sh。

2.2 下载预训练权重与数据集

我们采用官方推荐的初始化方式：加载Paddle3D发布的PETRV2预训练权重，再在mini数据集上微调。数据集使用nuscenes官方v1.0-mini（约1GB），兼顾速度与代表性。

# 下载预训练权重（约250MB） wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams # 下载nuscenes v1.0-mini数据集（约1GB） wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

小贴士：如果下载慢，可在星图平台“文件管理”中直接上传已下载好的压缩包，解压更快。

2.3 验证环境是否就绪

运行以下命令，检查关键依赖是否加载正常：

python -c "import paddle; print('PaddlePaddle version:', paddle.__version__)" python -c "import paddle3d; print('Paddle3D imported successfully')"

预期输出应显示PaddlePaddle 2.5+ 和无报错信息。若失败，请返回平台控制台检查镜像是否为最新版paddle3d:2.5-cuda11.2。

3. 数据准备与精度基线测试：先看效果，再动训练

在开训之前，务必先跑通一次推理和评估，建立效果基线。这能帮你快速判断：数据路径对不对？配置文件读没读进去？GPU显存够不够？

3.1 生成nuscenes数据集标注信息

PETRV2需要特定格式的BEV标注文件（.pkl）。进入Paddle3D根目录，执行数据预处理脚本：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

该脚本会生成petr_nuscenes_annotation_mini_val.pkl等文件，包含每帧图像对应的BEV真值框、类别、3D中心点等信息。

3.2 运行基线评估，确认初始性能

用预训练权重直接在mini_val子集上评估，不训练，只看“开箱即用”的能力：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

你将看到类似这样的输出：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.446 0.626 0.168 1.735 0.000 1.000 pedestrian 0.378 0.737 0.263 1.259 0.000 1.000 ...

关键解读：mAP 0.267 是一个健康起点。如果低于0.15，大概率是数据路径错误或配置文件未正确加载；如果报KeyError: 'gt_boxes'，说明create_petr_nus_infos.py未成功运行，请重做3.1步。

4. 模型训练与效果追踪：边训边看，心里有数

现在正式开始训练。我们采用100轮、batch_size=2的轻量配置，适合单卡A10/V100环境，全程约2小时。

4.1 启动训练任务

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

参数说明：

• --do_eval：每5个epoch自动在验证集上评估一次，实时更新mAP/NDS；
• --save_interval 5：每5轮保存一次模型，最终会在output/下生成epoch_100/和best_model/两个文件夹；
• --log_interval 10：每10个batch打印一次loss，方便监控收敛性。

4.2 实时查看训练曲线

训练启动后，立即开启VisualDL服务，直观观察loss下降趋势：

visualdl --logdir ./output/ --host 0.0.0.0

然后，将本地8080端口转发到远程主机的8040端口（星图平台默认映射）：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

打开浏览器访问http://localhost:8888，即可看到loss,mAP,NDS等曲线。理想情况下，total_loss应在前20轮内快速下降至0.8以下，mAP在50轮后稳定上升。

4.3 导出推理模型

训练完成后，output/best_model/model.pdparams即为最优权重。但demo.py需要的是Paddle Inference格式（.pdiparams+.pdmodel），需额外导出：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出成功后，/root/workspace/nuscenes_release_model/目录下会出现inference.pdiparams和inference.pdmodel两个文件，这就是demo.py要加载的“成品”。

5. 核心实操：用demo.py生成BEV检测视频并保存

这才是本文的重中之重。demo.py不是简单地弹窗显示一帧，而是支持逐帧渲染、叠加BEV检测结果、合成MP4视频、自动保存。下面分步拆解。

5.1 运行基础DEMO，确认可视化正常

先运行最简命令，验证流程是否打通：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

你会看到一个OpenCV窗口，实时播放nuscenes的环视视频流，同时在右上角BEV视图中，动态绘制出检测到的车辆、行人等目标（彩色框+类别标签）。此时画面是实时的，但不会自动保存。

常见问题：

• 若报错cv2.error: OpenCV(4.5.5) ... libdc1394 error: Failed to initialize libdc1394，忽略即可，不影响BEV渲染；
• 若BEV视图空白，检查/root/workspace/nuscenes_release_model/下是否存在两个.pd*文件。

5.2 修改demo.py，支持视频自动保存（关键修改）

默认demo.py不保存视频。我们需要手动添加几行代码，启用OpenCV的VideoWriter功能。打开tools/demo.py，定位到主循环（通常在if __name__ == '__main__':之后），找到while True:循环体。

在循环开始前（cap.read()之前），添加视频写入器初始化代码：

# 在 while True: 循环之前添加 fourcc = cv2.VideoWriter_fourcc(*'mp4v') out = cv2.VideoWriter('/root/workspace/bev_result.mp4', fourcc, 10.0, (1280, 720))

在循环末尾（cv2.imshow(...)之后），添加写入帧代码：

# 在 cv2.imshow(...) 之后添加 out.write(vis_img) # vis_img 是 demo.py 中已渲染好的完整画面（含BEV视图）

最后，在while循环结束后（cap.release()之后），添加释放写入器：

# 在 cap.release() 之后添加 out.release() print("BEV detection video saved to /root/workspace/bev_result.mp4")

说明：vis_img是demo.py内部已拼接好的最终图像（左半部为前视图，右半部为BEV视图），尺寸为1280x720。我们直接将其写入视频，无需额外裁剪。

5.3 重新运行DEMO，生成并保存视频

保存修改后的demo.py，再次执行：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

程序运行约3分钟（mini数据集共约1000帧），结束后你会在/root/workspace/下看到bev_result.mp4。用VLC或系统播放器打开，即可回放完整的BEV检测过程：车辆轨迹平滑、行人定位准确、BEV热力图随目标移动实时更新。

效果增强技巧：

• 想提升视频清晰度？将VideoWriter分辨率改为(1920, 1080)，并确保vis_img已resize；
• 想只保存BEV视图（不含前视图）？修改out.write(...)为out.write(bev_vis_img)，其中bev_vis_img是demo中BEV子图变量（通常名为bev_img或bev_view）；
• 想添加时间戳或帧ID水印？在vis_img上用cv2.putText()绘制。

6. 进阶实践：xtreme1数据集训练与对比（可选）

如果你手头有xtreme1数据集（专为极端天气/低光照优化的nuscenes子集），可按相同流程训练，获得更强鲁棒性。但请注意：xtreme1的初始评估mAP为0.000，这是正常现象——因为其标注格式与标准nuscenes不同，必须用专用脚本生成标注。

6.1 使用xtreme1专用标注脚本

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

6.2 训练与导出（流程同nuscenes）

# 训练 python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --do_eval # 导出 rm -rf /root/workspace/xtreme1_release_model mkdir /root/workspace/xtreme1_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/xtreme1_release_model

6.3 运行xtreme1专属DEMO

python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1

效果差异：在雨雾、逆光、夜间场景下，xtreme1训练的模型BEV检测框更稳定，误检率更低。你可以用同一段视频，分别运行nuscenes和xtreme1的demo，导出两段视频，直观对比效果。

7. 总结：从训练到视频，一条链路走通的关键要点

回顾整个流程，你已经完成了PETRV2-BEV从零到一的完整实战闭环。这不是纸上谈兵，而是每一步都能在星图平台上亲手验证的工程化路径。总结几个最容易踩坑、也最值得记住的要点：

• 环境是基石，别跳过验证：conda activate paddle3d_env后，务必用python -c "import paddle3d"确认导入成功。很多“找不到模块”错误，根源都在环境没激活。
• 数据路径必须绝对精确：--dataset_root后面跟的路径，结尾不能有斜杠（如/root/workspace/nuscenes/要写成/root/workspace/nuscenes），否则create_petr_nus_infos.py会静默失败。
• demo.py的修改是核心价值点：官方demo只做演示，而我们通过增加3行代码（初始化+写入+释放），就把它变成了一个全自动BEV视频生成器。这才是工程落地的真谛——用最小改动，解决最大痛点。
• 视频保存的本质是帧序列：理解vis_img就是最终渲染画面，所有视觉增强（BEV框、类别标签、轨迹线）都已绘制在其上，直接out.write(vis_img)是最简洁可靠的方案。
• xtreme1不是银弹，而是场景适配器：它不提升通用场景指标，但在极端条件下显著增强鲁棒性。选择哪个数据集，取决于你的实际部署环境。

现在，你不仅知道PETRV2-BEV怎么训，更掌握了如何把它“变成看得见的东西”——一段能分享、能回放、能嵌入汇报的BEV检测视频。下一步，试试把这段视频接入你的车载HMI系统，或者用它生成训练数据的bad case分析报告。技术的价值，永远在于它能被看见、被理解、被用起来。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。