当前位置: 首页 > news >正文

BEV感知: nuScenes 3D 检测指标

BEV模型训练好后一般都会先基于训练环境进行评测,达到一定标准后才会部署到目标平台,以下基于PETR V1官方模型的评测展开讲解基于 nuScenes 数据集或nuScenes 格式制作的数据集的各项 3D 检测评测指标。

以下是PETR V1训练好后的模型验证结果,要说明的是;PETR、BEVFormer、BEVDet、DETR3D、FCOS3D 等所有基于 nuScenes 的相机 3D 检测模型,评测工具、指标定义、计算公式、匹配规则 100% 一致

mAP: 0.3778
mATE: 0.7463
mASE: 0.2718
mAOE: 0.4883
mAVE: 0.9062
mAAE: 0.2123
NDS: 0.4264
Eval time: 242.1s

Per-class results:
Object Class AP ATE ASE AOE AVE AAE
car 0.556 0.555 0.153 0.091 0.917 0.216
truck 0.330 0.805 0.218 0.119 0.859 0.250
bus 0.412 0.789 0.205 0.162 2.067 0.337
trailer 0.221 0.976 0.233 0.663 0.797 0.146
construction_vehicle 0.094 1.096 0.493 1.145 0.190 0.349
pedestrian 0.453 0.688 0.289 0.636 0.549 0.235
motorcycle 0.368 0.690 0.256 0.622 1.417 0.149
bicycle 0.341 0.609 0.270 0.812 0.455 0.017
traffic_cone 0.531 0.582 0.320 nan nan nan
barrier 0.472 0.673 0.281 0.145 nan nan

基于 nuScenes 数据集做 3D 检测评测,整套指标分为两大类:

  1. 检测精度指标 AP/mAP:衡量物体有没有检测出来、定位准不准;
  2. 误差类指标 ATE/ASE/AOE/AVE/AAE + m 前缀均值:衡量 3D 框尺寸、位置、角度、速度、加速度预测误差;
  3. 综合打分 NDS:nuScenes 官方综合评价总分;
  4. Eval time:推理评测耗时。

一、全局总指标释义 + 计算公式

1. mAP = 0.3778

含义

mean Average Precision,各类别 AP 的算术平均值,3D 目标检测核心检出精度指标。 nuScenes 3D AP 判定规则:以 2D 中心距离阈值(0.5m, 1m, 2m, 4m)区分匹配,满足阈值才算 True Positive。

  • AP:单类别下 PR 曲线下面积;
  • mAP:所有类别 AP 取平均。
计算公式



2. mATE = 0.7463

Mean Average Translation Error 平均平移误差

含义

3D 框中心xy 平面定位误差,单位米,只对匹配成功的预测框计算;mATE 是所有类别 ATE 的均值。 ATE 越大,物体位置预测越偏。

单类 ATE 计算

对该类别所有匹配成功的预测 - 真值对:

全局:

本例全局平均定位偏移 0.7463m;工程车 construction_vehicle ATE=1.096m 定位最差。


3. mASE = 0.2718

Mean Average Scale Error 平均尺寸误差

含义

3D 框长宽高尺寸预测相对误差,无量纲;衡量物体大小估得准不准。

单类 ASE 公式

数值越接近 0,物体尺寸预测越精准;工程车 ASE=0.493 尺寸偏差最大。


4. mAOE = 0.4883

Mean Average Orientation Error 平均朝向角度误差

含义

航向角 yaw 预测误差,单位弧度;只对有旋转的动态车辆生效。 traffic_cone、barrier 无朝向定义,表格中为nan,不计入该类 AOE 统计。


trailer、工程车、自行车角度误差明显偏高。


5. mAVE = 0.9062

Mean Average Velocity Error 平均速度误差

含义

速度矢量预测误差(m/s),仅动态运动物体;锥桶、护栏无速度标注,为nan


6. mAAE = 0.2123

Mean Average Acceleration Error 平均加速度误差

含义

加速度矢量误差(m/s²),运动物体时序预测指标;锥桶 / 护栏为 nan。



7. NDS = 0.4264(最重要综合指标)

nuScenes Detection Score,nuScenes 官方综合打分融合检测精度 + 所有几何 / 运动误差,是业界横向对比模型的核心指标,值域 [0,1],越高越好。

标准计算公式

  • maxErr 为各误差阈值:ATE=4m, ASE=0.5, AOE=π, AVE=2m/s, AAE=4m/s²;
  • 误差越大,该项得分越低;误差超过阈值则该项取 0;
  • mAP 权重最高(5 份),5 个误差项各 1 份,总分除以 10 归一化到 0~1。

官方 NDS=0.4264,代表模型综合检测 + 尺寸 / 位置 / 角度 / 速度预测综合水平。



二、指标的计算方法展示

2.1 mAP 的计算

mAP 是10 个类别 AP 的算术平均

2.2 mATE 的计算

mATE 是所有类 ATE 的平均(10 个类全有):

2.3 mASE 的计算

mASE 是所有类 ASE 的平均(10 类全有):

2.4 mAOE 的计算

traffic_cone的 AOE 为nan(无朝向真值),计算时只平均有效的 9 个类

2.5 mAVE 的计算

traffic_conebarrier的 AVE 为nan,只平均有速度真值的8 个类

2.6 mAAE 的计算

属性真值同样缺失于traffic_conebarrier,也只平均8 个类

2.7 NDS 的计算

将上面得到的 mAP、mATE、mASE、mAOE、mAVE、mAAE 代入 NDS 公式:

http://www.jsqmd.com/news/1110405/

相关文章:

  • SmallThinker 3B:小模型如何实现可靠本地化思维链推理
  • 百考通AI开题报告专治目标虚方法空进度假等问题
  • 免费额度随心用!okbiye 一站式 AI 科研绘图,覆盖本科毕设到 SCI 期刊全制图需求
  • 2026深度实测:AI编程工具vibe coding能力全对比
  • 模板驱动型文档自动化:非技术人员的智能文档生成方案
  • 都以为东莞注塑模具供应商好找,实则靠谱优质的难寻?
  • OpenAI Assistants API:从聊天接口到自主工作流的范式升级
  • Claude 3.5 Sonnet如何赋能生物信息学分析流程
  • N-Queen遗传算法实战:从100皇后求解看GA工程化落地
  • 微提示工程:用几十字符提示词替代万元级AI API
  • 3D-LLM:大语言模型如何直接生成可制造三维模型
  • Linux 【08-grep命令超详细教程】
  • 企业微信二次开发API 项目中的数据权限:按员工、部门还是业务线控制
  • 大模型稀疏激活真相:MoE参数量、2%激活率与工程实践
  • 遗传算法求解N皇后问题的Python实操指南
  • 2026深度实测:两款主流AI编程工具vibe coding能力全对比
  • 工业4-20mA电流环技术及STM32与DAC161S997实现方案
  • Playnite游戏库管理器:终极一站式游戏管理解决方案
  • Windows系统文件bcryptprimitives.dll丢失找不到问题解决
  • 大电流FOC控制:A89307与TM4C123的BLDC电机精准驱动方案
  • 【AI演进史】从图灵测试到Agent时代:一部人工智能的跌宕七十年
  • Mac电脑查看端口号占用
  • 3步快速上手HunterPie:怪物猎人世界最强辅助工具使用指南
  • 一键解锁九大网盘下载限制:LinkSwift网盘直链下载助手终极指南
  • AI编排实战:MuleSoft+LangChain构建企业级AI集成架构
  • 如何使用ChatIG Python SDK快速集成AI能力
  • 如何选择最适合你的多协议下载器?Gopeed全平台解决方案详解
  • 20+专业钓鱼邮件模板生成器:PhishMailer安全研究工具详解
  • 消息通知设计
  • Python编程视频索引