端到端课程自用 7 规划 端到端的训练数据与评测方法 笔记

常见数据集 训练数据简述

nuplan

nuplan 是后者升级版 自动标注的， 地点美国 新加坡,3D 障碍物，红绿灯，高精地图
支持轨迹预测 规划任务 支持闭环
nuscenes

NAVSIM 数据集

simulator 不与ego做交互，用真实的数据 做模拟器中的渲染

carla simulator

3d 城市模拟

城市地图 交通参与者 传感器模型 天气光照
适合闭环评测
可以自定义仿真场景

Bench2 Drive

链路数据全面 闭环与环境交互的闭环 可以互相影响 综合来看最好

Benchmark：基准测试的名称。
Sensor：是否提供或支持传感器数据（如摄像头、激光雷达等）。
Closed-Loop：是否支持闭环评估（即车辆的决策会实时影响环境，模拟真实的驾驶交互，而不是单纯回放历史数据）。
E2E-Sim：是否支持端到端（End-to-End）自动驾驶的仿真评估。
Expert：是否包含专家示范数据（可用于模仿学习）。
Complex：是否包含复杂场景的测试。
Multi-Ability-Eval：是否支持多能力评估（即能否精细评估模型在不同驾驶技能上的表现，如超车、避障、转弯等）。

nuScenes ：业界知名的3D感知数据集。它主要用于开环评估，不支持闭环，也不支持端到端仿真。
nuPlan ：大规模规划数据集。它支持闭环和复杂场景，但不支持端到端仿真，也没有专家数据。
Waymax ：基于JAX的闭环仿真平台。它支持闭环和复杂场景，但不支持传感器数据和专家数据。
Longest6 ：CARLA排行榜V1的修改版。它仅评估基本技能（如车道保持、转弯），不支持闭环、端到端、专家数据和复杂场景。
CARLA LB V2：CARLA官方的Leaderboard 2.0。它支持闭环、传感器和复杂场景，但缺少专家示范数据

开环评测

车辆 完全按照数据中的GT去开

• l2 距离 是预测轨迹的距离的差距，
• 指标碰撞率，预测轨迹和其他障碍物发生碰撞的比例
  开环只用于快速迭代 常用nuScesnes

闭环评测

闭环： 车辆与环境交互，执行模型输出轨迹的同时，环境也受到车辆轨迹而变化

NAVSIM常用指标

NC (No at-fault collision) - 无责任碰撞
含义：衡量自动驾驶车辆（自车）在行驶过程中是否发生主动碰撞。它会严格区分是“自车责任”的碰撞，还是其他交通参与者造成的碰撞，或者是与静态障碍物（如护栏、树木）的碰撞。
作用：这是最基础的安全底线，如果发生责任碰撞，通常会直接影响最终的综合评分。
DAC (Drivable Area Compliance) - 可行驶区域合规性
含义：评估车辆是否始终保持在合法的、可行驶的区域（如车道内、交叉路口）内行驶，有没有越出马路、开上人行道或逆向行驶。
作用：确保车辆遵守交通规则，保证行车轨迹的合法性。
TTC (Time-to-Collision) - 碰撞时间
含义：预测车辆与周围障碍物在未来发生碰撞所需的时间。它本质上衡量的是自车与障碍物之间的安全时间余量。
作用：反映车辆的安全裕度。如果 TTC 值过小，说明车辆进入了危险接近状态，极易发生追尾或碰撞。
EP (Ego Progress) - 自车进度
含义：衡量车辆沿导航目标（参考路径）向前推进的程度，通常以完成导航任务的百分比来表示。
作用：评估规划和控制的有效性，反映车辆的行进效率。指标越高，说明车辆越能高效地完成任务。
Comf (Comfort) - 舒适性
含义：评估驾乘体验的平顺度，主要考察加速度、加加速度（jerk）等物理参数是否在预设的舒适阈值内。
作用：如果车辆频繁急加速、急减速或急转弯，舒适性指标就会下降，这反映了算法控制的平滑性。
这五个指标通常会被用于计算一个综合得分（例如在 NAVSIM 中的 PDMS 评分），通过加权求和等方式，对自动驾驶系统的整体驾驶性能进行全面且客观的打分。

carla闭环常用指标