端到端课程自用 6 规划 端到端的模型训练范式 AI 笔记

概述

多任务

• Traffic light head→ 红绿灯检测
• OCR/ETC/...→ 指示牌分类/OCR、ETC口/抬杆检测
• OCC head→ OCC感知（Occupancy感知）
• OD Former (PETR)→ 动态障碍物检测 + 时序跟踪/预测
• Map Former (MapTr)→ 静态车道线建图
• Planner Former→ Planning规划 → 输出轨迹Trajectory
• Transformer-based Head ：
  在 OD Former 中：QKV 用于建模“物体-物体”、“物体-场景”之间的时空关系（如跟踪、预测）
  在 Map Former 中：QKV 用于建模“车道线-车道线”、“车道线-车辆”之间的关系（如建图一致性）
  在 Planner Former 中：QKV 用于建模“自车-障碍物-车道线”之间的交互，生成安全轨迹

训练的难点

多loss平衡
各种训练策略
多种数据标注

解决思路 多阶段训练

解决训练不稳定 复杂度爆炸
整体思路可以是训练感知和训练规划分开

感知阶段

预训练 image backbone 为主要训练对象 加上红绿灯检测 辅助任务 杆牌检测 多loss平衡
单帧训练 学习3D感知能力 backbone 学习率要小 多loss平衡 主要学习 bev backbone 解码器：od former PETR方法 map former Maptr方法 occ header
时序训练 学习率适当减小 backbone 可以freeze

规划阶段

先 freeze 其他模块
模仿人类驾驶轨迹
需要多种多样的数据 分布很重要 需要不同场景行为 左右转弯 掉头等

然后 感知与planning一起训练 把整体学习率变小
此时感知模块的loss weifht可以调小

planning强化学习 更小的学习率 仅训练planning

一段式端到端和两段式训练方法的对比和区别

两段式 的出现有历史背景 感知各种方法收敛之后 pnc数据驱动尚未成熟
把感知整合到一起 然后 规划成为一个独立模型
区别在于梯度在训练时候是否要反传

两段式训练阶段

仅训练planning
注意点同感知的训练
但是 可以把感知的数据推理结果作为输入