上交大秦通团队提出 VLN-AVP：不用高精地图、首次进车库就能泊车，真车部署已验证
「快慢分工 + 两级记忆」
目录
01 大模型管"想"，感知模块管"开"
02 刚才看到的要记住，以前走过的更要记住
03 实验：仿真搭台 + 真车验证
04 总结与能力边界
自主代客泊车（AVP）这事儿，说白了就是两个能力：认路、停车。
在已有高精地图的车库里，认路问题已经被工程化解决得差不多了——输入"B2层31号"，车辆沿着地图规划好的路径开过去就行。
但真正让行业头疼的，是地图覆盖不到的地方：一个从没去过的陌生车库，或者用户突然来一句"找个带充电桩的""停离出口最近的位置"。
坐标没了，语义来了，传统 AVP 直接断片。
上海交通大学秦通团队联合引望智能提出的VLN-AVP框架，盯的就是这个缺口。
核心思路很直接：不依赖预建高精地图，用视觉语言大模型（VLM）理解自然语言指令和车库视觉线索，实时做方向决策，再交给底层感知模块执行可行轨迹。
这套方案值不值得关注？我们觉得有几个点值得拆开看
图1 | VLN-AVP 将传统 AVP 的固定坐标目标，转换为“找电梯口”“找充电车位”等自然语言语义目标。论文强调的是无需预先制作或加载高精地图，而非系统从不建立环境记忆。
01 大模型管"想"，感知模块管"开"
先回答一个被反复问到的问题：大模型那么强，为什么不能直接让它开车？
答案很朴素：频率对不上。低速泊车场景下，车辆需要 10Hz 以上连续的运动控制输出；而 VLM 一次推理几百毫秒起步，输出的是离散文本，不是转向角和油门值。让大模型直接吐控制信号，既不安全也不现实。
VLN-AVP 的解法是把决策切成三层：
- 底层（快系统）：高频 BEV 感知模块从鸟瞰图中提取车道中心线，结合车辆运动学模型生成候选行驶轨迹。这些轨迹都是"车能走"的，运动学层面可行。
- 顶层（慢系统）：VLM 以较低频率处理前视图像 + 用户指令 + 记忆线索，输出"向左""向右""前进""停止"这类宏观方向意图。
- 中间层：层级决策模块拿顶层的方向意图去匹配底层的候选轨迹，选一条最符合意图的交给控制器执行。
图2 | VLN-AVP 的快慢分工：高频 BEV 感知生成车辆运动学可行的候选路线，低频 VLM 根据自然语言和记忆决定方向，层级模块再选择实际执行的轨迹。
图3 | 结合长期记忆与缓存动作的层级决策模块，将大模型的意图转化为底层的具体行驶轨迹。
这个设计的关键洞察是：语义理解和运动学约束各管各的，不要混在一起。大模型擅长读标志、理解"出口在哪边"，但它不懂车辆转弯半径；BEV 感知懂车辆能走什么路，但它不理解"充电桩"是什么意思。把它们分层衔接，比强行让一个模型端到端全包更靠谱。
02 刚才看到的要记住，以前走过的更要记住
地下车库弯多路窄，一个"← 出口"的指示牌可能只在前视画面里出现两三秒，车一转弯就出了视野。如果 VLM 只看当前帧，它做下一个决策时就丢失了刚才看到的方向线索——单帧决策本质上是有记忆缺陷的。
VLN-AVP 用两级记忆来补这个短板。
短期记忆管"刚才"：系统用目标检测模型把刚经过的标志牌等语义信息缓存下来，VLM 做决策时可以调用这个缓存。即使当前画面里指示牌已经消失，系统仍然知道"三秒前左边有个出口箭头"。这个机制看似简单，但它解决的恰恰是地下导航连续性的核心问题。
长期记忆管"以前"：当车辆在一个陌生车库完成首次导航后，系统会把沿途路口、地标及其方向关系记录成一张稀疏拓扑图。下次再进同一个车库，系统先查这张图，有已知路径就直接复用，不必每个路口都重新调用大模型推理。
图4 | 长期记忆建立的稀疏拓扑图示例。系统在重复到达的环境中逐步积累经验，从而减少大模型调用。
这个设计在成本上的收益是实打实的。论文的单场景重复实验里，前 10 次导航，完整系统调用大模型 317 次；去掉长期记忆的版本调了 1403 次——差了将近 4.4 倍。每次 VLM 调用都意味着算力和延迟开销，长期记忆本质上是在用空间换时间，把一次性的探索成本摊到后续的重复使用上。两级记忆各管一段：短期保证不掉线，长期保证不重来。
03 实验：仿真搭台 + 真车验证
仿真基准。为了评估自然语言引导的地下车库导航，研究团队利用手持激光雷达和鱼眼相机采集真实地下车库数据，再以三维高斯溅射技术构建十个连续的仿真场景，并在此基础上设置了上千个导航回合的评测基准。
图5 | VLN-AVP 数据集包含十个由真实地下车库采集数据构建的仿真场景：上排展示渲染视角，下排展示车库俯视结构。
在论文报告的仿真测试中，面对“找出口”这样的单目标指令，VLN-AVP 的目标区域停车成功率为65.2%，论文表中表现最好的自动驾驶基线 LaMPilot 为 49.7%；
当指令变成“在 B 区出口附近、两侧无车的位置停车”这类需要跨区域识别和多条件判断的组合目标时，两者的成功率分别降至 45.4% 和 33.6%。
VLN-AVP 在两种指令下都领先基线约 12-15 个百分点，说明快慢分工 + 记忆机制的组合确实在"理解复杂语义指令"这件事上有增量。
图6 | 一条“在 B 区出口附近、两侧无车的位置停车”的组合指令，如何被拆成沿途的区域识别、方向选择与最终停车判断。
真车验证。除仿真环境外，研究团队还将该系统部署在搭载 NVIDIA 2060 GPU 的真实车辆上，并在两个真实地下车库进行了三十次导航试验。
论文报告，VLN-AVP 的目标区域停车成功率为 63.3%，对比方法 LaMPilot 为 36.7%；移除长期记忆后的版本为 53.3%。
这些小规模试验说明，该框架可以在论文设定的真实场景中闭环运行，并支持基于用户反馈的纠错流程。
例如，车辆初次停在错误电梯厅后，用户可以给出“不是这里，请继续”的反馈，系统再结合短期记忆继续导航。
图7 | 真实车辆案例：第一次停在错误电梯厅后，系统接受“不是这里，请继续”的反馈；当当前画面不再出现明显标志时，短期记忆仍为后续方向判断保留线索。
随着在同一车库中导航次数增加，长期记忆的作用逐步显现。
论文在单场景、五十次重复导航实验中观察到，带长期记忆的完整系统成功率呈上升趋势；
在前十次导航的成本统计里，完整系统共调用大模型 317 次，移除长期记忆的版本为 1403 次。
该结果支持长期记忆能够在这一特定设定下减少重复探索和大模型调用，并提高重复导航的效率；具体成本仍取决于模型、接口定价和任务长度。
图8 | 在同一地下车库重复导航时，长期记忆让系统逐步积累已验证的路口与地标关系；曲线反映的是论文单场景重复试验的趋势，而非所有车库的通用承诺。
04 总结与能力边界
论文将大模型的方向与空间推理能力列为后续需要加强的部分；而现有实验主要集中在低速、封闭的地下车库导航。论文没有报告动态行人或车辆密集、雨雪和极暗视觉退化、多车型泛化、长时间连续运行等条件下的量产级安全指标。
所以更准确的定位是：这是一套面向特定场景（地下车库低速泊车）的语义导航框架，离替代完整车规级安全系统还远。但它提供了一个完整且可复现的工程范式——从感知、决策到记忆，每一层都给出了具体实现，而不是停在 concept demo 阶段。
REF：
论文标题VLN-AVP: Zero-Shot Vision-Language Navigation with Hybrid Long-Short-Term Memory for Autonomous Valet Parking
论文链接：https://arxiv.org/abs/2607.17767