Large Language Models and 3D Vision for Intelligent Robotic Perception and Autonomy

文章核心总结与创新点

主要内容

该文章聚焦大语言模型（LLMs）与3D视觉的融合，系统综述了二者在智能机器人感知与自主系统中的应用。内容涵盖LLMs与3D视觉的基础理论（如LLMs的预训练/微调机制、3D数据的欧氏/非欧氏表示）、机器人感知关键技术（立体视觉、结构光、LiDAR等传感器原理）、核心应用方向（目标定位与接地、动态场景理解、室内外场景解析、开放词汇理解、文本到3D生成、多模态融合、具身智能体），同时梳理了相关数据集、评估指标，并分析了当前技术挑战与未来研究方向。

创新点

1. 聚焦机器人感知场景：区别于通用多模态研究，专门围绕机器人自主需求，整合3D视觉与LLMs，打通高层语义推理与底层传感器数据的衔接。
2. 覆盖非视觉模态融合：重点纳入触觉、听觉、热成像等非视觉传感器与LLMs的融合技术，提升机器人环境理解的鲁棒性。
3. 系统梳理技术框架：明确LLMs与3D视觉融合的三大核心方法（直接嵌入、2D到3D映射、预对齐），并构建了从基础理论到实际应用的完整技术图谱。
4. 突出实用化挑战：深入分析计算效率、实时性、数据稀缺性等工程化瓶颈，提供针对性解决方案思路。

翻译部分（Markdown格式）

Abstract

随着人工智能和机器人技术的快速发展，大语言模型（LLMs）与3D视觉的融合正成为提升机器人感知技术的变革性方法。这种融合使机器能够通过自然语言和空间理解来感知