GR00T 1.5前戏：FLARE: Robot Learning with Implicit World Modeling

FLARE: Robot Learning with Implicit World Modeling

GR00T 1.5相较于1.0改进的核心的点。都是nvidia的工作。

本质上通过流匹配扩散模型生成预测的动作，然后通过可学习的未来标记与来自VL embedding生成的未来标记嵌入进行对齐（Alignment）。相当于用未来标记来当作桥梁（因为有些方法是通过生成未来的图片和真实未来图片进行对齐，计算量特别大，该方法明显降低了计算量）

接着这里可以注意的一点是，本文没有直接用到VLM，是直接用视觉backbone和语言backbone的直接针对图像和语言进行编码，之后用到第4页提到来自ICML2023的Q-former进行压缩视觉和语言信息，就有点像pi最近推出来的RLT工作，也都是通过任务逼着往提前预设的信息空间（Vision Language Embedding Tokens）里塞信息。

gpt关于Q-former的详细解读：

然后接着就用这个预设的信息空间来DiT去噪生成动作。

输入为三个组件：（1）通过状态编码器编码的当前本体感受状态，（2）由动作编码器编码的噪声动作块，以及（3）一组 M 个可学习的未来标记。

针对N层均进行下述算法（算法中没直接标注Q-former，推测因为是别人的工作，应该是囊括在vl_embedding或者dit中）操作：

实验方面：

除了常规的消融实验来验证未来标记嵌入进行对齐（Alignment）的有效性以外。有个最巧妙的实验点，也是作者想借该技术进行少样本训练的目的，见如下。