图灵奖得主LeCun团队连发三文：从稀疏表征到梯度规划，世界模型技术栈再进阶

来源：PaperWeekly

针对世界模型落地难题，LeCun 团队连发三文，给出从算法到工程的全栈最优解。

Rectified LpJEPA：回归稀疏表征

为解决这一问题，研究团队提出了 Rectified LpJEPA。

RDMReg 与 RGG 分布

〓 Rectified LpJEPA 架构示意及特征分布对比

稀疏性与性能的权衡

传统观点认为，增加稀疏性约束会导致信息损失，进而降低模型性能。Rectified LpJEPA 的实验打破了这一成见：稀疏性与性能完全可以共存。

在 ImageNet-100 的线性评估实验中，该模型展示了显著的去冗余能力：

〓 特征稀疏度随分布参数变化的控制曲线

〓 ImageNet-100 实验结果：在特定配置下，模型在保持较低激活率的同时，维持了具有竞争力的分类准确率。

实验数据表明，通过切片 Wasserstein 距离（Sliced Wasserstein Distance）匹配分布，RDMReg 有效迫使模型学习统计上更独立、解耦的特征表示。

这种稀疏表征降低了特征间干扰，为后续规划任务提供了更优的状态空间结构。

GRASP：基于梯度的轨迹优化

针对这些挑战，论文提出了 GRASP (Gradient Relaxed Stochastic Planner)，通过两项关键技术创新，实现了稳定的梯度规划。

从“串行推导”到“并行配置”

传统规划通常采用串行方式，GRASP 则采用了配置点范式，将整个时间窗口内的所有状态视为独立的优化变量。

这种方法将序列推理转化为一个约束优化问题，其核心目标函数如下：

通过最小化这一动力学违反误差，GRASP 实现了计算并行化，并大幅缩短了梯度传播路径。

梯度截断机制

这种受控的随机性允许规划器在状态空间进行探索，有效避免了陷入次优解。

在 PointMaze 迷宫导航等长程任务中，GRASP 展现了显著优于 CEM 等传统采样方法的性能。

〓 PointMaze 和 Push-T 任务上的规划成功率对比曲线

EB-JEPA：轻量化工程实现

模块化与单卡训练

EB-JEPA 的设计原则是轻量级和模块化。它将 JEPA 的核心组件——编码器、预测器和代价函数（如 VICReg/SIGReg）——完全解耦，支持研究者灵活替换。

〓EB-JEPA 库支持的三种核心架构示意

该库对所有示例（包括视频预测任务）进行了计算优化，仅需数小时即可在单张 GPU（如 V100 16GB）上完成训练。

这一设计使得能源导向的自监督学习能够被更广泛的研究群体所访问。

核心：动作条件视频预测

EB-JEPA 不仅仅是图像表征库，它还提供了 Action-Conditioned Video-JEPA 的完整实现。

〓 EB-JEPA 训练循环伪代码/代码片段

这是构建世界模型的基石：模型需要根据当前状态和控制输入，预测未来的潜在状态。

在 CIFAR-10 和 Moving MNIST 上的基准测试表明，即便在轻量级设置下，EB-JEPA 依然能学习到高质量表征（CIFAR-10 线性评估准确率达 91%）。

这为学术界提供了标准化的实验平台，低成本验证新正则化方法（如 Rectified LpJEPA）或规划算法（如 GRASP）成为可能。

结语

从底层原理到上层应用，这三项工作完成了 JEPA 世界模型技术栈的闭环构建。

Rectified LpJEPA 证明了修正目标分布可显著提升表征的稀疏性与解耦度；GRASP 验证了长程规划任务中利用梯度信息的优越性；而 EB-JEPA 则通过模块化代码，让这一技术路线在通用计算资源上落地生根。

这些工作将非生成式世界模型的关注点，从架构有效性的初步验证，推进到了对表征效率、控制精度及系统可扩展性的深度优化阶段。这为后续研究提供了具备明确数学原理和工程参考价值的技术基线。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。