自监督学习、能量模型与JEPA：构建下一代AI世界模型的核心技术

1. 项目概述：从“教”到“学”的范式革命

最近几年，我身边不少做算法的朋友，聊天时总绕不开一个词：自监督。从CV（计算机视觉）到NLP（自然语言处理），再到多模态，它几乎成了所有前沿模型的底层燃料。但如果你以为自监督就是“让模型自己找点事做”，那可能就错过了这场AI演进中最精彩的部分。我们今天要聊的，远不止是“无标签学习”这个标签，而是一条试图让机器理解世界运作原理、甚至“涌现”出某种常识的路径。这条路径的核心，串联起了三个关键概念：自监督学习、能量模型，以及由Yann LeCun大力倡导的JEPA（联合嵌入预测架构）。它们共同指向一个目标——构建更接近人类学习方式的、具备强大预测和理解能力的下一代AI系统。

这听起来有点宏大，但拆解开来，其实是一场关于“如何高效地从海量、无序的数据中榨取知识”的工程与思想实验。传统的监督学习，像是手把手教孩子认图卡，效率低且依赖大量“标准答案”。而自监督学习，则是把孩子扔进一个充满玩具和书本的房间，让他自己摸索出玩具的玩法、书本的故事。能量模型，为这个过程提供了一套“好坏”的评判标准，就像孩子本能地知道“积木搭得稳比搭得歪更好”。而JEPA，则是试图让孩子学会预测“如果我把这块积木放这里，整个塔会变成什么样”，这是一种对世界状态变化的抽象推理能力。

我之所以对这个演进脉络如此着迷，是因为它直接关系到我们能否造出真正“智能”的系统。一个只会识别猫狗的模型，和一个能理解“猫可能会跳上桌子碰倒水杯”的模型，有本质的区别。后者需要的是对物理世界、社会常识的隐含建模能力。接下来，我将结合自己的实践和观察，为你拆解这套技术组合拳背后的设计哲学、核心原理，以及在实际尝试中会遇到的那些“坑”。

2. 核心思路拆解：为何是这三者的结合？

要理解自监督、能量模型和JEPA为何能走到一起，我们需要跳出单个技术的细节，从它们要解决的共同瓶颈来看。

2.1 自监督学习的野心与局限

自监督学习的核心思想是“创造 pretext task（前置任务）”。比如，把一张图片的部分区域遮住（掩码），让模型预测被遮住的部分；或者把一句话的某些词挖空，让模型填词。通过完成这些任务，模型被迫学习数据的内在结构和表征。它的巨大成功（如BERT, GPT系列）证明了从原始数据中自动构造监督信号的威力。

然而，经典的自监督学习存在一个根本性限制：它通常只学习静态的关联性。以掩码图像建模为例，模型学到的是“图片中这个位置的像素，通常和周围哪些像素在统计上共现”。这是一种强大的模式补全能力，但它不一定理解了“为什么”这些像素会这样排列。它没有显式地建模数据分布背后的生成过程或因果机制。就像一个学生通过死记硬背做对了填空题，但未必理解了文章的深层含义。

2.2 能量模型：提供一个统一的“评分框架”

能量模型（Energy-Based Models, EBMs）提供了一个不同的视角。它不直接学习一个生成数据的函数，而是学习一个“能量函数” E(x)。这个函数为任何可能的数据样本x分配一个标量能量值。核心思想是：符合真实数据分布的样本（如一张清晰的猫图）能量低，不符合的样本（如一张噪声图）能量高。模型的目标是让能量面（energy landscape）在真实数据处形成“洼地”。

能量模型的魅力在于其统一性。判别任务（这是猫还是狗？）和生成任务（生成一张猫的图片）都可以在这个框架下表述：前者是比较两个候选答案的能量，后者是在能量面上进行采样（寻找低能量点）。这为构建一个既能理解又能创造的通用系统提供了数学上的可能性。但传统EBMs的训练（特别是采样）非常困难，计算代价高昂，这限制了其在大规模数据上的应用。

2.3 JEPA：学习世界状态的抽象预测

Yann LeCun提出的JEPA架构，可以看作是为解决上述局限而设计的一个具体蓝图。JEPA的核心任务是：给定当前世界的某个状态表示（编码后的观察），预测其未来某个状态的抽象表示，而不是预测具体的像素或单词。

这里的关键词是抽象和联合嵌入。JEPA不是预测未来的全部细节（那是不可能的，因为世界充满不确定性），而是预测未来状态的“本质”或“要点”。它通过两个编码器，分别将当前状态和未来状态映射到同一个抽象的“表示空间”中，然后在这个空间里学习一个预测函数。联合嵌入确保了比较是在有意义的抽象层面进行的。

JEPA与能量模型自然结合：预测误差（当前表示的预测与未来实际表示的差异）可以被定义为一种“能量”。预测得越准，能量越低。这样，JEPA的学习过程就是在最小化这种预测能量。而训练JEPA所需的数据，正是通过自监督的方式，从连续的视频帧或有序的文本序列中自动构建的（预测下一帧或下一句的表示）。

所以，三者的演进逻辑是：自监督学习提供了海量且自动标注的训练数据来源；JEPA定义了一个面向理解与预测的高级学习目标（在抽象表示空间做预测）；能量模型则为实现这个目标提供了稳健的学习框架和评估准则（用能量来度量预测的不确定性或“不合理性”）。它们共同指向构建能够进行层次化预测、具备常识推理能力的自主智能体。

3. 能量模型原理深度解析与实操意义

能量模型的概念相对抽象，但它是理解现代生成式AI和JEPA理论基石的关键。我们不必深陷数学公式，但必须搞懂其直觉和实操影响。

3.1 能量函数的直观理解

你可以把能量函数 E(x; θ) 想象成一个“违规打分器”，参数θ就是打分规则。给它看任何东西x（一张图片、一段文本、一个状态），它就输出一个分数E。这个分数不代表“正确”的概率，而是代表“离谱”的程度——分数越高，越离谱。

• 正例（真实数据）：一张清晰的日落照片。一个训练好的能量模型应该给它打很低的分（低能量），意味着它很“合理”。
• 负例（不合理数据）：同一张照片但被随机噪声严重污染。模型应该给它打很高的分（高能量），意味着它很“不合理”。
• 负例（另一种不合理）：一张语法完全不通的句子。同样应该得到高能量。

关键在于，这个“打分器”是可微分的，我们可以通过梯度下降来调整参数θ，目标是拉低真实数据的能量，同时（隐式或显式地）推高非真实数据的能量。

3.2 对比学习与噪声对比估计：能量模型的实用化

纯理论上的能量模型训练需要在整个数据空间进行难以处理的配分函数计算。这在工程上无法实现。于是，研究者们找到了巧妙的近似方法，其中最重要的就是对比学习（Contrastive Learning）及其理论基础噪声对比估计（Noise Contrastive Estimation, NCE）。

NCE的核心思想是“化生成为判别”。我们不再需要显式地建模所有可能的数据，而是构造一个二分类问题：给定一个样本，判断它来自真实数据分布（正样本）还是某个已知的噪声分布（负样本）。在这个二分类器中，判别函数本质上学习到了真实数据分布与噪声分布的概率比值，而这个比值与能量函数直接相关。

在实际操作中，比如SimCLR、MoCo等经典对比学习框架：

1. 构造正负对：对一张原图进行两次不同的数据增强（裁剪、变色等），得到两个视图，它们互为“正样本对”。其他任意图片的视图都是这张图的“负样本”。
2. 学习目标：通过编码器将视图映射到表示空间，然后让正样本对的表示尽可能相似（能量低），让负样本对的表示尽可能远离（能量高）。

这里，“相似度”的倒数就可以看作一种能量。对比学习成功的关键在于大量且高质量的负样本。负样本越多，模型对“什么是不好”的边界就越清晰。这解释了为什么对比学习在大规模无标签数据上效果惊人，因为它本质上是在用海量负样本来“雕刻”能量面的形状。

实操心得：负样本的“质量”比“数量”更重要早期做对比学习时，我曾盲目追求更大的batch size以获得更多负样本。后来发现，如果负样本与正样本本身太容易区分（比如来自完全不同的数据集），模型可能学不到精细的判别特征。更有效的策略是使用“难负样本挖掘”——例如，在同一个batch内，选择那些与正样本在表示空间里距离较近的样本作为重点优化的负样本。这相当于在能量面的“陡峭”区域加强训练，使分类边界更精确。

3.3 从对比到非对比：更高效的表示学习

对比学习需要显式构造负样本，这带来了巨大的计算和内存开销（因为要保存一个负样本队列或使用超大batch）。近年来，像BYOL、SimSiam这样的非对比（Non-Contrastive）方法兴起。它们不需要负样本，只依靠正样本对和巧妙的架构设计（如预测头、停止梯度）来避免模型坍缩（即所有输出都相同这个平凡解）。

这些方法可以理解为在学习一种“不变性”：同一个数据的不同增强视图，其本质表示应该相同。其损失函数同样可以解释为最小化正样本对之间的某种“能量”。非对比方法简化了训练流程，降低了资源门槛，是工程实践上的重要进步。它们和JEPA的思想更契合，因为JEPA关注的是状态表示的预测，而非显式的样本对比。

4. JEPA架构详解与分层预测世界模型

JEPA不是一个具体的网络结构，而是一个概念框架。理解它，对于设计下一代AI系统至关重要。

4.1 JEPA的核心组件与信息流

一个基础的JEPA包含以下几个部分：

1. 编码器（Encoder）：将高维的观察（如图像x）映射到低维的抽象表示（s）。这个表示s应该捕获观察中与任务相关的、不变的本质信息，过滤掉无关的细节（如光照、背景纹理）。
2. 预测器（Predictor）：以当前状态的表示 s_t 为输入，预测未来某个时刻状态的表示 \hat{s}_{t+Δ}。这是一个在抽象表示空间进行的计算。
3. 目标编码器（Target Encoder）：可选，但常与编码器结构相同甚至参数共享。它将未来的真实观察 x_{t+Δ} 编码为表示 s_{t+Δ}。
4. 能量函数（Energy Function）：计算预测表示 \hat{s}{t+Δ} 与目标表示 s{t+Δ} 之间的差异，作为能量E。差异越小，能量越低。

训练时，我们固定目标编码器（或使用动量更新等策略），只训练编码器和预测器，目标是最小化能量E。这迫使编码器学习提取那些对于预测未来状态最有用的信息，而预测器学习世界状态的动态变化规律。

4.2 为何要预测“表示”而非“像素”？

这是JEPA区别于传统视频预测模型的关键。预测具体像素（或原始信号）存在几个根本问题：

• 高维与冗余：像素空间维度极高，且包含大量与任务无关的细节（如树叶的微动、光影的渐变）。预测所有细节极其困难且不必要。
• 多模态不确定性：未来本质是不确定的。例如，预测一个人下一帧的姿势，可能有多种合理选项。在像素空间，模型会倾向于预测所有可能性的模糊平均，导致输出模糊不清。而在抽象的表示空间，不同的合理未来可能对应着表示空间中不同的点，模型可以学习到这种多模态分布。
• 抽象与泛化：在表示空间进行预测，模型学到的动态规律更具一般性。它可能学到的是“物体受物理规律约束”这种抽象知识，而不是“某个特定颜色的球在特定背景下如何运动”这种具体表象。这有利于知识迁移和泛化。

4.3 分层JEPA与认知架构

LeCun进一步提出了分层JEPA（Hierarchical JEPA, H-JEPA）的构想，这更接近人类的认知模式。

• 底层JEPA：处理短时间尺度、具体感官信号的预测。比如预测几分之一秒后视网膜上的图像变化（对应小脑的功能？）。
• 高层JEPA：处理长时间尺度、抽象概念的预测。比如预测“如果我去厨房，就能拿到水杯”这种基于目标的行动计划后果（对应前额叶皮层的功能？）。

高层JEPA的预测输出，可以作为底层JEPA的目标或约束，从而指导具体动作的产生。这种分层结构允许系统进行不同时间尺度和抽象级别的规划，是实现复杂推理和决策的基础。目前，这更多是一个理论框架和长远目标，但像V-JEPA（Video JEPA）这样的工作已经在视频理解上展示了分层预测的潜力。

5. 实践路径：从概念到代码的挑战与策略

理论很美好，但要将自监督、能量模型和JEPA的思想付诸实践，会遇到一系列非常具体的工程挑战。以下是我在相关项目尝试中总结的一些关键点和策略。

5.1 数据准备与前置任务设计

对于JEPA风格的训练，你需要时序数据。最天然的数据源就是视频（对于视觉模态）或连贯的文本/代码（对于语言模态）。

1. 视频帧的采样策略：

   • 时间间隔Δ的选择：Δ太小（如相邻帧），任务太简单，模型可能只学到光流或微小运动。Δ太大，不确定性过高，预测任务过于困难。一个实用的策略是使用随机间隔采样，比如在1到30帧之间随机选择Δ，这迫使模型适应不同时间尺度的变化。
   • 空间上下文：输入给编码器的，不一定是单帧。可以是连续几帧的堆叠，或者加上光学流信息，为编码器提供短期动态线索。
   • 数据增强：对输入帧x_t和目标帧x_{t+Δ}应用不同的、独立随机的数据增强（如颜色抖动、随机裁剪）。这是至关重要的！它强迫编码器去学习增强不变的特征，即那些与外观变化无关、只与内容相关的抽象表示。如果对正样本对使用相同的增强，模型可能会“作弊”，直接通过增强痕迹来匹配，而不学习语义内容。

2. 表示空间的设计与归一化：

   • 编码器输出的表示向量s，通常需要进行L2归一化（即将其投影到单位超球面上）。这样做有几个好处：其一，将能量计算（如余弦距离）限制在一个有界的范围内，训练更稳定；其二，归一化后的向量更适合用简单的度量（如点积、余弦相似度）来计算相似度，作为能量。
   • 表示空间的维度是一个超参数。维度太低，可能不足以编码必要的信息；维度太高，会增加预测器的负担并可能导致过拟合。通常需要根据任务复杂度和数据量进行实验。

5.2 模型架构选择与训练技巧

1. 编码器骨干网络：

   • 对于图像/视频，标准选择是Vision Transformer（ViT）或ResNet。ViT因其强大的全局建模能力，在当前研究中更受青睐。可以从在ImageNet上预训练的权重开始微调，以加速收敛。
   • 一个关键技巧是使用非对称编码器。即目标编码器（用于编码未来真实帧）可以使用动量更新（MoCo策略）或直接是主编码器的历史参数副本。这避免了训练塌陷，并能为预测器提供更稳定的学习目标。

2. 预测器设计：

   • 预测器通常是一个简单的多层感知机（MLP）或几层Transformer Decoder。它的输入是当前表示s_t，输出是预测的未来表示 \hat{s}_{t+Δ}。
   • 预测器不宜过于复杂。因为如果预测器能力过强，它可能会学会“绕开”编码器，直接从s_t中解码出足够信息来“猜测”s_{t+Δ}，即使编码器学到的表示很差。这违背了让编码器学习有用表示的初衷。因此，有时会给预测器加入一些约束，如使用较小的隐藏层维度。

3. 损失函数（能量函数）的实现：

   • 最直接的能量函数是预测表示与目标表示之间的负余弦相似度：E = - ( \hat{s} · s ) / ( ||\hat{s}|| ||s|| )。最小化这个损失，就是最大化余弦相似度。
   • 也可以使用均方误差（MSE）在归一化后的表示上：E = || \hat{s} - s ||^2。
   • 在实践中，余弦相似度损失对向量尺度不敏感，通常更稳定。这就是总的预测损失。
   • 一个重要变体：遮蔽建模与JEPA的结合。你可以将JEPA的输入x_t部分遮蔽（例如，遮蔽图像中50%的随机块）。这样，编码器必须根据可见部分来推断整个场景的表示，预测器再基于这个不完整的表示去预测未来的完整表示。这大大增加了任务的难度和趣味性，迫使模型学习更强大的场景理解和推理能力。这正是在I-JEPA等模型中采用的技术。

5.3 训练流程与超参数经验

1. 优化器与学习率：AdamW优化器是标配。使用余弦退火或带热重启的学习率调度。初始学习率通常在1e-4到1e-3之间，需要根据batch size调整（更大的batch size可用稍大的学习率）。对于编码器，由于其通常加载了预训练权重，学习率可以设为主预测器学习率的十分之一（例如，编码器lr=1e-5，预测器lr=1e-4）。
2. Batch Size：尽可能大。对比学习或JEPA训练受益于大的batch size，因为这提供了更丰富的上下文（更多的负样本或不同的预测实例）。在资源有限时，可以使用梯度累积来模拟大的batch size。
3. 训练时长：自监督学习通常需要比监督学习更长的训练周期，因为任务更复杂、信号更弱。在中等规模数据集（如Kinetics-400）上，训练数百个epoch是常见的。

6. 下游任务迁移与评估实战

训练好一个JEPA模型后，我们得到的是一个强大的视觉（或语言）表征编码器。如何证明它学到了有用的东西？这就需要将其迁移到各种下游任务上进行评估和微调。

6.1 线性评估与微调评估

这是衡量表示质量的标准协议。

• 线性评估（Linear Probing）：冻结预训练好的编码器所有权重，只在其输出的表示之上训练一个简单的线性分类器（或回归器）。这个评估方式直接测试了表示的可分离性和信息含量。如果线性分类器就能取得很高精度，说明表示本身已经非常好地组织了语义信息。
• 端到端微调（Fine-tuning）：解冻编码器的全部或部分层，与任务特定的头网络一起进行微调。这测试了表示的可迁移性和适应性。通常，微调后的性能会高于线性评估。

实操心得：线性评估的“陷阱”线性评估得分高固然好，但要警惕它可能带来的误导。有时，模型可能学到了某些与下游任务高度相关但非常脆弱的特征（例如，某种特定的纹理或背景）。这些特征在线性可分性上表现很好，但泛化能力差。因此，除了在标准测试集（如ImageNet val）上评估，还应该在分布外（OOD）数据集或经过不同扰动的数据上测试，以评估表示的鲁棒性。

6.2 具体下游任务示例

1. 视频动作识别：这是最直接的下游任务。将预训练的编码器作为视频特征提取器，输入一段视频片段，对每一帧或一段段的特征进行时序聚合（如平均、Transformer编码），最后接分类头。由于JEPA本身就是在视频上训练的，它学到的表示对动作识别通常有巨大提升。
2. 视频时序动作定位：不仅要识别动作，还要确定动作发生的时间段。JEPA模型对时间动态的建模能力对此任务有益。可以在编码器后接一个时间边界检测模块。
3. 少样本/零样本学习：由于学到的表示更具通用性和语义性，JEPA预训练模型在数据稀缺的场景下往往表现更出色。可以结合提示学习（Prompt Learning）或适配器（Adapter）进行快速适配。
4. 机器人视觉规划：这是JEPA的终极应用场景之一。将机器人的视觉观察编码为状态表示，利用JEPA预测器来模拟不同动作序列会导致的未来状态，从而选择能达成目标（低能量状态）的动作序列。这需要将动作指令作为条件输入到预测器中。

6.3 迁移时的实用技巧

• 特征池化：对于视频任务，编码器输出的是每帧或每个patch的表示。如何聚合？简单的时间平均或最大池化是基线。更高级的方法包括使用注意力池化或一个轻量的时序Transformer来融合时序信息。
• 分层特征利用：编码器的不同层捕获不同层次的信息（浅层是边缘纹理，深层是语义概念）。对于密集预测任务（如语义分割），可能需要融合多层特征。对于高层语义任务，通常只用最后层的CLS token或平均池化特征即可。
• 微调策略：对于小规模下游数据集，强烈建议使用分层学习率：越靠近输出的层，学习率越大；越靠近输入的层，学习率越小。这可以防止在少量数据上对底层通用特征造成灾难性遗忘。

7. 常见问题、陷阱与调试记录

在实际操作中，你会遇到各种各样的问题。下面是我踩过的一些坑和解决方案。

7.1 模型不收敛或损失震荡

• 症状：训练损失下降缓慢、剧烈震荡或根本不降。
• 排查清单：
  1. 数据检查：首先确保数据加载和预处理是正确的。可视化一些输入-目标对（x_t, x_{t+Δ}），看时间间隔和增强是否按预期工作。检查是否有损坏的图像或错误的文件路径。
  2. 学习率：学习率过大是常见原因。尝试将学习率降低一个数量级（例如从1e-4降到1e-5）。使用学习率预热（warmup）策略，例如在前5%的训练步数里线性增加学习率到初始值。
  3. 梯度爆炸/消失：监控梯度的范数。如果梯度突然变得极大或极小，可能是网络结构或损失函数有问题。对于Transformer，注意层归一化（LayerNorm）的位置；对于深层的CNN/ResNet，检查初始化。
  4. 损失函数实现：仔细检查能量函数的计算。如果是余弦相似度，确保在计算前对表示向量进行了L2归一化。一个常见的错误是忘记归一化，导致点积的值域不受控。
  5. 预测器太强：如前所述，如果预测器过于复杂，可能导致训练早期就陷入一个平凡的局部最优解。尝试简化预测器（减少层数、减小隐藏层维度）。

7.2 表示质量差（下游任务性能低）

• 症状：自监督预训练损失看起来正常，但线性评估或微调后在下游任务上准确率很低。
• 排查清单：
  1. 前置任务太简单或太困难：如果Δ太小或数据增强太弱，任务可能太简单，模型学不到有意义的表示。反之，如果Δ太大或遮蔽比例过高，任务可能无法学习。需要调整这些超参数。
  2. “表示坍缩”问题：这是非对比方法中的典型问题，即所有输入都被映射到相同或极其相似的表示。在JEPA中，如果编码器和预测器设计不当也可能发生。确保使用了停止梯度（Stop-Gradient）或动量编码器等防坍缩机制。检查训练过程中表示的方差，如果方差持续下降趋近于0，就是坍缩的迹象。
  3. 批量归一化（BatchNorm）的陷阱：在自监督学习中，BatchNorm可能会泄露样本间的信息（通过批次统计量），让模型“作弊”。尤其是在对比学习中，这可能导致模型学到虚假关联。解决方案是使用同步批归一化（SyncBN）（在多卡训练时），或者更推荐使用层归一化（LayerNorm）或实例归一化（InstanceNorm），这些是更安全的选择。
  4. 评估协议不一致：确保下游评估的数据预处理（裁剪尺寸、归一化均值/标准差）与预训练阶段完全一致。一个像素值的偏差都可能导致性能显著下降。

7.3 训练效率与资源问题

• 问题：JEPA/对比学习训练非常耗费内存和计算资源。
• 优化策略：
  1. 梯度检查点（Gradient Checkpointing）：对于非常大的模型（如巨型ViT），可以使用梯度检查点来用时间换空间，显著降低GPU内存占用。
  2. 混合精度训练（AMP）：使用Automatic Mixed Precision训练，几乎可以节省一半显存并加速训练。但要注意，在计算相似度损失时，可能需要保持部分计算在较高精度（如FP32）下进行，以避免数值下溢或精度损失。
  3. 分布式数据并行（DDP）：多卡训练是必须的。不仅加速训练，更重要的是能获得更大的全局batch size，这对于学习高质量的表示至关重要。
  4. 负样本队列（Memory Bank）：如果采用对比学习思路，可以使用MoCo中的动量队列来维护一个大的负样本库，而无需极大的物理batch size。

这条路还在快速演进中，新的架构（如Mamba这类状态空间模型）、新的训练目标（如扩散模型与EBM的结合）、新的数据模态（如具身数据）都在不断涌现。但自监督、能量模型和JEPA所代表的方向——让机器通过观察和预测来构建世界模型——无疑是通向更通用人工智能的一条坚实路径。我的体会是，与其追逐每一个最新的模型变体，不如深入理解这套框架背后的第一性原理：学习那些对于预测未来有用的、抽象的不变量。当你用这个视角去看待很多新的论文时，会发现它们都在用不同的技术手段，解决着这个核心问题的不同侧面。在实际动手时，从一个小而具体的数据集（比如某个特定领域的监控视频）开始，实现一个基础的JEPA，耐心调试，观察模型学到了什么，远比一开始就追求大规模复现SOTA（State-of-the-art）要有收获得多。