从物理到AI：能量函数如何成为机器学习中的‘隐变量‘？

从物理到AI：能量函数如何成为机器学习中的“隐变量”？

几年前，我在一个计算机视觉项目里遇到了一个棘手的问题：如何让模型不仅判断一张图片里“有什么”，还能评估这张图片“有多合理”？传统的分类器能给出类别概率，但它无法告诉你，一张既像猫又像狗的模糊图片，其“怪异”程度究竟几何。就在我翻阅文献时，一个来自物理学的古老概念——能量函数——进入了视野。它没有直接给出概率，而是赋予每个可能的状态一个“能量”值。低能量对应着常见、合理、高概率的状态；高能量则对应着罕见、怪异、低概率的状态。这种思维方式，就像在数据空间中引入了一个看不见的“隐变量”，它不直接参与最终决策，却从根本上定义了整个系统的行为规则。今天，我们就来深入探讨这个横跨物理学与人工智能的桥梁，看看能量函数如何从描述粒子运动的工具，演变为机器学习中构建概率世界的核心基石，并亲手用代码搭建一个属于我们自己的能量世界。

1. 物理直觉：为何“能量”是描述世界的通用语言？

要理解能量基模型，我们不妨先回到物理学的源头。在经典力学中，一个摆在重力场中的小球，其位置越高，势能就越大。系统“自然”地倾向于停留在势能最低的谷底，因为那是最稳定的状态。给小球一个推力，它可能会暂时爬到高处，但最终还是会滚回谷底。这里的“能量”函数，清晰地刻画了系统状态（小球位置）的“好坏”或“稳定程度”。

统计物理将这一思想推广到了由海量粒子组成的复杂系统。想象一屋子空气分子，每个分子都有特定的位置和速度。描述这个庞大系统的精确状态几乎不可能，但我们可以用宏观量——如温度、压强——来把握其整体特性。玻尔兹曼分布在这里起到了关键作用。它告诉我们，系统处于某个微观状态的概率，与该状态的能量成指数负相关：

提示：在机器学习中，我们通常忽略玻尔兹曼常数和温度的具体数值，将其吸收到能量函数的定义中，从而得到更简洁的形式。

这个公式的精妙之处在于，它用单一的标量函数E(x)（能量），通过一个指数变换和归一化常数Z，就定义出了整个状态空间上的概率分布。Z，即配分函数，负责把所有的exp(-E(x))加起来，确保总概率为1。虽然计算Z通常是噩梦般的（需要对所有可能状态求和或积分），但这个框架本身提供了无与伦比的灵活性：只要你能够定义一个能量函数，你就能隐式地定义一个概率模型。

这种从能量到概率的映射，为机器学习打开了一扇新的大门。我们不再需要费力地设计一个能直接输出归一化概率的复杂网络结构。相反，我们可以设计一个神经网络，它的任务很简单：输入一个数据点（比如一张图片），输出一个标量值，即该数据点的“能量”。模型的学习目标，就是调整这个网络的参数，使得真实数据样本的能量尽可能低，而其他非真实样本的能量尽可能高。能量函数，就这样扮演了那个隐藏在概率背后的“建筑师”角色。

2. 能量基模型的核心思想与建模范式

能量基模型将上述物理思想直接移植到机器学习领域。其核心可以概括为一句话：用能量函数来隐式地表征数据的概率分布。一个配置x（例如一张图片、一段文本）的概率P(x)与其能量E(x)的关系为：

P(x) = exp(-E(x)) / Z

这里，Z = Σ_x exp(-E(x))是配分函数。这个简单的公式蕴含着强大的建模能力。

2.1 EBM的三大优势

为什么我们要绕个弯子，用能量函数而不是直接建模概率呢？这主要源于EBM的几大独特优势：

• 无约束的灵活性：能量函数E(x)可以是任何将输入映射到实数的函数，最常见的是深度神经网络。我们无需对网络结构施加特殊约束以保证输出是有效的概率（如非负、和为1）。网络只需要学会给“好”数据打低分，“坏”数据打高分即可。
• 统一的建模框架：EBM为监督学习、无监督学习、生成模型甚至强化学习提供了一个统一的视角。
  • 无监督密度估计：直接学习E(x)，使得训练数据x的能量低于随机噪声。
  • 监督学习：可以定义联合能量函数E(x, y)。对于给定的输入x，预测时选择使能量E(x, y)最小的标签y。
  • 生成模型：通过学习到的能量函数E(x)，我们可以从分布P(x) ∝ exp(-E(x))中采样，生成新的数据。
• 兼容不完整与结构化数据：对于缺失部分信息的数据，或者输出是复杂结构（如图、序列）的任务，直接定义概率分布可能非常困难。而定义一个评估整个配置“好坏”的能量函数，则相对直观。

2.2 面临的经典挑战与应对

当然，EBM的优雅背后是严峻的计算挑战，主要集中在配分函数Z上。

尽管有这些挑战，近年来随着优化算法和硬件算力的进步，EBM正迎来复兴。特别是在判别式训练的范式下，我们甚至可以完全避开Z的计算。接下来，我们就通过一个实战案例，看看如何用PyTorch实现一个用于MNIST手写数字分类的判别式EBM。

3. 实战：用PyTorch构建判别式MNIST能量模型

让我们暂时放下生成模型的复杂性，先看一个更直观的判别式任务：分类。我们将构建一个模型，对于一张输入图片x和一个候选标签y（0到9），模型输出一个联合能量E(x, y)。理想情况下，正确的(x, y)对应能量最低。

3.1 模型定义与能量函数设计

我们使用一个简单的卷积神经网络来参数化能量函数。这个网络将图片x映射为一个特征向量，然后与标签嵌入进行交互，最终输出一个标量能量值。

import torch import torch.nn as nn import torch.nn.functional as F class DiscriminativeEBM(nn.Module): def __init__(self, num_classes=10): super().__init__() self.num_classes = num_classes # 图像特征提取器 self.feature_extractor = nn.Sequential( nn.Conv2d(1, 32, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), nn.Linear(64 * 7 * 7, 128), nn.ReLU(), ) # 标签嵌入层，将标签也映射到向量空间 self.label_embedding = nn.Embedding(num_classes, 128) # 联合能量计算层 # 我们将图像特征和标签特征融合后，计算一个能量值 self.energy_fc = nn.Sequential( nn.Linear(256, 128), # 图像特征(128维) + 标签特征(128维) = 256维 nn.ReLU(), nn.Linear(128, 1) # 输出一个标量能量值 ) def forward(self, x, y): """ 计算给定图像x和标签y的联合能量E(x, y)。 参数: x: 图像张量，形状为 (batch, 1, 28, 28) y: 标签张量，形状为 (batch,)，值为0-9 返回: energy: 能量标量，形状为 (batch, 1) """ # 提取图像特征 img_features = self.feature_extractor(x) # (batch, 128) # 获取标签特征 label_features = self.label_embedding(y) # (batch, 128) # 拼接特征 combined = torch.cat([img_features, label_features], dim=1) # (batch, 256) # 计算能量 energy = self.energy_fc(combined) # (batch, 1) return energy

这个forward函数就是我们的能量函数E_θ(x, y)，参数θ就是网络中所有的权重和偏置。

3.2 损失函数：最大似然的对比视角

如何训练这个模型？我们希望正确配对(x, y_true)的能量低，错误配对(x, y_wrong)的能量高。一种广泛使用的损失函数是对比散度思想下的目标函数，通常表现为一种“推低拉高”的形式：

def ebm_contrastive_loss(model, x, y_true): """ 一个简单的对比损失函数。 目标：最小化正确标签的能量，同时相对提高错误标签的能量。 """ batch_size = x.size(0) # 计算正确配对的能量 positive_energy = model(x, y_true) # E(x, y_true) # 生成错误标签：对于每个样本，随机选择一个不同于真实标签的标签 y_wrong = torch.randint(0, model.num_classes, (batch_size,)).to(x.device) # 确保错误标签不等于真实标签（简单处理，实际可能需更严谨） mask = (y_wrong == y_true) y_wrong[mask] = (y_wrong[mask] + 1) % model.num_classes # 计算错误配对的能量 negative_energy = model(x, y_wrong) # E(x, y_wrong) # 损失函数：我们希望 positive_energy 小， negative_energy 大 # 使用一个 margin 来分隔它们 margin = 1.0 loss = F.relu(positive_energy - negative_energy + margin).mean() return loss

这个损失函数的核心思想是，正确配对的能量应该至少比某个随机错误配对的能量低一个边界值margin。它巧妙地避开了对配分函数Z的直接计算，转而通过样本间的对比来训练模型。

3.3 训练循环与预测

训练过程与常规的PyTorch模型训练类似，但使用我们自定义的损失函数。

import torch.optim as optim from torchvision import datasets, transforms # 数据准备 transform = transforms.Compose([transforms.ToTensor()]) train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) # 初始化模型、优化器 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = DiscriminativeEBM().to(device) optimizer = optim.Adam(model.parameters(), lr=1e-3) # 训练循环 num_epochs = 5 for epoch in range(num_epochs): model.train() running_loss = 0.0 for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() loss = ebm_contrastive_loss(model, data, target) loss.backward() optimizer.step() running_loss += loss.item() print(f'Epoch {epoch+1}, Loss: {running_loss/len(train_loader):.4f}')

训练完成后，我们如何用这个能量模型进行预测？很简单：对于一张测试图片x，我们计算它与所有可能标签y的能量E(x, y)，然后选择能量最低的那个标签作为预测结果。

def predict(model, x): """ 使用训练好的EBM进行预测。 参数: model: 训练好的DiscriminativeEBM x: 单张图片，形状为 (1, 1, 28, 28) 返回: predicted_label: 预测的标签 energies: 对所有标签的能量列表 """ model.eval() with torch.no_grad(): energies = [] # 遍历所有可能的标签 for label in range(model.num_classes): y = torch.tensor([label], device=x.device) energy = model(x, y) energies.append(energy.item()) predicted_label = torch.argmin(torch.tensor(energies)).item() return predicted_label, energies # 示例：取一个测试样本进行预测 test_loader = DataLoader(datasets.MNIST('./data', train=False, transform=transform), batch_size=1) test_img, true_label = next(iter(test_loader)) test_img, true_label = test_img.to(device), true_label.to(device) pred_label, all_energies = predict(model, test_img) print(f'真实标签: {true_label.item()}, 预测标签: {pred_label}') print(f'各标签能量: {all_energies}')

你会观察到，对于正确的数字，模型给出的能量值通常显著低于其他数字。这个能量谱本身也包含了丰富的信息，例如，能量第二低的标签可能对应着形状相似的数字（如‘3’和‘8’），这比单纯的分类概率提供了更多洞察。

4. 超越分类：EBM在现代深度学习中的演进与展望

我们实现的判别式EBM只是一个起点。能量函数的真正威力在于其统一框架下衍生出的各种高级形态。

生成式EBM：这是EBM最初吸引人的地方。通过定义E(x)并设法从P(x) ∝ exp(-E(x))中采样，我们可以生成数据。近年来，结合朗之万动力学采样和得分匹配思想，EBM在图像生成领域取得了令人瞩目的成果。其核心是学习数据的“得分函数”（即能量函数的负梯度-∇_x E(x)），它指向数据概率密度增长最快的方向。通过迭代地沿着得分方向添加噪声，可以从随机噪声中“演化”出高质量样本。

# 伪代码：朗之万动力学采样概览 def langevin_sampling(score_network, initial_noise, steps=1000, step_size=0.01): x = initial_noise for _ in range(steps): # 计算得分（能量负梯度） score = score_network(x) # 添加噪声并更新 x = x + step_size * score + torch.randn_like(x) * np.sqrt(2*step_size) return x

自监督学习中的EBM：在对比学习（如SimCLR, MoCo）中，我们可以将能量解释为不同视图之间不匹配程度的度量。模型被训练来降低同一图像不同增强视图之间的能量，同时提高不同图像之间的能量。这本质上是在学习一个能量函数，该函数能够捕捉数据中的不变性特征。

EBM与对抗性鲁棒性：一个训练良好的能量函数，其等能量面应该紧密包裹着真实数据流形。因此，对于远离数据流形的对抗性样本，模型应赋予其很高的能量。这使得EBM天然具备检测异常输入或对抗攻击的潜力。在实际部署中，可以设置一个能量阈值，将能量过高的输入判定为可疑样本并拒绝处理。

注意：虽然EBM前景广阔，但在实际大规模应用前，仍需解决采样效率、训练稳定性以及在高维空间中的模式覆盖等问题。社区正在通过改进的MCMC算法、归一化流辅助采样以及更巧妙的损失函数设计来持续推动其发展。

从物理系统的势能面到数据空间的概率景观，能量函数提供了一种深刻而统一的建模语言。它不直接告诉我们答案是什么，而是定义了寻找答案的“地形图”。这种隐变量式的思维方式，迫使我们去思考数据背后的结构和约束，而不仅仅是学习输入到输出的映射。在我自己的探索中，最大的收获不是掌握了某个特定的模型，而是学会了用“能量”的视角去审视机器学习问题：哪些状态是系统自然倾向的？我们设计的损失函数，是否在无形中塑造了一个合理的能量景观？当你下次训练模型时，不妨也思考一下，你的模型正在为数据世界构建怎样的“能量地形”。