Yann LeCun 反复强调过一个观点：当前LLM基于概率、逐 Token 预测的设计路线，很可能走不到人类水平的AI。他的团队更看好另一条路，基于能量的模型（EBM）。
上图来自他十多年前的一篇论文，LLM对候选答案返回"概率"，EBM返回的则是"能量"，能量最低的选项胜出。举个例子：输入 X = "汽车有4个轮子吗？"，LLM可能给出 p("是") = 0.9、p("否") = 0.1；EBM则可能给出 E("是", X) = -3.1、E("否", X) = 0.4。谁的能量低谁就是答案。
两类模型的差异大吗？对EBM的输出做某种"归一化"就应该得到LLM输出的概率，但是差异恰恰就在归一化这一步。LLM用 Softmax 保证概率之和为1，EBM则松开了这条约束。训练时不需要归一化、不需要计算概率，在高维连续空间中反而获得了更多的灵活性和可训练性。对连续数据（比如图像）的全部可能输出做归一化本身就极其困难，能绕开就绕开。
https://avoid.overfit.cn/post/45846459329949159b3817dade6a84e7