多保真度机器学习势函数：融合自旋极化与高精度数据提升催化模拟

1. 项目概述与核心挑战

在计算催化领域，我们这些从业者一直面临着一个经典的“精度-广度”权衡难题。密度泛函理论（DFT）计算是探索催化剂表面反应机理的黄金标准，但其高昂的计算成本让我们在面对复杂的反应网络或大规模材料筛选时捉襟见肘。机器学习原子间势（MLIPs）的出现，就像给这个领域装上了一台涡轮增压发动机——它通过学习海量的DFT数据，能以百分之一甚至千分之一的成本，快速预测原子系统的能量和受力，从而让高通量筛选和长时间尺度的分子动力学模拟成为可能。

然而，这台“发动机”的燃料——训练数据——的质量直接决定了它的性能上限。过去几年，像Open Catalyst 2020（OC20）这样的大型数据集极大地推动了通用MLIPs的发展，但它们为了追求数据规模，在计算精度上做了妥协。一个最关键的妥协就是自旋极化的缺失。对于氨合成、费托合成这些依赖铁、钴、镍等第一行过渡金属的关键工业催化过程，自旋极化对吸附能和反应能垒的影响是决定性的。忽略它，就像试图用黑白照片去理解彩色世界的细节，模型在预测这些磁性材料的催化性能时，其可靠性会大打折扣。

AQCat25项目的诞生，正是为了填补这个关键缺口。它不是一个替代品，而是一个强有力的补充。这个数据集包含了1350万个高保真度的DFT单点计算，明确为12种关键磁性元素（如Fe, Co, Ni, Cr等）启用了自旋极化计算，并将平面波截断能提高到了500 eV。更重要的是，它引入了OC20中未包含的6种新元素（Li, Ba, La, Ce, Mg, F），并包含了20种过渡态吸附物构型，极大地扩展了模型的化学空间。

但真正的挑战从这里才开始。我们手头现在有两套“语言”不同的数据：OC20（低保真度，无自旋）和AQCat25（高保真度，有自旋）。简单地用新数据去微调（Fine-tune）一个在OC20上预训练好的模型，会导致灾难性的遗忘——模型很快会“忘记”如何在广阔的OC20化学空间中进行预测。我们的核心任务，就是设计一种策略，让一个单一的MLIP模型能够流利地“说”这两种语言，既能精准处理自旋极化系统的高保真物理，又不丢失其原有的广泛泛化能力。这本质上是一个多保真度、多物理机制的模型适应问题。

2. 核心方案：多保真度联合训练与条件化架构

面对混合数据集的挑战，我们探索了多种模型适应策略，最终确立了一套行之有效的方案。其核心思想不是让模型在两种数据分布之间“二选一”，而是教会它根据输入系统的物理上下文，动态调整其内部的“思维模式”。

2.1 从灾难性遗忘到协同学习：训练策略演进

我们首先尝试了最直接的直接微调策略：拿一个在OC20上训练好的EquiformerV2模型，直接在AQCat25数据上继续训练。结果如图5所示，模型在AQCat25测试集上的性能确实得到了提升（力MAE从~100 meV/Å降至~18 meV/Å），但代价是在OC20验证集上的性能出现了严重滑坡（能量MAE从~300 meV激增至~440 meV）。这清晰地展示了灾难性遗忘——模型为了适应新的、分布不同的数据，覆盖了之前学到的知识。

为了解决这个问题，我们转向了联合训练策略。具体来说，我们主要比较了两种方法：

1. 联合微调：从OC20预训练模型开始，在每一个训练批次中，同时混合来自AQCat25和OC20的数据进行训练。OC20数据在这里充当了“记忆锚点”，防止模型遗忘旧知识。
2. 从头开始联合训练：不依赖任何预训练权重，直接用混合的AQCat25和OC20数据初始化并训练一个新模型。

实验表明（图6），两种联合策略都能有效缓解性能漂移。随着混合数据中OC20比例的增加，模型在OC20验证集上的性能逐渐回归基线。一个经济高效的平衡点是使用200万（2M）个OC20样本进行联合微调，这能以较低的计算成本，在保持AQCat25性能的同时，最大程度地保留OC20的泛化能力。

然而，联合训练引入了一个新问题：模型必须同时处理来自不同保真度（高/低）和不同物理机制（自旋开/关）的数据。这就像让一个学生同时学习两套略有矛盾的教材，如果不加以区分，学习过程会产生干扰。

2.2 架构创新：引入FiLM进行显式条件化

为了让模型能区分不同的数据“语境”，我们借鉴了计算机视觉中的特征线性调制技术。FiLM的核心思想很简单，但非常有效：它根据输入的条件信息（这里是“自旋状态”和“保真度等级”两个二元标签），生成一组缩放和平移参数，对神经网络中间层的特征进行逐通道的仿射变换。

在我们的实现中（图2），我们将“自旋开/关”和“高/低保真”这两个上下文标签编码为嵌入向量，通过一个小型多层感知机（MLP）处理，输出一个调制向量β。这个β向量被加到EquiformerV2模型每一层的标量通道特征上。你可以把它理解为给模型增加了一个“情景开关”。当模型处理一个自旋极化、高保真的铁表面吸附系统时，FiLM模块会生成一组特定的β，微妙地调整网络内部的特征表达，使其切换到处理这类系统的最佳“模式”；而当处理一个无自旋、低保真的铜表面系统时，又会切换到另一组参数。

这种显式的条件化带来了显著的好处。从图6的结果可以看到，在联合训练中引入FiLM模块的模型（EV2-inFiLM, EV2-in+midFiLM），相比普通的EV2模型，在AQCat25测试集上的力预测精度有稳定提升，尤其是在混合了OC20数据时，能有效避免性能下降。这表明FiLM成功地将不同物理域的知识进行了隔离和协调，减少了梯度冲突，让模型能更和谐地“消化”混合数据集。

实操心得：条件化标签的设计在设计FiLM的输入条件时，我们最初尝试了更复杂的编码，如具体的截断能数值或自旋多重度。但最终发现，简单的二元标签（是/否）在效果和稳定性上是最好的。这提醒我们，在将物理先验注入模型时，并非信息越详细越好，关键在于找到最能区分数据分布本质特征的那个抽象维度。二元标签抓住了“计算设置是否包含关键物理效应”这一核心，足以引导模型建立正确的映射。

3. 数据集构建的权衡与优化实战

构建一个用于训练基础模型的大规模数据集，永远是在计算成本、化学多样性和数据质量之间走钢丝。AQCat25的构建过程充满了这类工程权衡，其中一些经验教训对任何想构建类似数据集的人都极具参考价值。

3.1 采样策略：如何在有限预算下捕获最大信息量

我们最初为每个材料表面（slab）生成了4个不同的吸附物-表面松弛轨迹，目的是在固定计算预算下增加构型多样性。但事后分析表明，这并非最优选择。如图4b-e所示，模型的性能提升与数据集中独立材料表面的数量强相关。在从250个表面增加到1000个表面的过程中，性能提升显著；但从4000个增加到10000个时，就进入了收益递减区域。

这背后的逻辑是，对于吸附能模型，学习不同材料的表面特性（如晶格常数、电子结构）比学习同一个表面上吸附物的细微位置变化更重要。后者在单个松弛轨迹的前几十步中已经得到了充分采样。因此，我们得到的核心教训是：对于旨在训练通用MLIP的数据集，应优先保证材料空间的���度，而非单个系统构型的深度。在未来的项目中，我们会选择为每个表面只计算一个吸附物-表面组合，把省下的计算资源用于探索更多样化的材料。

3.2 计算截断：用80%的成本换取95%的收益

DFT松弛计算通常需要迭代数百步直至收敛，每一步都是一次昂贵的单点计算。我们深入分析了“只计算松弛轨迹前k步”这一策略的性价比（图4e）。结果令人振奋：仅计算前40-80帧（而非完整的800帧），就能以约20%的计算成本，获得接近使用全轨迹训练模型95%的性能。

这是因为松弛过程早期（高受力状态）的帧包含了关于势能面曲率的最丰富信息，对训练力预测模型至关重要。而后期接近平衡的低受力帧，虽然对精确确定最小能量有用，但其信息密度较低，存在大量冗余。对于总能量模型，这个策略的优势更加明显，因为它完全不需要计算裸表面的松弛能量作为参考。我们的建议是：在设计以模型微调或训练总能量模型为目标的数据集时，主动截断长松弛轨迹是最高效的成本控制手段。

3.3 数据清洗与陷阱：警惕“有机材料”这个异类

在模型评估中，我们发现了一个性能异常差的子类：完全由非金属元素（H, O, N, C, S, P, F, Cl, Br, I, Se）组成的“有机”材料系统。如图8所示，这类系统的能量预测误差远高于其他材料类型（金属、类金属等）。

问题根源在于吸附能的计算方式：E_ads = E_slab+ads - E_slab。对于金属或刚性材料，松弛后的裸表面结构E_slab相对稳定。但有机材料表面柔软，在吸附物存在下可能发生显著重构，导致轨迹中E_slab+ads对应的表面结构与单独松弛得到的E_slab参考结构差异巨大。这种“参考失配”引入了巨大的误差。

避坑指南：吸附能模型的局限性这个案例清晰地暴露了吸附能模型在处理柔性体系时的固有缺陷。如果你的研究涉及有机框架、聚合物或生物分子界面，强烈建议优先选择或开发总能量模型。总能量模型直接预测系统的绝对能量，无需依赖一个可能不匹配的参考态，从根本上避免了这个问题。在AQCat25中，我们最终在分析时将这类有机材料单独剔除，以避免其巨大的误差掩盖模型在其他材料上的真实性能趋势。

4. 模型训练、评估与结果深度解析

有了高质量的数据和正确的架构，训练过程的细节和评估方式同样决定了最终模型的成败。我们在此分享从超参数选择到评估指标设计的全流程经验。

4.1 训练配置与超参数选择

我们基于EquiformerV2架构进行实验，主要对比了3100万参数（31M）和1.53亿参数（153M）两种模型规模。所有训练均使用AdamW优化器，权重衰减设为1e-3。一个关键的超参数是损失函数中能量项与力项的权重比（λE : λF）。我们发现，在直接微调AQCat25时，增大能量损失的权重（λE=100）能显著提升能量预测精度（见表6），但这通常会导致力预测精度的小幅下降。在联合训练中，我们采用了更平衡的λE : λF = 4 : 100比例，以保持模型在力和能量预测上的综合性能。

对于学习率，从头训练时我们设置得较高（4e-4），而对于微调任务，则采用较低的学习率（7e-5或8e-5），以防破坏预训练模型中已有的宝贵知识。所有训练都采用了带线性热身的余弦退火调度，并使用指数移动平均来平滑模型权重，获得更稳定的最终检查点。

4.2 超越平均误差：分片评估揭示系统性偏差

仅仅报告整个测试集上的平均绝对误差（MAE）会掩盖很多重要信息。我们进行了深入的分片评估，按材料类型、元素新旧（是否在OC20中出现过）和自旋处理对结果进行拆解（图8）。这些分析带来了关键洞察：

1. 自旋处理的代价：在所有模型和训练策略下，自旋开启系统的预测误差 consistently 高于自旋关闭系统。这符合预期，因为自旋极化引入了额外的物理复杂性，且训练数据中自旋开启样本的比例相对较低。引入FiLM条件化后，自旋开启系统的性能提升尤为明显，证明了其有效性。
2. 新旧元素泛化：包含AQCat25新元素的系统，其预测误差普遍高于全部由OC20老元素构成的系统。这说明模型对于训练数据分布外的元素组合，其泛化能力仍有待提高。联合训练策略，特别是结合FiLM，有助于缩小这一差距。
3. 材料类型差异：模型对金属系统的预测最为准确，其次是类金属，对纯非金属系统的预测误差最大。这延续了OC20数据集中的已知趋势，可能与金属表面更规整的电子结构和更强的吸附作用有关。

4.3 终极考验：全局最小吸附能搜索

对于催化应用而言，模型在松弛轨迹上的平均误差固然重要，但其找到给定吸附物-表面组合的全局最小吸附构型的能力更为关键。我们构建了一个小型密集数据集（109个组合，每个50个初始吸附位点），来模拟真实的催化剂筛选任务。

我们使用训练好的MLIP直接进行结构松弛（无需DFT单点修正），然后与DFT计算得到的全局最小值进行比较。结果（图7）令人鼓舞：从头开始联合训练并加入FiLM条件的31M参数模型，其成功找到与DFT结果相差在0.1 eV以内的全局最小构型的成功率达到了约70%，显著优于直接微调的模型（约65%），更远超原始OC20预训练模型（约60%）。这个下游任务的性能与模型在标准验证集上的能量MAE趋势一致，证明了我们的训练目标和评估指标是有效的。

4.4 模型选择指南：效率与性能的平衡

综合所有实验结果（表2），我们可以给出一些实用的模型选择建议：

• 追求最佳性能：如果你需要最好的绝对精度，且计算资源充足，从头开始联合训练的大模型（153M参数）是首选。结合FiLM条件化和大量OC20数据（20M），它能达到当前技术下的最优性能。
• 兼顾效率与通用性：对于大多数应用场景，基于31M参数模型进行联合微调是一个性价比极高的选择。使用2M OC20数据进行回放（replay）训练，并加入FiLM条件化，能以最小的计算开销，获得一个在AQCat25新域和OC20旧域上都表现稳健的模型。
• 快速原型与特定域应用：如果你的目标完全集中在自旋极化催化系统，且不关心模型在传统非磁性材料上的表现，那么直接在AQCat25上微调一个预训练模型是最快的方法。只需警惕其严重的领域遗忘问题。

5. 常见问题、排查与未来方向

在实际部署和使用这些多保真度MLIP模型的过程中，我们遇到并总结了一系列典型问题及其解决方案。

5.1 模型部署与推理中的典型问题

问题1：如何为新的输入结构设置正确的条件化标签（自旋/保真度）？这是使用FiLM类模型的第一步，也是最容易出错的一步。我们的规则是：

• 自旋标签：如果系统中包含Ce, Co, Cr, Cu, Fe, Mn, Mo, Ni, Os, Ru, V, W中的任何一种元素，则设置为“自旋开启”（1），否则为“自旋关闭”（0）。这是基于这些元素在催化条件下通常表现��磁性。
• 保真度标签：如果输入结构的来源或预期精度与AQCat25数据集的高保真设置（ENCUT=500 eV, 高斯展宽0.1 eV）相匹配，则设置为“高保真”（1）。如果其设置更接近OC20（ENCUT=350 eV, Methfessel-Paxton展宽0.2 eV），则设置为“低保真”（0）。一个常见的错误是对所有预测都使用“高保真”标签，这可能导致对源自OC20风格数据的结构产生系统性偏差。

问题2：模型对某些元素或材料类型的预测出现巨大偏差（Outliers）。首先，检查这些系统是否属于我们之前提到的“有机材料”类别。如果是，吸附能模型的误差可能本就很大。其次，检查是否包含了模型从未见过的新元素（如La, Ba）。虽然AQCat25引入了这些元素，但数据量相对较少，模型对其的泛化能力可能不足。解决方案：对于关键应用，考虑在目标元素或材料类型的小规模高精度数据上对模型进行额外的针对性微调。

问题3：联合训练模型的预测结果，介于纯OC20模型和纯AQCat25模型之间，感觉“不伦不类”。这正是多保真度模型的预期行为。它不是一个在某个单一域上性能极致的专家，而是一个“通才”。它的优势在于稳健性和广泛适用性。如果你需要一个在特定、明确域内性能极致的模型，那么专门用该域数据训练的单一模型仍是更好的选择。多保真度模型的价值在于，当你需要处理来源混杂、物理设置不一的数据流时，它能提供一个统一的、可靠的预测接口。

5.2 性能调优与排查清单

如果你的模型性能不及预期，可以按照以下清单进行排查：

5.3 未来展望与进阶思考

这项工作为构建下一代催化MLIPs开辟了几条清晰的路径：

1. 迈向总能量模型：我们的实验反复印证，吸附能模型在应对表面重构时存在固有缺陷。未来的数据集构建和模型训练应优先考虑总能量模型范式。这将简化数据生成流程（无需单独计算参考态），并从根本上提升对柔性体系的预测能力。
2. 更精细的条件化与元数据：目前我们只使用了自旋和保真度两个二元标签。未来可以探索引入更丰富的元数据作为条件，例如近似交换相关泛函类型、伪势信息、甚至温度和压力，让模型成为一个真正的“多物理场、多尺度”模拟器。
3. 动态架构与课程学习：FiLM是一种静态条件化。更先进的思路是设计动态路由机制，让模型能根据输入自动选择或组合不同的专家子网络。此外，在训练中采用课程学习，先让模型学习简单的低保真、无自旋数据，再逐步引入复杂的高保真、自旋数据，可能进一步提升学习效率和最终性能。
4. 不确定性量化：对于催化筛选这类决策应用，模型给出预测的置信度至关重要。未来的模型应集成不确定性量化模块，能够指出哪些预测是可靠的，哪些需要进一步的DFT计算验证。

构建AQCat25和开发多保真度训练策略的过程，让我深刻体会到，在机器学习应用于科学计算的道路上，高质量、有针对性的数据与灵巧的模型架构和训练策略同等重要。它不是一个简单的数据堆砌游戏，而是一个需要深刻理解底层物理、仔细权衡工程限制、并持续迭代的系统工程。这套从数据构建到模型训练、评估、部署的完整经验，希望能为同行们在开发下一代科学计算AI模型时提供一块坚实的垫脚石。