多模态机器学习融合XANES与PDF，精准预测材料键长与配位数

1. 项目概述：当XANES遇见PDF，用多模态机器学习解码材料结构

在材料研究的日常工作中，我们常常面临一个核心挑战：如何从复杂的实验谱图中，精准、高效地提取出材料的微观结构信息，比如某个金属离子周围到底有几个邻居（配位数），以及它与这些邻居的平均距离（键长）是多少。传统上，这依赖于研究人员的“谱图解读”经验，过程繁琐且主观性强。近年来，机器学习为这个问题提供了全新的解题思路。但单靠一种谱学数据，信息维度终究有限。这就引出了一个更富前景的方向：多模态机器学习。简单来说，就是把不同“视角”看到的数据融合起来，让模型获得更全面的“视力”。

这次分享的，正是我们团队近期围绕**X射线吸收近边结构（XANES）和原子对分布函数（PDF）**这两种核心表征技术，构建多模态模型来预测材料键长与配位数的实战经验。XANES像是一个高灵敏度的“化学探针”，能敏锐感知中心原子周围的电子结构和近邻几何；而PDF则像一把“结构尺”，能直接测量材料中所有原子对的间距分布。两者结合，理论上能实现对局域结构更立体的刻画。我们的目标很明确：验证这种“1+1>2”的思路是否真的可行，并摸清在什么情况下、对哪些元素，这种融合能带来最大的收益。

我们聚焦于四种典型的过渡金属元素：Ti、Mn、Fe、Cu。选择它们是因为其氧化物体系结构丰富，且XANES和PDF信号特征明显，是验证方法的理想“试验田”。整个工作流程可以概括为：从Materials Project等数据库获取或通过FEFF软件计算大量结构模型的XANES和PDF数据作为输入特征，以对应的键长和配位数作为预测目标，训练随机森林等机器学习模型。我们系统对比了仅用XANES、仅用PDF、以及两者结合（XANES+PDF， XANES+dPDF）等多种模型的表现。实测下来，结果令人振奋：对于键长预测，多模态模型，尤其是结合了**微分PDF（dPDF）**的模型，显著超越了单一数据源的模型，甚至比简单粗暴地只看PDF最高峰位置的“基线模型”准确了5到8倍。这不仅仅是精度上的提升，更意味着我们找到了一条更可靠地从多维度实验数据中反演微观结构信息的路径。

无论你是正在尝试将机器学习引入自己课题的材料科研人员，还是对多模态数据融合感兴趣的数据科学家，希望这篇从数据准备、特征工程、模型构建到结果深度剖析的完整复盘，能给你带来切实的参考和启发。

2. 核心思路与技术选型：为什么是XANES+PDF？

在动手构建模型之前，首先要理清底层逻辑：我们凭什么认为把XANES和PDF放在一起能更好地预测结构？这需要从两种技术本身的物理内涵和它们所携带信息的互补性说起。

2.1 XANES与PDF：一对洞察材料结构的“黄金搭档”

XANES探测的是特定元素吸收边附近（通常从边前约-20 eV到边后约50-100 eV）X射线吸收系数的精细振荡。这个过程主要涉及核心电子被激发到未占据的分子轨道或导带。因此，XANES的谱线形状对中心原子的氧化态、配位几何（如四面体、八面体）、配位原子的种类和距离极其敏感。例如，前驱峰（pre-edge）的强度与中心原子的对称性直接相关，而边后震荡的周期则包含了近邻原子距离的信息。但XANES反映的是平均的、局域的电子结构信息，并且其信号是多重散射路径的复杂叠加，解谱本身就是一个逆问题。

PDF则来源于对全范围X射线衍射数据的傅里叶变换。它直接给出了原子对间距的径向分布函数G(r)。PDF图中的每一个峰对应一个特定的原子对距离，峰的面积与配位数相关，峰的宽度则反映了结构无序度。因此，PDF提供了从短程到中程（通常可达几十埃）的实空间结构信息，是一种更“直接”的结构尺。但它是一种全局统计，不针对特定元素，当材料中存在多种原子对时，谱图会变得非常复杂。

两者的互补性正在于此：XANES提供了元素特异性的、电子结构层面的局域环境信息；PDF提供了非元素特异性的、实空间的全局结构信息。对于一个过渡金属氧化物，XANES能告诉我们这个金属离子是+2价还是+3价，大致是四面体配位还是八面体配位；而PDF能告诉我们这个金属-氧键的长度分布、以及更远距离的金属-金属关联。将两者结合，模型就能同时“看到”中心离子的化学状态和其周围原子的空间排布，理论上对于推断像平均键长和配位数这样的参数，会拥有更充分的证据链。

2.2 为什么选择随机森林作为基础模型？

在技术路线上，我们选择了随机森林（Random Forest）作为核心的回归和分类器。这个选择基于几个非常实际的考量：

1. 特征重要性可解释性：这是本项目的一个关键需求。我们不仅要知道模型预测得准不准，更想知道模型是“看”了谱图中的哪些部分做出判断的。随机森林天然能提供特征重要性评分，这对于理解XANES和PDF中哪些能量点或距离区间对预测贡献最大至关重要，能直接与物理化学知识进行对照验证。
2. 对高维小样本数据的鲁棒性：我们的数据集规模通常在几百到几千个样本，而特征维度（XANES和PDF的数据点）可能高达上千维。随机森林通过构建多棵决策树并集成，能有效防止过拟合，在高维空间中表现相对稳定。
3. 无需复杂调参与预处理：相比深度学习模型，随机森林对数据标准化、归一化的要求不那么苛刻，超参数相对较少且直观（如树的数量、最大深度），能让我们更快速地进行原型验证和对比实验。
4. 处理混合数据类型：我们的任务既有回归（预测键长，连续值）也有分类（预测配位数，离散值）。随机森林可以无缝处理这两种任务。

当然，我们也意识到随机森林的局限性，比如对于极度复杂的非线性关系，其表达能力可能不如深度神经网络。但在当前阶段，以可解释性优先、快速验证多模态融合可行性为目标，随机森林是一个平衡了性能、效率和解释性的理想起点。

2.3 引入微分PDF（dPDF）的妙用

在实验过程中，我们发现一个有趣的现象：直接使用原始PDF（total-PDF）与XANES结合时，PDF特征的重要性在某些任务中被严重压制。这很可能是因为原始PDF包含了大量来自所有原子对的宽泛背景信号，其中与目标金属离子直接相关的关键信息（如最近邻M-O峰）被“稀释”了。

为此，我们引入了微分PDF（dPDF）的概念。它的计算思路是：从实验或计算的总PDF中，减去一个来自参考结构（通常是该金属的理想晶态氧化物）的PDF。这个操作相当于做了一个“背景扣除”，能更突出地显示由于局域结构畸变、缺陷或非晶态引入的差异信号。对于预测与特定金属离子相关的局域参数（如键长、配位数），dPDF就像是一个“聚焦镜”，让模型更容易捕捉到与目标相关的细微变化。

后续的实验结果也强力支持了这一策略：在几乎所有任务中，使用dPDF替代total-PDF，都能提升单一PDF模型的性能。更重要的是，在构建XANES+dPDF多模态模型时，dPDF特征的重要性得到了显著保留，模型实现了更优的信息互补，预测精度进一步提升。这证明，恰当的特征工程——在这里是构造物理意义明确的微分信号——是多模态融合成功的关键一环。

3. 数据准备与特征工程实战要点

有了清晰的思路，下一步就是准备“食材”。数据质量直接决定了模型性能的天花板。这部分工作繁琐但至关重要，涉及数据获取、预处理、特征构建和标签标注的全流程。

3.1 数据来源与生成：计算与实验的桥梁

我们的数据主要来源于两大块：

1. 计算数据：我们从Materials Project等晶体结构数据库中，筛选出大量包含Ti、Mn、Fe、Cu的氧化物晶体结构。使用FEFF软件包（基于多重散射理论）从头计算每个结构中目标金属元素的K边XANES谱。同时，利用这些原子坐标，通过PDFgetX3或类似程序计算理论PDF。这种方法能快速生成大规模、标签准确（结构参数已知）的数据集，是训练监督学习模型的理想选择。
2. 实验数据（潜在扩展）：虽然本研究主要基于计算数据验证方法，但整套流程完全兼容实验数据。实验XANES可在同步辐射光源测量，实验PDF通过对高能X射线或中子衍射数据进行傅里叶变换获得。关键在于，需要对实验数据进行严格的能量校准、背景扣除、归一化等预处理，以使其与计算数据在尺度上具有可比性。

注意：计算数据虽好，但需警惕“模拟到现实的鸿沟”。FEFF计算通常基于理想的晶体结构，忽略了温度效应、无序和缺陷。因此，用纯计算数据训练的模型，在应用到真实复杂的实验谱图时，性能可能会下降。一个稳健的策略是使用“计算+实验”的混合数据集进行微调。

3.2 特征预处理：对齐、裁剪与标准化

XANES和PDF是两种物理意义和量纲完全不同的数据，直接拼接扔给模型是不行的，必须进行精细的预处理。

1. 能量/距离范围对齐：

   • XANES：对于每种金属，我们统一截取其K边附近一段固定的能量窗口（例如，Ti: -50 到 150 eV relative to edge）。确保所有样本的特征向量长度一致。
   • PDF：统一截取一段实空间距离r范围（例如，0 到 10 Å）。这个范围需要覆盖最近邻键长（~1.5-2.5 Å）以及若干层配位壳层。

2. 数据插值与降维：计算或实验得到的数据点可能密度不均。我们需要在设定的能量或距离网格上进行插值（如线性插值），得到固定间隔（如0.5 eV, 0.01 Å）的离散数据点。如果特征维度仍然过高，可以考虑使用主成分分析（PCA）进行降维，但要注意这会损失可解释性。我们初期选择保留原始分辨率，以充分利用随机森林处理高维数据的能力。

3. 标准化（Normalization）：这是关键步骤。我们将每个XANES谱在边后一定能量区间内进行归一化，使其边后震荡幅度大致相当。对于PDF，通常进行振幅归一化。目的是消除样本间绝对强度的差异，让模型关注谱图形状的变化，而非绝对强度。

4. 构建多模态特征向量：预处理后，将每个样本的XANES谱（一个一维数组）和PDF谱（另一个一维数组）在特征维度上直接拼接（concatenate），形成一个更长的特征向量。这就是模型看到的“多视角”输入。

3.3 标签制备：定义清晰的预测目标

我们的预测目标是明确的物理量：

• 平均最近邻键长（Mean Nearest-Neighbor Bond Length）：对于一个给定的结构，计算目标金属原子（如Fe）到其所有最近邻配位原子（通常是O）的距离，然后取平均值。这是一个连续值，作为回归任务的目标。
• 配位数（Coordination Number）：统计目标金属原子周围最近邻的原子数。在氧化物中，这通常是4（四面体）或6（八面体），可能还有其他值。这是一个离散值，作为分类任务的目标。

标签的准确性至关重要。对于计算数据，这可以直接从晶体学文件中精确读取。对于实验数据，则需要通过精修或已知的标样来确定，是应用中的难点。

4. 模型构建、训练与评估全流程解析

数据就绪后，就进入了模型构建的核心环节。我们采用Scikit-learn库来实现整个机器学习流程，其清晰的API和丰富的功能非常适合这类研究。

4.1 模型架构与训练策略

我们为回归（键长）和分类（配位数）任务分别建立模型。基本流程如下：

# 伪代码示例：以XANES+PDF多模态回归模型为例 import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 假设已经准备好了以下数据 # X_xanes: (n_samples, n_xanes_features) # X_pdf: (n_samples, n_pdf_features) # y: (n_samples,) # 键长值 # 1. 特征拼接 X_combined = np.concatenate([X_xanes, X_pdf], axis=1) # 2. 划分训练集和测试集（保持80/20比例，并stratify by composition if needed） X_train, X_test, y_train, y_test = train_test_split(X_combined, y, test_size=0.2, random_state=42) # 3. 初始化随机森林回归器 # 关键超参数设置基于初步的网格搜索 rf_regressor = RandomForestRegressor( n_estimators=200, # 树的数量，越多越稳定，但计算量越大 max_depth=15, # 树的最大深度，防止过拟合 min_samples_split=5, # 内部节点再划分所需最小样本数 min_samples_leaf=2, # 叶节点最少样本数 max_features='sqrt', # 寻找最佳分割时考虑的特征数，sqrt是常用选择 random_state=42, # 确保结果可复现 n_jobs=-1 # 使用所有CPU核心并行训练 ) # 4. 训练模型 rf_regressor.fit(X_train, y_train) # 5. 预测与评估 y_pred = rf_regressor.predict(X_test) rmse = np.sqrt(mean_squared_error(y_test, y_pred)) print(f"Test RMSE: {rmse:.4f} Å")

对于分类任务（配位数），使用RandomForestClassifier，评估指标则采用加权平均F1分数（Weighted Average F1 Score），它能更好地处理类别不平衡的情况。

4.2 至关重要的基线模型

为了客观评价我们机器学习模型的性能，必须设立一个合理的基线模型（Baseline Model）。这个基线应该是一个极其简单、无需学习的“愚蠢”模型。它的作用是为性能评估提供一个最低参考线。

• 对于键长回归：我们设计的基线模型是，对于任何一个样本，都预测其PDF在0-4 Å范围内的最高峰所对应的r值。这个想法基于一个朴素的假设：最近邻键长大概就在第一个强峰的位置。结果如表S8所示，这个基线模型的RMSE高达0.28-0.43 Å。而我们最好的多模态模型能将误差降低到0.05-0.06 Å左右，提升非常显著。
• 对于配位数分类：我们设计的基线分类器总是预测训练集中出现次数最多的那个配位数类别（即众数类别）。例如，如果数据集中80%的样本是八面体配位（CN=6），那么基线模型就永远预测6。这个基线的F1分数就是多数类的比例。

只有当我们的机器学习模型显著、稳定地超越这些基线时，我们才能说模型真正学到了有意义的规律，而不是在“瞎猜”或者仅仅利用了数据分布的先验信息。

4.3 交叉验证与超参数调优

为了避免过拟合和评估结果的稳定性，我们采用了5折或10折交叉验证。具体来说，将整个数据集分成5份，轮流用其中4份训练，1份测试，重复5次，最后取平均性能指标。这比单次划分训练集/测试集更能反映模型的泛化能力。

超参数（如n_estimators,max_depth）我们使用网格搜索（Grid Search）结合交叉验证来进行优化。虽然随机森林对超参数不极度敏感，但适当的调优能进一步提升性能。我们会在一个较小的超参数空间内进行搜索，选择在验证集上表现最佳的组合。

5. 结果深度剖析：多模态融合的价值与边界

训练完成后，一堆数字和图表摆在我们面前。如何解读它们，并提炼出有物理意义的结论，是研究的关键。我们的分析主要围绕几个核心问题展开。

5.1 性能对比：单一模态 vs. 多模态

我们系统评估了五种输入配置的模型：仅XANES、仅PDF、仅dPDF、XANES+PDF、XANES+dPDF。结果清晰地展示在多张图表中。

对于键长预测（回归任务）：

• 单一模态对比：对于所有四种金属（Ti, Mn, Fe, Cu），仅用XANES的模型（RMSE ~0.05-0.08 Å）普遍优于仅用PDF的模型（RMSE ~0.06-0.08 Å）。这说明在预测与特定金属离子直接相关的局域键长时，元素特异的XANES信息更具优势。
• 微分PDF的威力：引入dPDF后，单一PDF模型的性能得到大幅改善，甚至接近或超过了XANES-only模型（例如Fe， dPDF RMSE=0.0428 Å vs XANES RMSE=0.0527 Å）。这验证了dPDF能更有效地聚焦于与目标金属相关的结构变化。
• 多模态的胜利：XANES+dPDF组合在大多数情况下取得了最佳性能（尤其是Mn, Fe, Cu）。例如对于Mn， XANES-only RMSE为0.0598 Å， dPDF-only为0.0622 Å，而两者结合的XANES+dPDF模型将RMSE进一步降低至0.0556 Å。这种提升不是简单的线性叠加，而是融合了电子结构（XANES）和聚焦的实空间结构振动（dPDF）信息后，模型做出了更综合、更准确的判断。

对于配位数预测（分类任务）：

• 趋势与键长预测类似。XANES和dPDF单独表现良好，而两者的结合（XANES+dPDF）在多数金属上实现了最高的加权F1分数。
• 一个有趣的发现是，对于Ti，无论是键长还是配位数预测，XANES的特征重要性都远远压倒PDF/dPDF。这可能是因为Ti的K边XANES（特别是其前驱峰）对配位环境的变化异常敏感，其提供的信息已经足够充分，以至于PDF的补充作用相对有限。

5.2 特征重要性分析：模型在“看”哪里？

随机森林提供的特征重要性图是我们理解模型决策的“X光片”。通过分析这些图，我们可以将模型的关注点与已知的物理化学知识联系起来。

• XANES特征重要性：对于所有金属，模型都高度关注吸收边附近（边前和边后~50 eV）的区域。这与我们的认知一致，因为这部分谱形对局域结构最敏感。例如，Ti的前驱峰区域被赋予了极高的权重，这与文献中报道的该区域与Ti的配位数强相关完全吻合。
• PDF/dPDF特征重要性：模型并非均匀关注所有r值。对于键长预测，重要性峰值强烈集中在最近邻原子对的距离附近（例如，对于M-O键，在~1.5-2.0 Å处出现高峰）。这非常直观，因为预测的就是这个距离。对于配位数预测，重要性分布则更广，可能涉及第一、第二甚至更高配位壳层的信息，因为配位数不仅与最近邻距离有关，也与更整体的配位多面体几何相关。
• 多模态下的特征互动：当结合XANES和PDF时，特征重要性图揭示了有趣的“竞争”与“协作”。在某些情况下（如使用原始PDF），XANES的重要性会压制PDF的重要性。但当使用dPDF时，PDF特征的重要性得以更好地保留，并与XANES特征形成互补。这从可视化角度证明了dPDF作为特征的有效性——它携带了更独特、更不易被XANES覆盖的信息。

5.3 深入探索：XANES边前区与边后区的信息含量

我们做了一个更细致的实验：将XANES谱在吸收边处切开，分别只用边前区（Pre-edge）和边后区（Post-edge）来训练模型。

• 结果：对于配位数预测，使用整个XANES谱的模型总是表现最好。单独使用边后区的模型表现次之，但仍远好于基线。而单独使用边前区的模型表现最差。
• 解读：这个结果有些反直觉，因为传统上边前峰被认为是配位几何最敏感的探针。一种可能的解释是，在我们的数据集中（基于FEFF计算），边后区的震荡包含了更丰富的多重散射路径信息，这些信息对于区分不同的配位环境同样重要，甚至信息量更大。边前区虽然敏感，但可能变化模式相对简单，信息维度较低。这提示我们，在利用机器学习时，不应先入为主地局限于传统上“重要”的谱区，而应该让数据驱动地发现所有可能的信息源。
• 与PDF的结合：即使分别使用边前或边后XANES与PDF结合，其模型性能也与使用全谱结合PDF时相差无几。这进一步说明，在多模态框架下，即使XANES输入不是最优的，PDF/dPDF也能提供强有力的补充，使整体模型保持稳健。

6. 实操心得与避坑指南

走完整个项目流程，踩过不少坑，也积累了一些在论文中不会详述，但对实际复现至关重要的经验。

6.1 数据质量是生命线：计算与实验的校准

• 计算数据的局限性：FEFF计算基于单次散射和有限簇尺寸，对于高度无序或强多重散射体系，其计算的XANES可能与实验有偏差。在构建数据集时，最好能包含一部分实验数据用于验证和微调模型。如果只能用计算数据，建议使用更高级的模拟方法（如基于密度泛函理论的多重散射计算）或对计算参数（簇大小、交换关联泛函）进行仔细测试。
• 实验数据的预处理一致性：如果使用实验数据，必须保证所有谱图的预处理流程（能量校准、背景扣除、归一化方法）完全一致。一个常见的坑是不同批次实验数据能量标尺的微小漂移，这会对模型造成灾难性影响。建议使用同一标准样品进行同步校准。
• 标签的准确性：对于实验体系，键长和配位数标签的获取本身就是难题。依赖精修结果可能存在误差传递。一个可行的策略是，构建一个“计算-实验”混合数据集，其中计算数据提供精确标签，实验数据提供真实谱图形状，通过迁移学习或域适应技术来搭建桥梁。

6.2 特征工程的艺术：不仅仅是拼接

• 直接拼接并非永远最优：我们最初尝试了直接将XANES和PDF数组拼接。这对于随机森林可行，但对于一些对输入尺度敏感的模型（如神经网络），可能需要更精细的处理，例如分别对两种特征进行标准化后再拼接，或者甚至设计双分支网络分别处理。
• 微分信号的构造：dPDF的成功启示我们，根据物理先验知识构造衍生特征可能比使用原始数据更有效。除了微分，还可以考虑其他变换，如对PDF进行高斯平滑求导、计算XANES的一阶/二阶导数等，这些都可能突出不同方面的信息。
• 特征选择与降维：如果特征维度极高，可以考虑使用基于模型的特征重要性进行筛选，只保留最重要的部分特征进行训练，这能加速训练并可能提升泛化能力。但要注意，这可能会损失一些微弱但重要的协同信号。

6.3 模型选择与解释的平衡

• 从简单模型开始：强烈建议从随机森林、梯度提升树这类可解释性强的模型起步。它们能快速给出性能基准和特征重要性，帮助你理解数据和问题本身。在确认多模态融合确实有效后，再尝试更复杂的模型（如图卷积网络、注意力机制）去冲击极限性能。
• 警惕过拟合：尽管随机森林相对稳健，但在小数据集上仍然可能过拟合。密切关注训练集和测试集性能的差距。除了交叉验证，使用独立的验证集（或留出部分测试集不做任何调参参考）进行最终评估是必要的。
• 全局 vs 局域解释：随机森林的特征重要性是一种全局解释，它告诉我们平均而言哪些特征重要。但对于单个预测，我们可能还想知道“为什么这个样本被预测为键长=2.1 Å？”。这时可以借助LIME或SHAP等工具进行局部可解释性分析，这对于诊断异常预测非常有帮助。

6.4 领域知识的融入：让模型更“懂”物理

• 约束预测范围：在回归键长时，可以根据化学常识为预测值设定一个合理的物理范围（例如，Fe-O键长通常在1.8-2.2 Å之间）。可以在后处理中截断，或者在损失函数中加入惩罚项。
• 利用谱图表征：可以将XANES的边能（E0）、前驱峰面积、白线强度等传统上用于经验分析的参数，也作为特征输入模型。这样模型就能同时学习“专家经验”和“原始数据”。
• 多任务学习：可以尝试让模型同时预测键长和配位数（甚至氧化态）。由于这些结构参数之间存在内在关联（如键长通常随配位数增加而增加），多任务学习可以通过共享表示来提升模型的泛化能力和鲁棒性。

这个项目清晰地展示了，将XANES和PDF这两种强大的表征技术，通过多模态机器学习框架进行融合，能够显著提升对材料局域结构参数的预测精度。其中，针对特定任务设计特征（如使用dPDF）是提升性能的关键。这项工作不仅为材料科学家提供了一种从复杂谱图中提取定量结构信息的新工具，也为多源数据在材料信息学中的应用提供了一个可复现的范例。未来的方向可以朝着融合更多模态（如拉曼光谱、电子能量损失谱）、结合深度学习架构、以及开发适用于实时分析或高通量筛选的轻量化模型迈进。