多维尺度分析与核函数几何嵌入技术详解
1. 多维尺度分析(MDS)与核函数几何嵌入
多维尺度分析(MDS)是一种经典的降维技术，它通过将高维数据映射到低维空间来保持数据点之间的相对距离。在核函数空间分析中，MDS扮演着至关重要的角色。其核心思想是将核函数之间的概率差异转化为几何距离，从而构建一个连续的搜索空间。
1.1 MDS的数学原理
MDS的核心计算过程可以分为以下几个关键步骤：
距离矩阵构建：首先需要构建一个n×n的欧氏距离平方矩阵D，其中每个元素d_ij表示第i个和第j个核函数之间的Hellinger距离平方。
双中心化处理：对距离矩阵进行双中心化操作，形成Gram矩阵： [ B = -\frac{1}{2}JDJ ] 其中J是中心化矩阵，( J = I - \frac{1}{n}11^T )
特征分解：对Gram矩阵B进行特征分解： [ B = V\Lambda V^T ]
坐标计算：选取前k个正特征值及其对应的特征向量，计算嵌入坐标： [ X = V_k\Lambda_k^{1/2} ]
注意：在实际应用中，我们通常会观察特征值衰减曲线来确定合适的嵌入维度。如图11所示，核函数空间的几何结构通常是低维的，这意味着我们可以用较少的维度（通常10-20维）就能很好地保持原始距离结构。
1.2 核函数空间的几何特性
通过MDS嵌入后，核函数在低维空间中的几何分布具有以下重要特性：
功能相似性保留：在嵌入空间中距离相近的核函数，它们诱导的高斯过程先验也相似。如图12所示，重建距离与原始距离几乎完全对齐，证明嵌入保持了核函数之间的概率差异。
聚类结构明显：使用k-means聚类（k=5）分析15维MDS坐标时，可以观察到明显的簇内和簇间距离分离（图13）。簇内距离紧密集中在0附近（D<0.1），而簇间距离分布更广（0.1<D<0.5）。
层次结构清晰：如图15的树状图所示，相似的核函数在低连接距离处合并，而不相似的核函数只会在较大距离处合并。重新排序的距离矩阵显示出明显的块对角模式，揭示了组内距离一致较小的区域。
2. 核函数的贝叶斯优化框架
2.1 核函数的代理模型构建
为了在核函数空间上应用贝叶斯优化，我们需要构建一个高斯过程代理模型，其输入是核函数的描述符而非物理输入。每个核函数在库中表示为MDS嵌入空间中的一个点z_i∈R^p。
代理模型的协方差函数（核函数的核）定义为嵌入坐标上的几何感知协方差。我们通常从MDS坐标上的平稳径向基函数(RBF)核开始：
[ k_K(z_i,z_j) = σ^2 \exp\left(-\frac{|z_i-z_j|_2^2}{2ℓ^2}\right) ]
其中欧氏距离‖z_i-z_j‖_2近似于相应GP先验之间的转换后的概率差异。
在实际应用中，我们还评估了多尺度核函数的核代理模型，它被建模为具有不同长度尺度的RBF分量的混合：
[ k_{multi}^K(z_i,z_j) = \sum_{m=1}^M w_m \exp\left(-\frac{|z_i-z_j|_2^2}{2ℓ_m^2}\right) ]
其中权重w_m和长度尺度ℓ_m通过最大化边际似然来学习。
2.2 贝叶斯优化流程
在MDS嵌入空间上执行贝叶斯优化的完整流程如下：
初始化：在嵌入空间中随机选择少量核函数作为初始点，评估其对数边际似然。
代理模型训练：基于已评估的点，训练高斯过程代理模型。
采集函数优化：使用期望改进(EI)等采集函数在连续潜在空间中找到下一个最有潜力的点。
核函数匹配：将采集函数返回的连续坐标匹配到最近的嵌入核函数进行评估。
迭代更新：用新观察更新代理模型，重复步骤3-5直到满足停止条件。
实操技巧：虽然流形是连续的，但核函数库仍然是离散的。当采集函数提出一个新点时，我们将其"捕捉"到最近的嵌入核函数。这避免了反转嵌入或解析生成新核函数，同时仍允许BO从连续空间推理中受益。
3. 实验结果与性能分析
3.1 基准测试设置
我们在10个不同的函数上进行了实验：7个经典合成基准测试函数（Eggholder、Ackley、Dropwave、Schwefel、Rastrigin、Lévy和Bukin）和3个真实世界时间序列数据集（国际航空公司乘客、Mauna Loa CO2和内部热历史序列）。
对比方法包括：
- 多尺度核函数的核BO
- 单RBF核函数的核BO
- 随机选择
- LLM引导的遗传算法(LLM-GA)搜索策略
3.2 性能比较
图16展示了各种方法在10个基准测试上的收敛轨迹（以最佳观察到的对数边际似然衡量）。主要发现包括：
合成基准测试：
- 对于Eggholder和Schwefel等复杂地形，多尺度方法能在几次迭代内快速逃离不良区域并接近近最优区域
- 具有振荡或周期结构的函数（Dropwave、Rastrigin）特别受益于核流形几何
- 即使是相对平滑的函数（如Lévy），多尺度方法也显示出改进的收敛性
真实世界数据集：
- 在国际航空公司乘客数据集上，多尺度方法识别出能捕捉年度周期性和长期增长的复合核函数
- Mauna Loa CO2数据集（也表现出强烈的年度周期性）被类似地很好处理
- 内部热历史数据集（最不规则和嘈杂）中，多尺度方法仍然优于其他方法
与LLM-GA的比较：
- 如表1所示，基于核函数的核BO方法在大多数函数上达到最高或并列最佳的LML
- LLM-GA变体表现较差且方差较大
- 纯探索（随机核选择）通常优于基于LLM的方法
3.3 计算效率分析
图17比较了不同方法的平均计算时间（秒）：
- LLM-GA工作流程的计算时间明显更高，需要3.4到5.7倍于我们提出的BO方法的执行时间
- 这种开销可归因于查询LLM进行基于提示的核生成所固有的推理延迟和重复API调用的累积延迟
4. 工业应用案例研究
4.1 案例1：增材制造中的熔池几何数据
我们将该框架应用于由激光功率和扫描速度定义的二维工艺参数空间，使用Thermo-Calc®增材制造(TCAM)模块计算的熔池宽度作为输出量。
关键发现：
使用默认RBF核训练的GP显示出显著缺陷（图20）：
- 预测均值缺乏局部保真度
- 不确定性图在稀疏采样区域显示出广泛的高方差区域
优化后的核显著缓解了这些问题（图21）：
- 尽管使用相同的稀疏训练集，预测的宽度场与TCAM测量结果密切匹配
- 预测不确定性在整个输入域上几乎均匀且较低
工程意义：
- 制造工艺设计通常需要对尚未通过实验探索的参数区域有信心
- 通过将整个符号核库嵌入Hellinger信息的MDS空间，该框架自动选择其归纳偏差最匹配激光-物质相互作用多尺度物理的核
4.2 案例2：使用优化核的贝叶斯优化
我们评估了核优化如何影响贝叶斯优化性能：
单目标基准测试：
- 如图22所示，使用任务特定复合核的BO在两种基准测试中始终优于RBF基线
- 对于Dropwave（图22a），它在前几次迭代中就达到了接近最佳观察值
- 对于Ackley（图22b），复合核更快地逃离不良初始区域
多目标优化：
- 如图23所示，使用优化复合核的BO实现了更快的超体积增长和更高的最终超体积
- 该方法还显示出改进的样本效率和跨运行的变异性降低
这些结果表明，核优化的好处超出了代理质量指标，直接转化为更有效的目标空间探索。通过选择其归纳偏差更好地与底层景观几何对齐的核，所提出的框架允许贝叶斯优化比固定核基线更有效地平衡探索和利用。
5. 实现细节与注意事项
5.1 核函数库设计
在实践中构建有效的核函数库需要考虑以下因素：
基础核选择：通常包括：
- 平方指数(RBF)核：( k(x,x') = σ^2 \exp\left(-\frac{|x-x'|^2}{2ℓ^2}\right) )
- 周期核：( k(x,x') = σ^2 \exp\left(-\frac{2\sin^2(π|x-x'|/p)}{ℓ^2}\right) )
- 有理二次核：( k(x,x') = σ^2 \left(1 + \frac{|x-x'|^2}{2αℓ^2}\right)^{-α} )
组合操作：
- 加法组合：( k_1 + k_2 )
- 乘法组合：( k_1 × k_2 )
- 复合组合：( k_1 × (k_2 + k_3) )等
深度控制：通常限制核表达式的最大深度（如≤3）以避免过于复杂的核函数
5.2 距离度量选择
核函数之间的距离度量是影响MDS嵌入质量的关键因素。常用的概率度量包括：
Hellinger距离： [ D_H(P||Q) = \sqrt{\frac{1}{2} \int (\sqrt{p(x)} - \sqrt{q(x)})^2 dx} ]
KL散度： [ D_{KL}(P||Q) = \int p(x) \log \frac{p(x)}{q(x)} dx ]
Jensen-Shannon距离： [ D_{JS}(P||Q) = \sqrt{\frac{1}{2} D_{KL}(P||M) + \frac{1}{2} D_{KL}(Q||M)} ] 其中M = (P+Q)/2
重要提示：在选择距离度量时，必须确保其满足度量公理（非负性、对称性、三角不等式），否则MDS可能无法产生有意义的嵌入。
5.3 实际应用中的调优技巧
嵌入维度选择：
- 观察特征值衰减曲线（如图11）
- 保留解释总方差95%以上的维度
- 通常10-20维足够捕获核函数空间的主要结构
代理模型配置：
- 对于平滑的核函数空间，使用单一RBF核足够
- 对于多尺度结构，考虑使用多尺度核函数的核
- 正则化参数需要通过边际似然最大化仔细调整
采集函数选择：
- 期望改进(EI)适用于大多数情况
- 对于高度多模态空间，考虑上置信界(UCB)
- 并行评估场景可使用q-EI或熵搜索
计算优化：
- 预计算核函数之间的距离矩阵
- 对大型核函数库使用近似MDS算法
- 考虑随机投影等降维技术加速高维嵌入
我在实际应用中发现，这种方法最大的优势在于将符号化的核函数搜索问题转化为连续的优化问题。特别是在处理工业数据集时，传统方法往往需要专家设计特定的核函数组合，而几何方法可以自动发现适合数据特性的核结构。一个典型的例子是在处理具有多重周期特性的传感器数据时，系统自动发现了(RBF + Periodic) × RQ的复合结构，这与物理过程的特性高度一致——RBF捕捉趋势，Periodic处理主要周期，而RQ核则适应了不同时间尺度上的变异幅度变化。