学习型搜索与启发式算法完全解析

学习型搜索与启发式算法完全解析

核心结论：贝叶斯优化通过高斯过程建模未知目标函数，结合采集策略平衡探索与利用，是数据驱动算法配置的基础范式；但在面对实例异质性、资源预算动态变化时，需要Hyperband、SMAC等专门化扩展。

实现细节：本文档所有Mermaid图采用纵向拓扑，配色语义全局一致——蓝为结构/模型、绿为运算/算法、橙为流程/阶段、紫为结果/输出、红为关键/瓶颈、黄为输入/数据、灰为辅助/上下文。

1. 总体定位与问题框架

1.1 实验设计的迭代范式

1.1.1 设计-测量-反馈闭环

想象一个调音师在调试一架复杂的管风琴。调音师（实验设计者）拨动一个音栓（设计实验），管风琴发出声音（平台运行），调音师用耳朵判断音高（测量响应），然后决定下一个音栓如何调整（反馈迭代）。这个过程不是一次性完成的，而是反复进行，直到音色达到最优。

贝叶斯优化（Bayesian Optimization, BO）正是这一范式的数学化。它包含三个核心特征：

1. 迭代性与自适应性：实验按顺序进行，后一步的设计依赖于前一步的观测。
2. 效用最大化：设计者的目标不是全局拟合目标函数，而是找到使目标函数最大化的那个设计点