22、超参数调优：从获取函数到实际应用

超参数调优：从获取函数到实际应用

1. 引言

在机器学习和深度学习中，超参数调优是提升模型性能的关键步骤。本文将介绍几种获取函数（Acquisition Functions），并通过实际例子展示如何使用它们进行超参数调优。同时，还会讨论对数尺度采样和使用Zalando数据集进行超参数调优的具体方法。

2. 上置信界（UCB）获取函数

有多种获取函数可供使用，这里主要介绍上置信界（UCB）获取函数。它有两种变体：
-第一种变体：
[a_{UCB}(x) = \tilde{\mathbb{E}}[f(x)] + \eta\sigma(x)]
其中，(\tilde{\mathbb{E}}[f(x)]) 是代理函数在给定 (x) 范围内的“期望”值，即函数在该范围内的平均值；(\sigma(x)) 是代理函数在点 (x) 处的方差；(\eta > 0) 是权衡参数。这种获取函数主要选择方差最大的点，从而使近似效果越来越好。
-第二种变体：
[\tilde{a}_{UCB}(x) = \tilde{\mathbb{E}}[f(x)] + \eta\sqrt{\sigma(x)}]
这种获取函数会在代理函数最大值附近的点和方差最大的点之间进行权衡，更适合快速找到函数最大值的近似值。

3. 示例：复杂三角函数的近似

考虑一个复杂的三角函数，在 (x) 范围 ([0, 40]) 内寻找其最大值并近似该函数。为方便编码，定义两个函数：
-评估代理函数的函数