23、深度学习中的超参数调优与卷积神经网络基础

深度学习中的超参数调优与卷积神经网络基础

1. 超参数调优的思考

在进行超参数调优时，需要运用自身经验，或者向有经验的人寻求帮助。不要在已知不会有效的参数组合上浪费时间和资源。例如，花时间测试极小的学习率，比测试接近 1 的学习率更有意义。因为每一轮网络训练都需要花费时间，即便结果可能并无用处。

超参数调优的这一环节并非是要得到可能的最佳模型，而是让我们了解调优过程是如何运作的。我们可以继续尝试不同的优化器（如 Adam），考虑更广泛的参数范围和更多的参数组合等。

2. 径向基函数中的参数 l

径向基函数的形式为：$K(x_i, x_l) = e^{-\frac{||x - x_i||^2}{2\sigma^2l^2}}$。理解参数 l 的作用十分重要。在示例中，选择 l = 2，但未说明原因。实际上，l 的取值会对获取函数产生影响：
-l 过小：获取函数会在已知点周围形成非常狭窄的峰值，使得点之间的方差几乎恒定，算法几乎总是选择点之间的中间点。
-l 过大：获取函数会变得平滑，方差变小，在某些获取函数中难以使用。

通常，为了使已知点之间的方差能够平滑变化，应避免 l 值过小或过大。典型的取值范围在 1 或 2 左右。

3. 卷积神经网络与循环神经网络简介

传统的全连接网络在许多基础任务（如图像识别、语音识别、时间序列预测等）中表现不佳。而卷积神经网络（CNNs）和循环神经网络（RNNs）是当今常用的先进架构。

3.1 卷积神经网络的基本组件：核与滤波器

CNNs 的