5、全连接网络中的超参数、过拟合与数据集分析

全连接网络中的超参数、过拟合与数据集分析

1. 全连接网络中的超参数

在全连接网络中，有许多参数可以调整以找到适合问题的最佳模型。在训练开始时设定且在训练过程中不改变的参数被称为超参数。对于前馈网络，需要调整以下额外的超参数：
- 层数：用 $L$ 表示。
- 每层的神经元数量：第 $i$ 层的神经元数量为 $n_i$，其中 $i$ 从 1 到 $L$。
- 每层的激活函数选择：用 $g^{[l]}$ 表示。

当然，还有之前遇到过的超参数，如迭代次数（或轮数）和学习率。

2. 多分类问题的 Softmax 函数

在使用 TensorFlow 代码之前，还需要了解一些理论知识。本章介绍的网络已经足够复杂，可以进行多分类任务并得到合理的结果。为此，需要引入 Softmax 函数。

从数学角度来看，Softmax 函数 $S$ 将一个 $k$ 维向量转换为另一个 $k$ 维的实值向量，每个元素的值在 0 到 1 之间，且所有元素之和为 1。给定 $k$ 个实值 $z_i$（$i = 1, …, k$），定义向量 $z = (z_1, …, z_k)$，Softmax 向量函数 $S(z) = (S(z)1, S(z)_2, …, S(z)_k)$ 定义为：
[S(z)_i = \frac{e^{z_i}}{\sum{j=1}^{k}e^{z_j}}]
由于分母总是大于分子，所以 $S(z)i < 1$。并且，$\sum{i = 1}^{k}S(z)_i = 1$。因此，$S(z)_i$ 表现得像一个概率，我们将其视为 $k$ 种可能结果