神经网络中的常用激活函数和优化器详解
一、常用激活函数：ReLU、Sigmoid、Tanh、LeakyReLU
在神经网络中，最常用的激活函数是 ReLU（Rectified Linear Unit）及其变体，其次是Sigmoid和Tanh，而LeakyReLU
在特定场景下使用较多。以下是详细对比和适用场景分析：
1. ReLU（Rectified Linear Unit）
公式：
( f(x) = \max(0, x) )
特点：
- 计算简单：仅需比较和取最大值，计算效率高。
- 缓解梯度消失：正区间梯度恒为1，避免深层网络梯度弥散。
- 稀疏激活：负半轴输出为0，可增强模型稀疏性。
缺点：
- 神经元死亡：负输入梯度为0，可能导致部分神经元永久失效（可通过LeakyReLU缓解）。
适用场景：
- 绝大多数前馈神经网络（如CNN、全连接网络）。
- 默认首选，尤其是隐藏层。
变体：
- LeakyReLU：负区间引入微小斜率（如0.01），解决神经元死亡问题。
- Parametric ReLU (PReLU)：斜率作为可学习参数。
- Swish：( f(x) = x \cdot \sigma(\beta x) )，Google提出，效果优于ReLU但计算稍复杂。
2. Sigmoid
公式：
( f(x) = \frac{1}{1 + e^{-x}} )
特点：
- 输出范围(0,1)：适合概率输出（如二分类最后一层）。
- 平滑梯度：便于求导。
缺点：
- 梯度消失：输入绝对值较大时梯度接近0，导致深层网络训练困难。
- 非零中心性：输出均值不为0，可能影响梯度更新效率。
适用场景：
- 二分类输出层（配合交叉熵损失）。
- 传统神经网络（现多被ReLU取代）。
3. Tanh（双曲正切）
公式：
( f(x) = \frac{e^x - e{-x}}{ex + e^{-x}} )
特点：
- 输出范围(-1,1)：零中心化，梯度更新更稳定。
- 比Sigmoid梯度更强：因梯度范围更大（0~1）。
缺点：
- 梯度消失：与Sigmoid类似，但程度较轻。
适用场景：
- RNN/LSTM的隐藏层（处理序列数据时效果较好）。
- 需要输出有正负的场景。
4. LeakyReLU
公式：
( f(x) = \begin{cases}
x & \text{if } x \geq 0 \
\alpha x & \text{if } x < 0
\end{cases} ) （通常 ( \alpha = 0.01 )）
特点：
- 解决ReLU的神经元死亡：负区间保留微小梯度。
- 保持计算高效性。
缺点：
- 效果提升有限：实际任务中未必显著优于ReLU。
适用场景：
- 对神经元死亡敏感的任务（如GANs）。
- 深层网络或训练不稳定的情况。
总结对比
| 激活函数 | 优点 | 缺点 | 使用频率 | 典型应用场景 |
|---|---|---|---|---|
| ReLU | 计算快、缓解梯度消失 | 神经元死亡 | ⭐⭐⭐⭐⭐ | CNN/全连接网络的隐藏层 |
| Sigmoid | 概率输出、平滑 | 梯度消失、非零中心 | ⭐⭐ | 二分类输出层 |
| Tanh | 零中心化、梯度强于Sigmoid | 梯度消失 | ⭐⭐⭐ | RNN/LSTM的隐藏层 |
| LeakyReLU | 避免神经元死亡 | 效果提升有限 | ⭐⭐ | 替代ReLU的备选方案 |
实际建议
- 默认选择ReLU：尤其对隐藏层，兼顾效率和效果。
- 输出层：
- 二分类：Sigmoid。
- 多分类：Softmax（严格来说不是激活函数，但常与交叉熵搭配）。
- RNN/LSTM：优先尝试Tanh或ReLU变体（如LeakyReLU）。
- 实验调优：对复杂任务可测试Swish、Mish等新激活函数。
二、深度学习常用的优化器：Adam、DGD、RMSprop
在深度学习中，最常用的优化器包括以下几种，其中Adam是目前最广泛使用的优化器之一，但具体选择取决于任务和场景：
1.Adam（Adaptive Moment Estimation）
- 特点：结合了动量（Momentum）和自适应学习率（类似RMSprop），适用于大多数场景。
- 优势：自适应调整学习率，对超参数（如初始学习率）相对鲁棒，适合非凸优化问题。
- 适用场景：默认选择，尤其适合中等规模数据和常见网络结构（如CNN、RNN）。
2.SGD（随机梯度下降）及其变种
- 标准SGD：简单但容易陷入局部最优，需手动调整学习率。
- SGD with Momentum：加入动量项加速收敛，缓解震荡。
- 优势：在调优良好的情况下（如学习率调度），可能比Adam泛化更好，尤其在大型模型（如Transformer）或计算机视觉任务中。
- 适用场景：需要精细调参或大规模训练时（如ResNet、BERT）。
3.RMSprop
- 特点：自适应调整学习率（按梯度平方的指数衰减平均），适合非平稳目标。
- 适用场景：RNN或强化学习（Adam的前身）。
选择建议：
- 默认尝试：优先用Adam（快速收敛，少调参）。
- 追求极致性能：用SGD + Momentum并配合学习率调度（如Cosine Annealing）。
- 特殊任务：RNN可能适合RMSprop，大模型可能需LAMB或Adafactor。
原因：
Adam因其自适应性和鲁棒性成为“通用首选”，但研究显示SGD系列在充分调参后可能达到更优泛化性能。实际选择需结合具体问题、模型结构和训练资源。