Tanh 激活函数，即双曲正切函数（Hyperbolic Tangent Function），是神经网络中一种常见的激活函数。它与 Sigmoid 函数形状相似（都是 S 形曲线），但其输出范围不同，且具有零中心化的特点。
数学表达式
Tanh 函数的数学公式如下：
tanh(𝑥)=（𝑒𝑥−𝑒−𝑥）/（𝑒𝑥+𝑒−𝑥）
这个公式也可以表示为 Sigmoid 函数的变换形式：
tanh(𝑥)=2𝜎(2𝑥)−1
其中，𝑥是神经元的加权输入总和。
关键特性
- 输出范围 (-1, 1)：Tanh 函数将输入值压缩到 -1 到 1 之间。
- 零中心化 (Zero-Centered)：与 Sigmoid 函数（输出范围 [0, 1]）不同，Tanh 的输出均值接近于零。这是 Tanh 相对于 Sigmoid 的一个显著优势。
- 非线性、平滑、可微：它是一个平滑的、连续可导的非线性函数，适用于基于梯度的优化方法。
- 单调递增：函数值随着输入值的增大而增大。
优点
- 零中心化：由于输出范围在 -1 到 1 之间，输出数据的均值接近于 0。这有助于使下一层的输入数据保持在零均值附近，可以加快梯度下降的收敛速度，提高训练效率。
- 更强的梯度：与 Sigmoid 函数相比，Tanh 的梯度在接近原点时更强，这有助于在反向传播过程中更有效地更新权重，一定程度上缓解了梯度消失问题。
要深入了解 Tanh 函数的特性，以及为什么它能比 Sigmoid 函数提供更强的梯度:
A Review of 10 Most Popular Activation Functions in Neural ...
Machine Learning Studio
缺点
- 梯度消失问题：尽管比 Sigmoid 表现稍好，但 Tanh 函数仍然存在梯度消失问题。当输入
𝑥趋于极端值（很大或很小）时，函数的导数会趋近于零，导致反向传播时梯度难以传递到网络的深层。
- 计算成本：与简单的 ReLU 函数（只需要判断正负和阈值）相比，Tanh 涉及指数运算，计算量更大，速度相对较慢。
应用场景
- 隐藏层：在过去，Tanh 函数因其零中心化的优点，常被用作神经网络隐藏层的默认激活函数，通常性能优于 Sigmoid。
- 循环神经网络 (RNN) 和长短期记忆网络 (LSTM)：在这些序列模型中，Tanh 函数常用于调节信息流（例如在 LSTM 的单元状态更新中），因为它能有效地将值映射到正负之间。
- 替代趋势：在现代深度学习中，由于 ReLU 及其变体能更好地解决梯度消失问题且计算速度更快，它们已成为大多数隐藏层的首选激活函数。
对于 Tanh 函数如何解决 Sigmoid 函数导致的零均值问题，以及它与 Sigmoid 和 ReLU 的区别，这里不再详述