[深度学习网络从入门到入土] 拓展 - 激活函数

[深度学习网络从入门到入土] 拓展 - 激活函数

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

Sigmoid

Sigmoid 是最早被广泛用于神经网络的激活函数之一，源于生物神经元发放率模型
f ( x ) = 1 1 + e − x f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f(x)=\frac{1}{1+e^{-x}} \\ f'(x)=f(x)(1-f(x))f(x)=1+e−x1​f′(x)=f(x)(1−f(x))

1. 好处

输出范围在 (0,1)，非常适合做：

• 概率建模（Logistic Regression）
• 二分类输出层

2. 坏处

导数f ′ ( x ) f'(x)f′(x)最大值只有 0.25
-> 当 |x| 很大时，梯度趋近 0 —— 直接导致深层网络训练困难

非零中心
-> 输出始终为正，导致梯度更新方向偏移, 收敛速度慢

饱和区问题
-> 当 x 很大或很小时，函数进入“饱和区”，梯度几乎为 0

3. 结论

Sigmoid 现在几乎只用于输出层（概率），很少用于隐藏层

Tanh

f ( x ) = tanh ⁡ ( x ) f ′ ( x ) = 1 − tanh ⁡ 2 ( x ) f(x)=\tanh(x) \\ f'(x)=1-\tanh^2(x)f(x)=tanh(x)f′(x)=1−tanh2(x)

1. 好处

输出范围在 (-1,1)

• 零中心
  -> 梯度更新方向更加均衡，收敛速度比 Sigmoid 更快
• 梯度最大值为 1
  -> 比 Sigmoid 的 0.25 大

2. 坏处

依然存在梯度消失问题
-> 当 |x| 很大时仍进入饱和区, 深层网络训练依然困难

指数运算
-> 计算量相对较大

3. 结论

Tanh 比 Sigmoid 更适合隐藏层, 但在深层网络时代仍然不够理想, 在 ReLU 出现后逐渐被淘汰

Tanh - LeNet5

缩放版的 Tanh
f ( x ) = 1.7159 tanh ⁡ ( 2 3 x ) f ′ ( x ) = 1.7159 ⋅ 2 3 ( 1 − tanh ⁡ 2 ( 2 3 x ) ) f(x)=1.7159\tanh\left(\frac{2}{3}x\right) \\ f'(x) = 1.7159 \cdot \frac{2}{3} \left( 1-\tanh^2\left(\frac{2}{3}x\right) \right)f(x)=1.7159tanh(32​x)f′(x)=1.7159⋅32​(1−tanh2(32​x))

1. 好处

目的：

• 放大梯度
• 避免过早饱和
• 加速收敛

2. 坏处

本质仍然是 Tanh

-> 饱和问题依然存在
-> 深层网络依然难训练

3. 结论

属于“早期工程优化手段”,在 ReLU 出现后逐渐被淘汰

ReLU

f ( x ) = max ⁡ ( 0 , x ) f ′ ( x ) = { 1 x > 0 0 x ≤ 0 f(x)=\max(0,x) \\ f'(x)= \begin{cases} 1 & x>0\\ 0 & x\le0 \end{cases}f(x)=max(0,x)f′(x)={10​x>0x≤0​

1. 好处

正区间梯度恒为 1
->大幅缓解梯度消失

计算简单
-> 不涉及指数运算

稀疏性
-> 负区间输出为 0，提高表达效率

2. 坏处

神经元死亡问题
-> 若权重更新后始终落在负区间
-> 梯度为 0，永久无法恢复

非零中心
-> 输出全部非负

3. 结论

ReLU 让深度网络真正可训练, 成为现代 CNN 默认激活函数

Leaky_ReLU

f ( x ) = { x x > 0 α x x ≤ 0 f ′ ( x ) = { 1 x > 0 α x < 0 f(x)= \begin{cases} x & x>0\\ \alpha x & x\le0 \end{cases} \\ f'(x)= \begin{cases} 1 & x>0\\ \alpha & x<0 \end{cases}f(x)={xαx​x>0x≤0​f′(x)={1α​x>0x<0​

1. 好处

负区间保留小梯度
-> 避免“死亡神经元”

2. 坏处

α 需要人为设定
-> 不同任务最优值不同

仍然不是严格零中心

3. 结论

ReLU 的小改进版, 在一些任务中更稳定

PReLU

f ( x ) = max ⁡ ( 0 , x ) + a min ⁡ ( 0 , x ) ∂ f ∂ x = { 1 x > 0 a x < 0 ∂ f ∂ a = { 0 x > 0 x x < 0 f(x)=\max(0,x)+a\min(0,x) \\ \frac{\partial f}{\partial x} = \begin{cases} 1 & x>0\\ a & x<0 \end{cases} \quad\quad\quad \frac{\partial f}{\partial a} = \begin{cases} 0 & x>0\\ x & x<0 \end{cases}f(x)=max(0,x)+amin(0,x)∂x∂f​={1a​x>0x<0​∂a∂f​={0x​x>0x<0​

1. 好处

负区间斜率 a 可学习
-> 自适应调整

通常优于固定 Leaky ReLU

2. 坏处

• 增加参数量
• 小数据集可能过拟合
• 仍然是分段线性

3. 结论

更“智能”的 ReLU, 但主流依然是普通 ReLU
(在 ICCV 2015 中提出)

GeLU

f ( x ) = x Φ ( x ) f ′ ( x ) = Φ ( x ) + x ϕ ( x ) f(x)=x\Phi(x) \\ f'(x)=\Phi(x)+x\phi(x)f(x)=xΦ(x)f′(x)=Φ(x)+xϕ(x)

常用近似：
f ( x ) ≈ 0.5 x ( 1 + tanh ⁡ ( 2 π ( x + 0.044715 x 3 ) ) ) f ′ ( x ) ≈ 0.5 ( 1 + tanh ⁡ u ) + 0.5 x ( 1 − tanh ⁡ 2 u ) c ( 1 + 0.134145 x 2 ) 其中 { u = c ( x + 0.044715 x 3 ) c = 2 π f(x) \approx 0.5x\left(1+\tanh\left(\sqrt{\frac{2}{\pi}}\left(x+0.044715x^3\right)\right)\right) \\ f'(x) \approx 0.5(1+\tanh u) + 0.5x(1-\tanh^2 u) c(1+0.134145x^2) \\ \text{其中} \begin{cases} u=c(x+0.044715x^3) \\ c=\sqrt{\frac{2}{\pi}} \end{cases}f(x)≈0.5x(1+tanh(π2​​(x+0.044715x3)))f′(x)≈0.5(1+tanhu)+0.5x(1−tanh2u)c(1+0.134145x2)其中{u=c(x+0.044715x3)c=π2​​​

已知d d x Φ ( x ) = ϕ ( x ) \frac{d}{dx}\Phi(x)=\phi(x)dxd​Φ(x)=ϕ(x)

φ ( x ) φ(x)φ(x)是标准正态分布 PDF:ϕ ( x ) = 1 2 π e − x 2 / 2 \phi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}ϕ(x)=2π​1​e−x2/2

Φ ( x ) \Phi(x)Φ(x)是累积分布函数 CDF:Φ ( x ) = ∫ − ∞ x ϕ ( t ) d t \Phi(x)=\int_{-\infty}^{x}\phi(t)\,dtΦ(x)=∫−∞x​ϕ(t)dt

1. 好处

• 平滑
• 概率解释更自然
• 在 Transformer 中效果优于 ReLU

2. 坏处

• 计算复杂
• 推理速度略慢
• 在 CNN 中优势不明显

3. 结论

Transformer 时代主流激活函数, 更适合大模型
(被 BERT 等模型广泛采用)