一、引言
在前面的学习中，我们已经了解了线性回归、损失函数以及反向传播等核心概念。但如果你仔细思考，会发现一个问题：
如果神经网络每一层都只是做“线性变换”，那无论堆多少层，本质上还是一个线性模型。
这显然无法解决复杂问题。
激活函数（Activation Function） 的引入，就是为了打破这种“线性限制”，赋予模型学习非线性关系的能力。
二、什么是激活函数？
激活函数是加在神经网络每一层输出上的一个非线性变换函数，其作用可以简单理解为：
决定一个神经元是否“被激活”（是否传递信息）
数学表达如下：
对于某一层的输出：
\[z = Wx + b
\]
经过激活函数：
\[a = \sigma(z)
\]
其中：
- ( z )：线性变换结果
- ( $\sigma $)：激活函数
- ( a )：最终输出
三、为什么需要激活函数？
1. 引入非线性能力
没有激活函数：
- 多层网络 = 一层线性模型
- 表达能力极其有限
加入激活函数：
- 可以拟合复杂函数（图像、文本、语音等）
2. 提高模型表达能力
例如：
- 图像识别中的边缘检测
- 文本中的语义理解
都依赖非线性结构
3. 控制输出范围
不同激活函数可以：
- 限制输出范围（如 Sigmoid）
- 保持数值稳定
四、常见激活函数详解
1. Sigmoid 函数
\[\sigma(x) = \frac{1}{1 + e^{-x}}
\]
特点：
- 输出范围：(0, 1)
- 常用于二分类问题
优点：
- 平滑连续
- 有概率意义
缺点：
- 梯度消失问题严重
- 计算开销较大
2. Tanh 函数
\[\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
\]
特点：
- 输出范围：(-1, 1)
- 比 Sigmoid 更“居中”
优点：
- 收敛速度通常更快
缺点：
- 同样存在梯度消失问题
3. ReLU（最常用）
\[\text{ReLU}(x) = \max(0, x)
\]
特点：
- 小于0 → 输出0
- 大于0 → 保持不变
优点：
- 计算简单
- 收敛速度快
- 缓解梯度消失
缺点：
- “神经元死亡问题”（Dead ReLU）
4. Leaky ReLU（ReLU改进版）
\[f(x) =
\begin{cases}
x, & x > 0 \
\alpha x, & x \le 0
\end{cases}
\]
特点：
- 负数部分保留一个小斜率
优点：
- 避免神经元死亡
5. Softmax（输出层常用）
\[\text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}
\]
特点：
- 输出为概率分布
- 总和为1
用途：
- 多分类任务
五、激活函数的选择策略
1. 隐藏层推荐
- 默认使用：ReLU
- 若不稳定：尝试 Leaky ReLU
2. 输出层选择
| 任务类型 | 激活函数 |
|---|---|
| 二分类 | Sigmoid |
| 多分类 | Softmax |
| 回归 | 无 / 线性 |
六、激活函数与梯度问题
1. 梯度消失（Vanishing Gradient）
- Sigmoid / Tanh 常见
- 深层网络训练困难
2. 梯度爆炸（Exploding Gradient）
- 梯度过大，训练不稳定
3. 解决方法
- 使用 ReLU 系列
- 合理初始化参数
- 使用 Batch Normalization
七、总结
激活函数是神经网络的核心组件之一，其本质作用可以总结为：
让模型从“线性计算器”进化为“非线性表达系统”
关键点回顾：
- 没有激活函数 → 深度网络毫无意义
- ReLU 是当前最常用选择
- 输出层激活函数需根据任务类型决定