激活函数是神经网络中至关重要的组成部分，它决定了神经元是否应该被“激活”（即输出什么信息）。简单来说，激活函数的作用是给神经网络引入非线性，让网络能够学习和表示复杂的模式。
1. 为什么需要激活函数？
如果没有激活函数，神经网络中的每一层都只是对输入进行线性变换（加权求和）。无论堆叠多少层，整个网络仍然等价于一个线性模型（因为线性函数的复合仍然是线性函数）。这样的模型只能解决线性可分的问题，比如简单的二分类（用一条直线分开两类点），而无法处理更复杂的任务，比如图像识别、语音识别等，这些任务中数据往往是非线性的。
激活函数通过引入非线性，使得神经网络可以逼近任意复杂的函数（根据通用近似定理），从而能够学习数据中的复杂关系。
2. 激活函数的作用
- 引入非线性：让网络可以学习曲线、边界等复杂模式。
- 决定神经元输出：对线性组合后的结果进行“加工”，输出一个值给下一层。
- 控制信息流：某些激活函数（如 Sigmoid）的输出范围有限，可以起到门控作用。
3. 常见的激活函数
| 激活函数 | 公式 | 输出范围 | 特点 | 适用场景 |
|---|---|---|---|---|
| Sigmoid | ( \sigma(x) = \frac{1}{1+e^{-x}} ) | (0, 1) | 平滑，可解释为概率，但存在梯度饱和问题（两端导数接近0），容易导致梯度消失 | 二分类输出层（配合交叉熵损失） |
| Tanh | ( \tanh(x) = \frac{e^x - e{-x}}{ex + e^{-x}} ) | (-1, 1) | 零中心，梯度比 Sigmoid 稍好，但仍有饱和问题 | 循环神经网络（RNN）或某些隐藏层 |
| ReLU | ( \text{ReLU}(x) = \max(0, x) ) | [0, +∞) | 计算简单，缓解梯度消失，但可能导致神经元死亡（输出恒为0） | 最常用，隐藏层首选 |
| Leaky ReLU | ( \max(0.01x, x) ) | (-∞, +∞) | 改进 ReLU，负半轴有微小斜率，避免神经元死亡 | 解决 ReLU 死亡问题 |
| Softmax | ( \frac{e^{x_i}}{\sum_j e^{x_j}} ) | (0,1)，和为1 | 将多个输出转换为概率分布 | 多分类输出层 |
4. 在 PyTorch 中的使用
PyTorch 提供了丰富的激活函数，都在 torch.nn 模块中。
作为函数使用（不保留参数）：
import torch
import torch.nn.functional as Fx = torch.randn(3)
y = torch.sigmoid(x) # Sigmoid
y = torch.tanh(x) # Tanh
y = F.relu(x) # ReLU
作为网络层使用（便于构建模型）：
import torch.nn as nnmodel = nn.Sequential(nn.Linear(10, 20),nn.ReLU(), # 隐藏层用 ReLUnn.Linear(20, 2),nn.Softmax(dim=1) # 多分类输出层用 Softmax
)
5. 激活函数的选择建议
- 隐藏层：优先使用 ReLU，简单高效。如果出现神经元死亡（很多输出恒为0），可尝试 Leaky ReLU 或 ELU。
- 输出层：
- 二分类：Sigmoid（输出一个概率）
- 多分类：Softmax（输出多个类别的概率分布）
- 回归问题：不用激活函数（直接输出线性值）
- 循环神经网络：常用 Tanh 或 ReLU（需谨慎处理梯度）。