PyTorch神经网络组件之ReLU

nn.ReLU

本质：ReLU = max(0, x)
即：
负数 → 变成 0
正数 → 保持不变

一句话终极理解：ReLU = 把负数变成0，让神经网络具备非线性学习能力

ReLU实际运行

import torch
import torch.nn as nnrelu = nn.ReLU()x = torch.tensor([-3,-1,0,2,5], dtype=torch.float32)y = relu(x)print(y)
# y = tensor([0., 0., 0., 2., 5.])

ReLU 在神经网络中的位置

nn.Linear(784,128)
nn.ReLU()
nn.Linear(128,10)

输入
↓
Linear
↓
ReLU   ← 非线性
↓
Linear
↓
输出

为什么 ReLU 比 sigmoid 更好（重要）

sigmoid：计算慢, 梯度消失
ReLU: 计算快,梯度稳定