Sigmoid与Softmax：激活函数核心区别解析
Sigmoid与Softmax：激活函数核心区别解析
目录
- Sigmoid与Softmax：激活函数核心区别解析
- 一、Sigmoid 函数（逻辑斯蒂函数）
- 二、Softmax 函数（归一化指数函数）
- 三、核心区别对比
- 四、两者的联系
Sigmoid 和 Softmax 都是深度学习中常用的归一化激活函数，核心作用是将神经网络的原始输出转换为具有概率意义的数值，但二者在数学性质、输出约束和适用场景上有本质区别。
一、Sigmoid 函数（逻辑斯蒂函数）
Sigmoid 是经典的单变量S型压缩函数，也是最早广泛使用的激活函数之一。
数学定义
σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=