BP神经网络激活函数选择：tansig与logsig的数学特性与工程实践对比

1. 项目概述：从两个激活函数的选择说起

在构建BP神经网络时，激活函数的选择往往是一个容易被新手忽略，却又至关重要的环节。很多朋友在初次接触Matlab的神经网络工具箱，或者自己动手写BP网络代码时，都会遇到一个经典的选择题：tansig和logsig，到底该用哪一个？为什么很多教科书、开源代码和实例（比如那些热门的“bp神经网络matlab实例”）里，tansig似乎更受青睐？这背后并不是一个随意的选择，而是基于函数特性、网络训练动力学以及实际问题需求的一系列权衡。今天，我们就来彻底拆解这两个函数，把“为什么”讲透，让你下次再做选择时，心里明明白白，而不是简单地照抄别人的代码。

简单来说，tansig（双曲正切S型函数）和logsig（对数S型函数，或称Sigmoid）都是经典的S型激活函数，它们能将神经元的输入映射到一个平滑、有界的输出区间，这是神经网络能够拟合非线性关系的核心。但它们的输出范围、函数形状的对称性以及梯度特性有着微妙而关键的差异，这些差异直接影响了BP神经网络在反向传播过程中的梯度流动、收敛速度以及最终的训练效果。理解这些区别，是优化网络性能、避免陷入训练僵局的第一步。

2. 核心数学特性与直观对比

要理解区别，我们得先看看它们的“长相”和“性格”。这里我们不堆砌复杂的公式，而是用直观的对比和类比来理解。

2.1 函数定义与输出范围

首先，我们明确一下它们的数学形式（了解即可，重点是理解其含义）：

• logsig(Log-Sigmoid): 其函数表达式为f(x) = 1 / (1 + exp(-x))。你可以把它想象成一个“软开关”，无论输入x是多大或多小的实数，它的输出都会被压缩到(0, 1)这个开区间内。输出永远为正数。
• tansig(Tan-Sigmoid): 其函数表达式为f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))，也就是双曲正切函数tanh(x)。它同样是一个“软开关”，但它的输出范围是(-1, 1)。输出可以是正数也可以是负数。

这个输出范围的差异是第一个根本区别。logsig的输出是“单极性的”（总是正），而tansig的输出是“双极性的”（可正可负）。这有什么影响呢？想象一下，如果下一层神经元的输入总是正数，那么其权重的梯度在反向传播时，要么全正，要么全负（取决于误差信号）。这会导致权重更新时，所有的权重向量都朝着同一个方向调整，形成一种“锯齿形”的优化路径，降低收敛效率。而tansig提供的双极性输出，使得下一层的梯度更新方向更加多样，优化路径更平滑，通常有助于加速训练。

2.2 函数图像与对称性

我们可以画一个简单的思维图像来对比：

• logsig图像：像一个被拉长的“S”形曲线，从左边无限接近0，到右边无限接近1。它的中心点（拐点）在(0, 0.5)。这个曲线关于点(0, 0.5)中心对称，但不是关于原点对称。
• tansig图像：同样是一个“S”形曲线，但它从左边的-1平滑过渡到右边的+1。它的中心点（拐点）在(0, 0)。这个曲线是关于原点(0, 0)奇对称的。

对称性的重要性：tansig关于原点对称的特性，意味着它的输出均值接近于0。这是一个巨大的优势。在数据预处理阶段，我们常常会对输入数据进行“零均值化”（减去均值），目的是让优化过程更稳定、更快。如果激活函数的输出本身均值就在0附近，那么它自然地将数据向“零中心”分布推进了一层，这非常符合梯度下降法的“胃口”。相反，logsig的非零均值输出（约为0.5），相当于在每一层都引入了一个固定的偏置，使得后续层的输入始终有一个正偏移。在深度网络中，这个偏移会不断累积，迫使网络需要花费额外的“精力”去学习补偿这个偏差，从而拖慢训练速度。

2.3 梯度（导数）特性对比

激活函数在BP神经网络中的核心作用之一，就是通过它的导数来传递梯度。它们的导数形式也很有趣：

• logsig的导数：f'(x) = f(x) * (1 - f(x))。由于f(x)在(0,1)之间，所以导数最大值出现在f(x)=0.5时，最大值为0.25。
• tansig的导数：f'(x) = 1 - f(x)^2。由于f(x)在(-1,1)之间，所以导数最大值出现在f(x)=0时，最大值为1。

这里透露出两个关键信息：

1. 梯度饱和区：当输入x的绝对值很大时（处于S型曲线的两端平坦区域），两个函数的导数都会趋近于0。这就是著名的“梯度消失”问题。神经元一旦进入饱和区，它传回的梯度就微乎其微，权重几乎得不到更新，学习就会停滞。
2. 最大梯度值：tansig在原点处的最大梯度是1，而logsig的最大梯度只有0.25。这意味着，在激活函数的敏感区域（输入接近0时），tansig能够传递更强、更清晰的梯度信号。更强的梯度信号通常意味着权重更新幅度更大，在训练初期收敛得更快。

注意：虽然tansig的最大梯度更大，但这并不意味着它能完全避免梯度消失。对于很深的网络，两者都会面临梯度消失的挑战。但在同等条件下，tansig的梯度衰减情况通常比logsig要好一些。

3. 为什么BP神经网络更偏爱tansig？

基于以上特性分析，我们可以系统地总结出tansig在BP神经网络中更受青睐的几个核心原因，这些原因在大量的研究和工程实践中得到了验证。

3.1 零中心化输出加速收敛

这是最常被提及，也是最重要的原因。如前所述，tansig的零均值特性与数据预处理中的零中心化思想不谋而合。在反向传播中，权重的梯度计算依赖于上一层神经元的输出（即本层输入）。如果这些输入总是正的（如logsig的情况），那么对本层某个权重参数的梯度，其符号将完全由传播到此的误差项决定。这会导致所有权重在更新时，要么同时增加，要么同时减少。优化路径会变成曲折的“之字形”，收敛缓慢。

相反，tansig提供的输入有正有负，使得梯度符号更加多样化，权重可以向各自独立的最优方向调整。这相当于为优化器（如梯度下降）提供了更“直接”的路径，收敛过程自然更平稳、更快速。在许多标准数据集（如MNIST）的简单前馈网络测试中，将logsig替换为tansig，往往能观察到更快的损失下降曲线。

3.2 更强的梯度信号缓解梯度消失

在训练初期，权重通常被初始化为较小的随机值（如Xavier或He初始化），此时神经元的输入和输出都集中在激活函数的中部线性区域附近。在这个区域，tansig的梯度接近1，而logsig的梯度最大才0.25。这意味着在训练刚开始的宝贵阶段，误差能够通过tansig更有效地反向传播到更早的层，让整个网络“动起来”得更快。

虽然随着网络加深，两者都会面临梯度消失，但tansig的初始优势能让网络更快地找到一个较好的优化起点。在一些“bp神经网络代码”实现中，如果你看到作者同时尝试了两种函数，记录下的训练日志里，使用tansig的网络前期损失下降的斜率通常更陡。

3.3 更广的输出动态范围

tansig的输出范围是(-1, 1)，跨度是2；而logsig是(0, 1)，跨度是1。更广的输出范围意味着神经元可以表达更强烈的正激活或负抑制信号，为网络提供了更丰富的表示能力。在某些任务中，特别是输出需要表示“方向”或“正反对立”概念时（例如，预测一个可能为正也可能为负的残差），tansig的天然双极性更为合适。

3.4 实践中的经验共识

在早期的神经网络研究以及Matlab等传统工具中，tansig经过大量实验对比，被证明在大多数分类和回归任务上表现优于logsig。这种经验通过教科书、经典教程和“bp神经网络matlab实例”流传下来，形成了广泛的实践共识。当你看到一个成熟的代码库或教程默认使用tansig时，这背后是无数次的实验比较得出的结论，而不仅仅是个人偏好。

4. logsig就没有用武之地了吗？

当然不是。logsig的特定属性使其在某些场景下是不可或缺或更为合适的。

4.1 输出层处理概率分布

这是logsig最经典、最不可替代的应用场景。在二分类问题中，我们希望网络的输出能够解释为样本属于正类的“概率”。概率值必须落在[0, 1]区间内。logsig函数完美地满足了这一要求：它将整个实数域的输入压缩到(0,1)之间，其输出可以直接视为概率估计。因此，在二分类网络的输出层，logsig是标准配置。常见的模式是：隐藏层使用tansig或ReLU以获得更好的训练特性，而输出层使用logsig来产生概率输出。

4.2 门控机制中的天然选择

在一些特殊的网络结构中，logsig的特性被巧妙利用。例如，在长短时记忆网络（LSTM）和门控循环单元（GRU）中，有一个关键的“门”结构（如遗忘门、输入门、输出门）。这些门的作用是控制信息以多大的比例通过，其输出值需要在0到1之间，表示“完全关闭”到“完全打开”。logsig的输出范围(0,1)在这里具有天然的物理意义，因此它被广泛用于实现这些门控函数。

4.3 历史兼容性与特定任务

在一些非常早期的神经网络模型或特定领域的应用中，可能整个网络都采用logsig。这可能是出于历史代码兼容性，或者在该特定任务上，经过仔细调优后发现logsig表现更好（虽然这种情况较少）。此外，当你的网络输入和输出都是严格正数（例如，预测像素强度、计数等）时，使用全logsig网络可能在理论上更一致，但实践中仍常将隐藏层换为tansig或ReLU来提升性能。

5. 超越tansig与logsig：现代激活函数简析

虽然我们在讨论BP神经网络的经典选择，但必须认识到，在更深的现代神经网络中，tansig和logsig都已不是隐藏层的首选。了解它们的局限性和继任者，能让你有更广阔的视野。

ReLU（Rectified Linear Unit）及其变种已经成为当前深度学习的默认激活函数。它非常简单：f(x) = max(0, x)。

• 优势：
  • 计算极其简单：没有指数运算，只有比较和加法。
  • 缓解梯度消失：在正区间，梯度恒为1，彻底解决了梯度消失问题。
  • 加速收敛：得益于其稀疏激活性和线性的正区间，收敛速度通常远快于S型函数。
• 劣势：“Dead ReLU”问题，即输入为负时梯度永远为0，导致神经元“死亡”且无法复活。为此发展出了Leaky ReLU, PReLU, ELU等变体来克服此问题。

Swish, Mish等新函数：这些是研究者通过自动搜索或结合现有函数优点提出的新激活函数，在某些任务和网络结构上表现优于ReLU。

实操心得：对于你现在接触的BP神经网络（通常是单隐层或双隐层），tansig依然是一个优秀且稳定的选择。但当你开始构建更深的网络时，应优先考虑使用ReLU或其变体作为隐藏层激活函数，并在输出层根据任务选择logsig（二分类）、softmax（多分类）或线性函数（回归）。

6. 在Matlab中的实操与对比

让我们结合“bp神经网络matlab实例”，看看如何具体使用和对比这两个函数。

6.1 使用神经网络工具箱

Matlab的nntool（新版为nnstart）或命令行函数feedforwardnet可以方便地创建网络。

% 创建一个单隐层网络，隐层10个神经元，使用tansig（默认） net_tansig = feedforwardnet(10); % 查看隐层激活函数 disp(net_tansig.layers{1}.transferFcn) % 输出应为 'tansig' % 创建一个使用logsig作为隐层激活函数的网络 net_logsig = feedforwardnet(10); net_logsig.layers{1}.transferFcn = 'logsig'; % 显式设置为logsig

在训练和对比时，你需要确保其他所有超参数（数据划分、训练算法、学习率、迭代次数等）完全一致，才能公平地比较两个激活函数的效果。

6.2 自定义网络实现对比

如果你想更底层地理解，可以自己编写BP算法进行对比。核心在于前向传播和反向传播中激活函数及其导数的计算。

% 前向传播示例 (以单个样本为例) function a = activate(z, func_type) if strcmp(func_type, 'tansig') a = tanh(z); % 或者使用 (exp(z)-exp(-z))./(exp(z)+exp(-z)) elseif strcmp(func_type, 'logsig') a = 1 ./ (1 + exp(-z)); end end % 反向传播中计算delta时需要的导数 function g = activate_gradient(a, func_type) if strcmp(func_type, 'tansig') g = 1 - a.^2; % tansig的导数 elseif strcmp(func_type, 'logsig') g = a .* (1 - a); % logsig的导数 end end

在你的训练循环中，将func_type作为参数传入，就可以轻松切换两种激活函数进行实验。

6.3 一个简单的对比实验框架

你可以设计一个简单的实验来直观感受差异：

1. 准备一个标准数据集（如鸢尾花数据集iris，或简单的异或问题XOR）。
2. 分别创建net_tansig和net_logsig网络，结构完全相同。
3. 使用相同的训练集、验证集划分，相同的训练参数（trainlm或trainscg，最大迭代次数epochs，目标误差goal等）。
4. 训练两个网络，并记录下：
   • 达到目标误差所需的迭代次数（收敛速度）。
   • 最终在测试集上的准确率或均方误差（泛化性能）。
   • 训练过程中损失函数下降的曲线（绘制在同一张图上对比）。

常见问题与排查技巧实录：

• 问题1：网络训练误差一直不下降，卡在一个很高的值。
  • 排查：首先检查激活函数是否进入饱和区。初始化权重过大可能导致神经元输入绝对值很大，使得tansig或logsig输出在±1或0/1附近，梯度几乎为0。解决方案：使用更小的随机初始化（如从均值为0，方差为0.01的高斯分布中采样），或使用Xavier/Glorot初始化（根据输入输出维度自动调整方差）。
• 问题2：使用tansig的网络训练震荡很厉害。
  • 排查：学习率可能设置得太高。虽然tansig梯度更大，但过高的学习率会使其在优化中“冲过头”。解决方案：降低学习率，或使用带动量（Momentum）的优化算法来平滑更新方向。
• 问题3：在二分类任务中，输出层用了logsig，但预测概率总是很极端（接近0或1）。
  • 排查：这可能是网络过于自信，也可能是隐藏层激活函数（如tansig）的输出经过权重放大后，使得输出层的输入绝对值过大，导致logsig饱和。解决方案：a) 在输出层之前加入批归一化（Batch Normalization）层来稳定输入分布；b) 尝试对隐藏层使用ReLU，它不易饱和；c) 在损失函数中加入L2正则化项，惩罚过大的权重。
• 问题4：自己实现的BP代码，用logsig能训练，换tansig后梯度爆炸（出现NaN）。
  • 排查：tansig的梯度范围是(0,1]，而logsig是(0, 0.25]。在深度网络中，如果权重初始化不当，tansig更强的梯度可能在反向传播中逐层累积，导致梯度爆炸。解决方案：采用标准的权重初始化方法（如Xavier初始化，它专为S型激活函数设计），或者使用梯度裁剪（Gradient Clipping）技术，将梯度限制在一个阈值内。

选择tansig还是logsig，抑或是更现代的ReLU，本质上是在网络的表示能力、训练效率和数值稳定性之间做权衡。对于经典的、层数不多的BP神经网络，tansig因其零中心化和更强的梯度信号，在大多数情况下是一个更优的默认选择，这也是它广泛出现在各种教程和实例中的原因。而logsig则在输出层需要表示概率的场景下牢牢占据着不可替代的位置。理解这些函数背后的数学特性和其对训练动力学的影响，远比记住一条简单的“用A比B好”的规则更重要。下次当你设计网络时，不妨根据你的数据特性和任务目标，有意识地做出选择，并通过实验来验证你的想法，这才是提升模型性能的正道。