在工业设备故障诊断中，振动信号往往因工况变化而呈现巨大差异，传统深度学习方法使用固定的非线性变换，难以有效提取判别性特征。
文章《Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis》介绍了一种全新的激活函数——自适应参数化整流线性单元（APReLU），并将其嵌入深度残差网络（ResNet），实现了“每个输入信号拥有专属非线性变换”的突破。实验表明，该方法在行星齿轮箱故障诊断任务中显著优于传统激活函数，准确率提升最高达18.31%。
一、背景与挑战
在现代工业系统中，机械设备长期运行于复杂多变的环境中，故障频发可能导致严重事故。振动信号作为故障诊断的重要数据源，其特点在于：
- 同一种健康状态下，由于转速、负载等工况变化，信号波形差异巨大；
- 不同健康状态下，在某些工况下信号特征可能高度相似，极易误判。
传统深度学习方法（如CNN、ResNet）通常采用固定激活函数（如ReLU、PReLU），对所有输入信号施加相同的非线性变换。这种“一刀切”的方式限制了模型对判别性特征的学习能力，导致：
- 同类信号无法映射到相近区域；
- 异类信号可能被错误地映射到邻近区域。
图1：(a) 传统深度神经网络中所有信号共享相同的非线性变换；(b) 本文提出的ResNet-APReLU为每个信号学习专属的非线性变换
二、核心创新：APReLU激活函数
为解决上述问题，作者提出了一种新型激活函数——自适应参数化整流线性单元（Adaptively Parametric Rectifier Linear Units, APReLU）。
2.1 设计思想
APReLU的核心思想是：让激活函数的斜率参数随输入信号动态调整。具体实现方式是在激活函数内部嵌入一个轻量级子网络，该子网络根据输入信号的全局正负特征信息，自适应地计算出最优斜率系数。
2.2 架构详解
如图2(a)所示，APReLU的处理流程包括：
-
双路径特征提取：
- 正特征路径：通过ReLU + 全局平均池化（GAP）提取正向特征全局信息；
- 负特征路径：通过min(x,0) + GAP提取负向特征全局信息。
-
特征融合与斜率预测：
- 将两条路径的输出拼接，送入一个包含全连接层、BN、ReLU、Sigmoid的计算路径；
- 输出范围为(0,1)的斜率系数α，用于后续非线性变换。
-
自适应非线性变换：
- 应用公式：$ y = max(x, 0) + alpha cdot min(x, 0) $
- 其中α由子网络根据当前输入信号动态生成。
图2：(a) APReLU内部结构，通过子网络自适应学习斜率；(b) 新型ResBlock，用APReLU替代传统ReLU；(c) ResNet-APReLU整体架构
2.3 嵌入残差网络
作者将APReLU无缝嵌入到经典ResNet架构中，构建了ResNet-APReLU模型：
-
每个残差块（ResBlock）包含两个APReLU，实现两级自适应非线性变换；
-
保留恒等快捷连接（identity shortcut），确保深层网络易于训练；
-
无需修改其他组件，即可即插即用。
三、实验验证：行星齿轮箱故障诊断
3.1 实验设置
- 数据集：自建行星齿轮箱振动信号数据集，涵盖8种健康状态（1种正常 + 7种故障）；
- 工况覆盖：3种转速 × 3种负载，每种状态1800个样本；
- 噪声鲁棒性测试：添加信噪比（SNR）为5dB、3dB、1dB的高斯白噪声；
- 对比方法：传统激活函数（Sigmoid、Tanh、ReLU、LReLU、PReLU）+ ConvNetResNet架构。
图3：用于采集振动信号的传动动力学模拟器，包含电机、两级行星齿轮箱、固定轴齿轮箱和可编程磁粉制动器。
3.2 主要结果
准确率对比
模型架构 最佳激活函数 平均测试准确率
ConvNet APReLU 92.68%
ResNet APReLU 97.51%
-
ResNet-APReLU相比ResNet-ReLU提升5.27%，相比ResNet-PReLU提升3.98%；
-
在低信噪比（SNR=1dB）条件下，仍保持95%以上准确率，展现强大鲁棒性。
特征可视化分析
通过t-SNE降维可视化最终特征空间分布：
图4：在SNR=5dB条件下，(d) ConvNet-APReLU使各类故障状态更好分离，尤其是B2故障在其他方法中不可分。
图5：ResNet-APReLU几乎完全分离所有健康状态，而传统方法存在严重重叠。
斜率自适应性的实证
表7展示了不同输入信号对应的负向斜率值：
信号编号 LReLU斜率 PReLU斜率 APReLU斜率
Signal 1 0.1 0.495 0.321
Signal 2 0.1 0.495 0.687
Signal 3 0.1 0.495 0.154
可见，APReLU为每个信号学习不同的斜率，真正实现了“个性化”非线性变换。
四、优势与前景
4.1 核心优势
- 自适应性强：根据输入信号动态调整激活函数参数，适应复杂工况；
- 判别性高：显著提升类内紧凑性与类间可分性；
- 即插即用：可无缝嵌入现有ResNet、CNN等架构，无需大规模重构；
- 鲁棒性好：在强噪声环境下仍保持高精度。
4.2 应用前景
- 工业设备智能运维：适用于风机、机床、轨道交通等关键设备的在线故障诊断；
- 迁移学习扩展：可结合域自适应技术，应对非平稳工况下的跨域诊断；
- 通用深度学习增强：不仅限于故障诊断，也可应用于图像分类、语音识别等领域。
原文信息
- 文章标题：Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis
- 期刊名称：IEEE Transactions on Industrial Electronics
- 文章链接：https://ieeexplore.ieee.org/document/8998530
- DOI：10.1109/TIE.2020.2972458