机械设备在运行初期往往伴随着微弱的故障迹象，由于这些信号极易被背景噪声淹没且传输路径较长，如何准确诊断早期微弱故障一直是一项具有挑战性的任务。为此，研究人员发表了题为“Deep exponential excitation networks: toward stronger attention mechanism for weak fault diagnosis”（深度指数激励网络：面向弱故障诊断的更强注意力机制）的学术论文。该研究针对传统深度学习方法提取微弱故障特征困难的问题，提出了一种新型深度注意力网络，致力于通过更具针对性的特征放大来提升早期故障的诊断精度。
传统的注意力机制（如挤压-激励网络SENet）通常采用Sigmoid函数来获取通道权重，这导致权重范围被严格限制在零到一之间。在面临微弱故障信号时，这种限制使得网络无法对捕获到的关键特征进行大尺度的快速放大。为了克服这一限制，该研究提出了指数激励块（EEB）的设计，通过在注意力机制中嵌入指数函数作为激励层，赋予了网络生成更大通道权重和更宽权重范围的能力，从而在数据流过网络时能够更积极地突出那些潜在的异常特征。
深度指数激励网络（DEEN）的核心模块是指数激励块。该模块在输入特征图后，首先通过全局平均池化层对空间信息进行挤压，提取出能够代表通道特性的描述符。然后，这些描述符通过一个双层全连接网络及整流线性单元进行通道间相关性的学习。紧接着，网络使用特定的缩放器对这些相关性特征进行约束，并通过指数激励操作计算出最终的自适应通道权重。最后，这些权重与原始输入特征图进行逐通道相乘，并在模块末端通过恒等快捷连接与原输入相加，以此完成特征的强化重构。
为了探索不同数学形式对特征放大效果的影响，该研究精心设计了三种不同的指数激励范式，分别为双曲正切加指数（Tanh + exp）、双曲正切绝对值加指数（|Tanh| + exp）以及逻辑斯蒂加指数（Sigmoid + exp）。这些不同的缩放器与指数函数的结合，可以提供相比传统注意力机制更宽的权重范围，例如部分范式可将权重范围拓宽至一到自然常数，或将权重跨度扩大至两倍以上。这种更强的灵活性使网络能够自适应地根据故障的严重程度调节特征的增益程度，增强了正常状态与微弱故障之间的可区分性。
在整体网络构建中，DEEN采用了多级堆叠指数激励块的架构。这种堆叠设计使得对重要特征的放大效应能够随着网络层数的加深而逐步累积，确保提取到的高级深层特征具有更强的区分度。在训练和优化阶段，该网络充分利用了恒等快捷连接的优势，有效缓解了深层神经网络中常见的梯度消失问题，使得端到端的参数优化过程更加平稳。在网络末端，经过多轮激励后的特征图通过全局平均池化以及全连接层，最后输出用于故障类型和严重程度分类的概率结果。
论文在不同信噪比下的船用柴油机故障数据集上进行了广泛的实验。结果表明，在背景噪声较大的低信噪比环境下，深度指数激励网络展现出了较为稳健的诊断性能，减少了正常状态与初期微弱故障之间的混淆。这一研究不仅为机械装备的早期故障诊断提供了一种思路，也展现了指数注意力机制在处理含有强噪声干扰的工业数据分类任务中的应用潜力。
原始文献：
Deep Exponential Excitation Networks: Towards Stronger Attention Mechanism for Weak Fault Diagnosis（深度指数激励网络：一种用于微弱故障诊断的更强注意力机制）[J]. Structural Health Monitoring, 2024, 23(6): 3850-3866.
https://journals.sagepub.com/doi/abs/10.1177/14759217231217936