ResNet + 全注意力机制（Fully Attention）改进方案

ResNet + 全注意力机制（Fully Attention）改进方案

一、为什么要引入全注意力？

传统的ResNet50虽然通过残差连接解决了深层网络的梯度消失问题，但其卷积核的感受野有限，且对所有通道和空间位置一视同仁。这导致了一个问题：网络无法动态聚焦于真正重要的特征。

在实际图像分类任务中，不同通道包含不同语义信息（如边缘、纹理、物体部件），不同空间位置的重要性也截然不同。例如，识别一只猫时，头部和躯干的特征远比背景重要。传统CNN缺乏这种“选择性关注”的能力。

二、全注意力机制的创新设计

本文提出的全注意力（Fully Attention）模块，同时从通道维度和空间维度对特征进行自适应加权，使网络能够：

• 知道该看什么（通道注意力：哪些特征图更重要）
• 知道该看哪里（空间注意力：图像的哪些区域更重要）

2.1 通道注意力模块（Channel Attention）

通道注意力的核心思想是：每个通道相当于一个“特征检测器”，不同通道对最终分类的贡献不同。

实现细节：

• 使用平均池