【YOLOV26】第2章 目标检测基础回顾 2.3 注意力机制在检测中的应用

目录

2.3.1 通道注意力（SE、ECA）与空间注意力的局限性

2.3.2 自注意力机制的计算复杂度瓶颈

2.3.3 YOLO26中注意力机制的轻量化改进方向

第二部分：结构化伪代码讲解

算法1：通道注意力机制（SE与ECA）

算法2：位置敏感注意力（PSA）

算法3：区域注意力（Area Attention）

第三部分：Python代码实现

脚本1：2.3.1_channel_spatial_attention_limitations.py

脚本2：2.3.2_self_attention_complexity.py

脚本3：2.3.3_yolo26_lightweight_attention.py

2.3.1 通道注意力（SE、ECA）与空间注意力的局限性

通道注意力机制通过建模特征通道间的依赖关系实现自适应特征重标定。Squeeze-and-Excitation(SE)模块首先通过全局平均池化压缩空间维度，将每个通道编码为标量统计量，随后通过两个全连接层构成的瓶颈结构学习通道间的非线性交互，最终通过sigmoid函数生成归一化的通道权重。该过程的数学表达为通道描述子 $z_c$ 的生成与重加权：

$$z_c = \frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} x_c(i,j)$$

$$s = \sigma(W_2 \text{ReLU}(W_1 z))$$

其中 $W_1 \in \mathbb{R}^{\frac{C}{r