YOLO26改进 - 注意力机制 | S2Attention稀疏分片注意力：多头协同覆盖全局上下文，增强小目标与长程特征捕获

前言

本文介绍了改进的空间移位MLP视觉骨干网络S2-MLPv2及其在YOLO26中的结合应用。S2-MLPv2在通道维度扩展特征图，进行分割和不同的空间移位操作，并利用分割注意力操作融合特征。分割注意力模块先计算特征图平均值，再通过MLP生成注意力权重，最后生成注意力特征图。我们将S2Attention模块集成进YOLO26，替换部分原有模块。

文章目录： YOLO26改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLO26改进专栏

介绍

摘要

近年来，基于多层感知机（MLP）的视觉骨干网络架构逐渐兴起。相较于传统卷积神经网络（CNN）与视觉Transformer架构，具有较少归纳偏置的MLP结构在图像识别任务中展现出显著竞争力。其中，采用直接空间移位操作的空间移位MLP（S2-MLP）在性能表现上超越了包括MLP-mixer和ResMLP在内的早期研究成果。然而，最新研究表明，通过采用较小尺度图像块与金字塔结构设计的Vision Permutator（ViP）及全局滤波网络（GFNet）在性能指标上已超越S2-MLP架构。针对这一技术发展趋势，本文对S2-MLP视觉骨干网络进行了系统性改进：首先在通道维度上扩展特征图谱，并将扩展后的特征图谱分割为多个子部分，对各子部分实施差异化空间移位操作；同时引入分割注意力机制以实现各子部分的有效融合；此外，借鉴先进方法采用较小尺度图像块并结合金字塔结构设计以提升图像识别精度。改进后的空间移位MLP视觉骨干网络被命名为S2-MLPv2。实验结果表明，参数量为55M的中型模型S2-MLPv2-Medium在ImageNet-1K基准测试中，使用224×224分辨率输入图像，在不依赖自注意力机制及外部训练数据的条件下，实现了83.6%的Top-1分类准确率。

文章链接

论文地址：