YOLO11语义分割注意力机制改进：全网首发--使用对比驱动特征聚合增强多尺度差异建模（方案3）

1. 工程简介 🚀

本工程基于 Ultralytics 框架扩展，面向语义分割与 YOLO 系列模型改进实验。核心特点是通过切换yaml配置文件，即可快速完成不同网络结构的训练、对比与验证，无需为每个模型单独编写训练脚本。

当前已支持的主要模型家族 🧩

• 语义分割模型：UNet、UNet++、DeepLabV3+、DPT、FPN、PSPNet、MAnet、PAN、Linknet、UPerNet、Segformer
• YOLO 系列模型：YOLOv8、YOLOv10、YOLO11、YOLO12、YOLO26

2. 本工程的优势 ✨

只需替换ultralytics/cfg/models/...下的模型yaml，就可以在相同数据集、相同训练入口、相同评估流程下完成不同结构的对比实验。

本框架最大的特点，是支持通过切换 YAML 快速完成不同结构的对比实验。

3. 模块信息卡片 🧾

4. 论文介绍 📚

4.1 文章地址 🔗

更匹配当前实现的论文地址：http://arxiv.org/abs/2412.08345

源码中同时保留的另一个链接：https://arxiv.org/pdf/2407.19768

4.2 论文简介 🧠

📌 更匹配当前实现的论文：ConDSeg: A General Medical Image Segmentation Framework via Contrast-Driven Feature Enhancement。

这篇论文的核心价值，在于它不是单纯增强某一层特征，而是从“前景、背景以及两者差异关系”出发重新组织特征增强过程。作者认为，低对比度分割的关键不是盲目加强响应，而是让网络更稳定地学习到哪些特征真正有助于区分目标与背景，哪些只是共现噪声。

为此，论文通过对比驱动的特征增强与聚合机制，把前景与背景差异显式纳入建模过程，使网络在复杂和低对比度场景下仍能保持更清晰的目标响应。这种思想对需要边界细节和区域判别力的语义分割任务很有启发性。

⚠️ 说明：本地源码中同时存在两个论文链接，但当前ContrastDrivenFeatureAggregation的实现更符合ConDSeg这一路线，而不是另一个链接所对应的任务背景。因此本文明确按更匹配的论文来介绍，并保留不一致说明，避免误导。

4.3 模块核心思想 ✨

• 该模块适合在多个尺度节点重复使用，对不同阶段的前景/背景差异做持续增强。
• 当它被放进整条多尺度传播链路后，更适合观察累计增强效果。
• 在本工程里，这种设计天然适合做结构消融与接入位置对比。

5. 改进步骤 🛠️

步骤1：定位并加入原始模块代码 📦

这一步先确认ContrastDrivenFeatureAggregation的原始实现位置，再把对应代码加入当前工程，作为后续模块导入、tasks.py注册和 YAML 调用的基础。

• 原始代码位置：ultralytics/nn/extra_modules/attention/CDFA.py
• 当前模块类别：attention
• 本步骤作用：将对比驱动特征聚合模块加入注意力模块目录，供 YOLO11 语义分割结构直接调用

importos,sys sys.path.append(os.path.dirname(os.path.abspath(__file__))+'/../../../..')importwarnings warnings.filterwarnings('ignore')fromcalflopsimportcalculate_flopsimporttorch,mathimporttorch.nnasnnimporttorch.nn.functionalasFfromultralytics.nn.modules.convimportConvclassHaarWaveletConv(nn.Module):def__init__(self,in_channels,grad=False):super(HaarWaveletConv,self).__init__()self.in_channels=in_channels self.haar_weights=torch.ones(4,1,2,2)self.haar_weights[1,0,0,1]=-1self.haar_weights[1,0,1,1]=-1self.haar_weights[2,0,1,0]=-1self.haar_weights[2,0,1,1]=-1self.haar_weights[3,0,1,0]=-1self.haar_weights[3,0,0,1]=-1self.haar_weights=torch.cat([self.haar_weights]*self.in_channels,0)self.haar_weights=nn.Parameter(self.haar_weights)self.haar_weights.requires_grad=graddefforward(self,x):B,_,H,W=x.size()x=F.pad(x,[0,1,0,1],value=0)out=F.conv2d(x,self.haar_weights,bias=None,stride=1,groups=self.in_channels)/4.0out=out.reshape([B,self.in_channels,4,H,W])out=torch.transpose(out,1,2)out=out.reshape([B,self.in_channels*4,H,W])a,h,v,d=out.chunk(4,1)returna,h+v+dclassContrastDrivenFeatureAggregation(nn.Module):def__init__(self,dim,num_heads=8,kernel_size=3,padding=1,stride=1,attn_drop=0.,proj_drop=0.):super().__init__()self.dim=dim self.num_heads=num_heads self.kernel_size=kernel_size self.padding=padding self.stride=stride self.head_dim=dim//num_heads self.scale=self.head_dim**-0.5self.wavelet=HaarWaveletConv(dim)self.v=nn.Linear(dim,dim)self.attn_fg=nn.Linear(dim,kernel_size**4*num_heads)self.attn_bg=nn.Linear(dim,kernel_size**4*num_heads)self.attn_drop=nn.Dropout(attn_drop)self.proj=nn.Linear(dim,dim)self.proj_drop=nn.Dropout(proj_drop)self.unfold=nn.Unfold(kernel_size=kernel_size,padding=padding,stride=stride)self.pool=nn.AvgPool2d(kernel_size=stride,stride=stride,ceil_mode=True)self.input_cbr=nn.Sequential(Conv(dim,dim,3),Conv(dim,dim,3))self.output_cbr=nn.Sequential(Conv(dim,dim,3),Conv(dim,dim,3))defforward(self,x):x=self.input_cbr(x)bg,fg=self.wavelet(x)x=x.permute(0,2,3,1)fg=fg.permute(0,2,3,1)bg=bg.permute(0,2,3,1)B,H,W,C=x.shape v=self.v(x).permute(0,3,1,2)v_unfolded=self.unfold(v).reshape(B,self.num_heads,self.head_dim,self.kernel_size*self.kernel_size,-1).permute(0,1,4,3,2)attn_fg=self.compute_attention(fg,B,H,W,C,'fg')x_weighted_fg=self.apply_attention(attn_fg,v_unfolded,B,H,W,C)v_unfolded_bg=self.unfold(x_weighted_fg.permute(0,3,1,2)).reshape(B,self.num_heads,self.head_dim,self.kernel_size*self.kernel_size,-1).permute(0,1,4,3,2)attn_bg=self.compute_attention(bg,B,H,W,C,'bg')x_weighted_bg=self.apply_attention(attn_bg,v_unfolded_bg,B,H,W,C)x_weighted_bg=x_weighted_bg.permute(0,3,1,2)out=self.output_cbr(x_weighted_bg)returnoutdefcompute_attention(self,feature_map,B,H,W,C,feature_type):attn_layer=self.attn_fgiffeature_type=='fg'elseself.attn_bg h,w=math.ceil(H/self.stride),math.ceil(W/self.stride)feature_map_pooled=self.pool(feature_map.permute(0,3,1,2)).permute(0,2,3,1)attn=attn_layer(feature_map_pooled).reshape(B,h*w,self.num_heads,self.kernel_size*self.kernel_size,self.kernel_size*self.kernel_size).permute(0,2,1,3,4)attn=attn*self.scale attn=F.softmax(attn,dim=-1)attn=self.attn_drop(attn)returnattndefapply_attention(self,attn,v,B,H,W,C):x_weighted=(attn @ v).permute(0,1,4,3,2).reshape(B,self.dim*self.kernel_size*self.kernel_size,-1)x_weighted=F.fold(x_weighted,output_size=(H,W),kernel_size=self.kernel_size,padding=self.padding,stride=self.stride)x_weighted=self.proj(x_weighted.permute(0,2,3,1))x_weighted=self.proj_drop(x_weighted)returnx_weighted

步骤2：在聚合导出文件中导入模块 🧩

需要在ultralytics/nn/extra_modules/__init__.py中补充导入，让后续模块注册和 YAML 解析都能正确识别ContrastDrivenFeatureAggregation。

from.attention.CDFAimportContrastDrivenFeatureAggregation

步骤3：在ultralytics/nn/tasks.py中注册模块 ⚙️

需要把该模块加入注意力模块注册集合，这样parse_model()在解析 YAML 时，才能正确实例化ContrastDrivenFeatureAggregation。

attention_modules=frozenset({extra_modules.ACA,extra_modules.ACAB,extra_modules.CoordAtt,extra_modules.CASAB,extra_modules.ContrastDrivenFeatureAggregation,extra_modules.DeformableLKA,extra_modules.DHPF,extra_modules.EMA,extra_modules.FSA,extra_modules.KSFA,extra_modules.LSKBlock,extra_modules.MCA,extra_modules.MLCA,extra_modules.MultiSEAM,extra_modules.SimAM,})

步骤4：新增或修改 YAML 配置文件 📄

当前方案对应的 YAML 位于ultralytics/cfg/models/improve/attention/yolo11/目录下。方案3的特点，是在P4、P3、回流P4与P5多个节点都插入ContrastDrivenFeatureAggregation，属于更激进的多层注入方式，适合验证该模块在整条多尺度传播链上的累计增强作用。

# Ultralytics AGPL-3.0 License - https://ultralytics.com/license# Ultralytics YOLO11 object detection model with P3/8 - P5/32 outputs# Model docs: https://docs.ultralytics.com/models/yolo11# Task docs: https://docs.ultralytics.com/tasks/detect# Parametersnc:80# number of classesscales:# model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'# [depth, width, max_channels]n:[0.50,0.25,1024]# summary: 181 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPss:[0.50,0.50,1024]# summary: 181 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPsm:[0.50,1.00,512]# summary: 231 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPsl:[1.00,1.00,512]# summary: 357 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPsx:[1.00,1.50,512]# summary: 357 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs# YOLO11n backbonebackbone:# [from, repeats, module, args]-[-1,1,Conv,[64,3,2]]# 0-P1/2-[-1,1,Conv,[128,3,2]]# 1-P2/4-[-1,2,C3k2,[256,False,0.25]]# 2-P2/4-[-1,1,Conv,[256,3,2]]# 3-P3/8-[-1,2,C3k2,[512,False,0.25]]# 4-P3/8-[-1,1,Conv,[512,3,2]]# 5-P4/16-[-1,2,C3k2,[512,True]]# 6-P4/16-[-1,1,Conv,[1024,3,2]]# 7-P5/32-[-1,2,C3k2,[1024,True]]# 8-P5/32-[-1,1,SPPF,[1024,5]]# 9-P5/32-[-1,2,C2PSA,[1024]]# 10-P5/32# YOLO11n headhead:-[-1,1,nn.Upsample,[None,2,"nearest"]]# 11-P4/16-[[-1,6],1,Concat,[1]]# 12-P4/16-[-1,1,ContrastDrivenFeatureAggregation,[]]# 13-P4/16-[-1,2,C3k2,[512,False]]# 14-P4/16-[-1,1,nn.Upsample,[None,2,"nearest"]]# 15-P3/8-[[-1,4],1,Concat,[1]]# 16-P3/8-[-1,1,ContrastDrivenFeatureAggregation,[]]# 17-P3/8-[-1,2,C3k2,[256,False]]# 18-P3/8-[-1,1,Conv,[256,3,2]]# 19-P4/16-[[-1,14],1,Concat,[1]]# 20-P4/16-[-1,1,ContrastDrivenFeatureAggregation,[]]# 21-P4/16-[-1,2,C3k2,[512,False]]# 22-P4/16-[-1,1,Conv,[512,3,2]]# 23-P5/32-[[-1,10],1,Concat,[1]]# 24-P5/32-[-1,1,ContrastDrivenFeatureAggregation,[]]# 25-P5/32-[-1,2,C3k2,[1024,True]]# 26-P5/32-[[18,22,26],1,SemanticSegmentHead,[nc]]# SemanticSegmentHead(P3, P4, P5)

步骤5：开始训练 🚀

# -*- coding: utf-8 -*-""" @Auth ：AICurator @File ：train.py """importwarnings warnings.filterwarnings('ignore')fromultralyticsimportYOLOif__name__=='__main__':model=YOLO(model=r'G:\improve\segment\ultralytics-main\ultralytics\cfg\models\improve\attention\yolo11\yolo11-ContrastDrivenFeatureAggregation-3.yaml')# model.load('')model.train(data=r'dataset\data.yaml',imgsz=640,epochs=50,batch=4,workers=0,device='0',optimizer='SGD',close_mosaic=10,resume=False,project='runs/train',name='exp',single_cls=False,cache=False,)

6. 总结 🎯

这份文档对应的是yolo11-ContrastDrivenFeatureAggregation-3这套配置，重点是通过多层多点插入对比驱动特征聚合模块，系统评估其对多尺度差异建模链路的增强作用。你可以直接切换 YAML，把它和方案1、方案2放到同一训练入口下做结构消融与横向对比。

订阅专栏后添加博主微信，领取完整代码 📮