064、YOLOv11改进-AFPN渐进式特征金字塔替换PAN-FPN即插即用涨点方案

064、YOLOv11改进-AFPN渐进式特征金字塔替换PAN-FPN即插即用涨点方案

从一次深夜调试说起

上周三凌晨两点，我盯着tensorboard上那条死活不涨的mAP曲线，差点把咖啡泼到键盘上。YOLOv11跑VisDrone数据集，小目标检测mAP卡在34.5%已经三天了。换backbone、调anchor、改loss，能试的都试了，就是不动。直到我翻出半年前做遥感检测时用过的AFPN（Asymptotic Feature Pyramid Network），抱着死马当活马医的心态替换了PAN-FPN——第二天早上醒来，mAP直接跳到37.8%。这个3.3个点的提升让我意识到，特征金字塔这个看似成熟的结构，其实还有很大的优化空间。

PAN-FPN到底哪里不对劲

YOLOv11默认的PAN-FPN结构，说白了就是FPN的"双向版本"——自顶向下传递语义信息，自底向上传递位置信息。这个设计在COCO这种通用数据集上表现不错，但遇到小目标密集的场景就开始拉胯。

问题出在特征融合的方式上。PAN-FPN每一层都在做"一次性融合"：把不同尺度的特征图resize到相同尺寸，然后直接相加或拼接。这种操作隐含了一个假设——不同层级的特征在空间位置上已经对齐了。但实际训练中，浅层的边缘纹理信息和深层的语义信息天然存在"语义鸿沟"，强行对齐会导致信息相互抵消。

我做过一个实验：把PAN-FPN各层输出的特征图可视化，发现高层特征经过上采样后，边缘变得模糊，和底层特征叠加时反而"污染"了底层的位置信息。这就像把高清照片和打了马赛克的照