当前位置：首页 > news >正文

从频域视角重构空洞卷机

news 2026/5/12 0:29:55

CVPR FADC：从频域视角重构空洞卷积！

论文原文：https://arxiv.org/abs/2403.05369
代码：https://github.com/ying-fu/FADC
即插即用代码仓库：https://github.com/AITricks/AITricks
《Frequency-Adaptive Dilated Convolution》，专门解决语义分割中空洞卷积（Dilated Conv）两大痛点：网格伪影和高频丢失。从“频域”入手，效果拔群！
1️⃣ 核心痛点：空洞卷积的“硬伤”
空洞卷积虽然能扩大感受野，但因为采样点不连续，就像用筛子看世界：
网格效应：特征图会出现棋盘格一样的黑洞，导致信息断层。
高频丢失：因为采样太稀疏，物体边缘、纹理这些“高频细节”根本抓不住，分割出来边缘毛毛糙糙。
2️⃣ FADC：频率自适应，按需分配
为了解决这个问题，作者提出了 FADC：
原理：不像传统方法那样全图用一样的膨胀率，而是看人下菜碟。
机制：在边缘/纹理（高频区域），自动缩小膨胀率，密集采样保细节；在平滑背景（低频区域），自动增大膨胀率，稀疏采样抓上下文。
3️⃣ AdaKern：卷积核也能“分频”
普通的卷积核是固定的，容易“偏科”（通常偏向低频）。AdaKern 把它拆解了：
低频分量：负责平滑去噪。
高频分量：负责锐化边缘。
动态重组：根据输入特征，自动调整这两个分量的比例。想抓纹理就多加高频，想去噪就多加低频。
4️⃣ FreqSelect：特征去噪“滤网”
空洞卷积容易产生混叠噪声。FreqSelect 就像一个智能滤镜，它能识别出哪些高频信号是有用的边缘，哪些是讨厌的噪声，然后精准抑制噪声，让特征图更纯净。
5️⃣ 实验结果：涨点实锤
这套“频域组合拳”效果相当能打：
定量指标：在 ADE20K 数据集上，给 DeepLabV3+ 装上 FADC 后，mIoU 直接提升了 1.2% - 1.8%！这在分割领域可是巨大的提升。
视觉效果：看对比图，不仅“网格效应”完全消失了，而且细小物体的边缘切得非常锐利，不再断断续续。
总结：这篇论文的 FADC、AdaKern 都是非常优秀的即插即用模块，特别适合替换 DeepLab、ResNet 里的空洞卷积层，做分割、去噪的同学赶紧试试！
#计算机视觉 #科研 #深度学习 #深度学习与神经网络 #科研日常 #大模型 #频域 #语义分割 #论文 #科研学习