即插即用系列（代码实践） | ECCV 2024 SMFANet：轻量级图像超分新SOTA，自调制特征聚合网络详解

论文题目：SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Super-Resolution

中文题目：SMFANet：用于高效图像超分辨率的轻量级自调制特征聚合网络
论文出处：2025 最新视觉复原论文 (南京理工大学)

论文原文 (Paper)：https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06713.pdf
代码 (code)：https://github.com/Zheng-MJ/SMFANet

摘要：
本文提取自 2025 年最新轻量级图像超分辨率论文《SMFANet》。在底层视觉复原任务中，基于 Transformer 的自注意力机制（Self-Attention）虽然性能强悍，但其点积运算的庞大算力开销直接劝退了移动端设备；此外，自注意力的“低通滤波器”物理特性会导致重建出的图像边缘过度平滑、缺乏局部高频纹理。本文复现了该网络的核心架构——SMFA 与 PCFN。该方案创造性地用极其轻量的“自调制（Self-Modulation）”机制逼近了自注意力的非局部感知能力，并辅以局部细节补偿。它是替换传统 ViT 模块或重型 CNN 模块，在算力吃紧的设备上榨干最后一丝精度的即插即用利器！

第一部分：模块原理与实战分析

1. 论文背景与解决的痛点

在图像超分辨率（SR）或画质增强任务中，我们既要“看清全局”，又要“雕刻细节”。现有的网络面临着极其矛盾的痛点：

• Self-Attention 的算力灾难：标准的 Transformer 需要计算全图 Token 之间的相似度矩阵（O ( N 2 ) O(N^2)O(N