多模态与频域
WaveFusion: A Novel Wavelet Vision Transformer With Saliency-Guided Enhancement for Multimodal Image Fusion
2025年IEEE发表的一篇多模态图像融合方向的创新工作，结合了小波变换（Wavelet）、Vision Transformer（ViT） 和 显著性引导增强（Saliency-Guided Enhancement） 三大核心技术，旨在解决传统融合方法在细节丢失、伪影、模态不平衡等问题上的局限。
🔍 一、研究背景与问题
📌 多模态图像融合任务
- 输入：如红外（IR）+可见光（VIS）、PET+CT、SAR+光学等。
- 目标：生成一张信息丰富、细节清晰、模态互补的融合图像。
- 挑战：
- 不同模态空间分辨率/对比度差异大
- 传统CNN方法局部感受野有限，难以建模长程依赖
- 融合结果容易模糊、失真、边缘不清晰
🧠 二、WaveFusion核心创新点
模块 功能 创新点
Wavelet Decomposition 将图像分解为低频（结构）+高频（细节） 避免ViT直接处理全图带来的计算冗余
Saliency-Guided Enhancement 用显著性图指导融合权重分配 解决模态不平衡问题（如红外目标突出但背景弱）
Wavelet Vision Transformer（WVT） 在小波域中建模跨模态长程依赖 首次将ViT引入小波子带融合
Dual-Branch Fusion Strategy 分别处理低频（结构）与高频（纹理） 实现结构保留+细节增强的协同优化
🏗️ 三、网络结构概览
Input: IR + VIS ↓ Wavelet Decomposition（DWT） ↓ ┌──────────────┬──────────────┐ │ Low-Freq │ High-Freq │ ← 双分支处理 │ (LL) │ (LH/HL/HH) │ └──────────────┴──────────────┘ ↓ ↓ Saliency-Guided Saliency-Guided Enhancement Enhancement ↓ ↓ Wavelet Vision Wavelet Vision Transformer Transformer ↓ ↓ Cross-Modal Fusion + Attention ↓ Inverse DWT（IDWT） ↓ Output: Fused Image🧪 四、实验结果（摘要）
数据集 指标 WaveFusion vs SOTA
MSRS（红外+可见光） Qabf↑ 0.85 vs 0.79（SwinFusion）
TNO SSIM↑ 0.92 vs 0.88（U2Fusion）
RoadScene VIF↑ 1.12 vs 0.98（DeFusion）
✅ 结论：在主观视觉质量与客观指标上均优于现有Transformer+CNN方法，尤其在边缘清晰、目标突出、背景自然方面表现突出。
📸 五、可视化效果（文字描述）
- 红外图像：目标亮但背景模糊
- 可见光图像：背景清晰但目标弱
- WaveFusion融合结果：
- 目标轮廓清晰（红外优势）
- 纹理细节丰富（可见光优势）
- 无伪影、无过曝、无模糊边缘
📁 六、代码与复现
官方GitHub：
🔗 https://github.com/fd-qhwang/WaveFusion
✅ 已开源（PyTorch实现，含预训练模型与测试脚本）
支持任务：
- 红外+可见光融合
- 医学图像融合（PET+CT）
- 可扩展至任意双模态
✅ 七、总结一句话
WaveFusion首次将小波变换与Vision Transformer深度融合，并通过显著性引导机制解决模态不平衡问题，在多模态图像融合任务中实现了结构保留与细节增强的双重突破，是当前Transformer+融合领域的强有力基线。