IVIF文献阅读笔记：RXDNFuse: A aggregated residual dense network for infrared and visible image fusion
目录
1、题目
2、文献信息
3、动机
4、主要工作
1）提出全新网络架构：
2）设计混合损失函数：
3）广泛验证和拓展应用场景：
5、核心创新点
1）无监督的端到端架构：
2）网络架构创新：
3）训练策略创新：
4）应用扩展创新：
6、网络结构
1）方法流程图
2）网络结构
a、基础特征提取网络(BFEnet)：
b、聚合残差密集块(RXDBs)：
c、全局特征融合(GFF)：
d、重建块网络(RBnet)：
7、损失函数
1）总损失函数
a、结构损失(Lstructure)：
b、强度损失(Lintensity):
c、正参数𝛼：
2）损失函数的两种计算策略
a、像素级策略
b、特征级策略
8、应用
1）RGB图像应用
2）不同分辨率的图像应用
1、题目
“RXDNFuse: A aggregated residual dense network for infrared and visible image fusion”
《RXDNFuse:一种用于红外与可见光图像融合的聚合残差密集网络》
2、文献信息
作者：YongzhiLong,HaitaoJia∗, Yida Zhong,YadongJiang,YumingJia
出处：Information Fusion , 69( 2021) : 128-141
IF:15.5 JCR分区：Q1新锐分区：计算机科学1区
链接：RXDNFuse: A aggregated residual dense network for infrared and visible image fusion - ScienceDirect
3、动机
传统方法人工设计规则复杂且易引入伪影；现有CNN方法特征利用不充分，损失大量有用信息且计算复杂度高
4、主要工作
1）提出全新网络架构：
提出了一种名为RXDNFuse的无监督端到端网络，该网络主要由基础特征提取网络、聚合残差密集块、全局特征融合和重建块网络四部分组成，可自动提取层次化特征
2）设计混合损失函数：
针对融合图像缺乏“真值”的问题，设计了包含像素级策略和特征级策略的混合损失函数，以指导网络训练
3）广泛验证和拓展应用场景：
在多个数据集上验证并与5种最先进的方法比较，证明了该方法在视觉效果和客观指标上的优越性。将RXDNFuse成功推广到了RGB彩色尺度图像的融合和不同空间分辨率的图像融合任务
5、核心创新点
1）无监督的端到端架构：
靠深度学习网络自动完成信息的评估、特征提取与融合
2）网络架构创新：
提出聚合残差密集块（RXDB），结合ResNeXt的多分支结构与DenseNet的密集连接，在降低计算量的同时实现了层次化特征的充分复用。
3）训练策略创新：
设计像素级与特征级相结合的混合损失函数，引入VGG-19深层特征约束，有效解决了无监督训练下纹理细节保留不足的问题。
4）应用扩展创新：
RGB和补贴分辨率应用证明该方法具备广泛的适用场景与鲁棒性。
6、网络结构
1）方法流程图
2）网络结构
a、基础特征提取网络(BFEnet)：
从拼接的红外与可见光输入图像中提取浅层基础特征，特征通道数依次为128和64
b、聚合残差密集块(RXDBs)：
负责提取多层级深层特征，整体网络级联了6个通道数为64的RXDB模块，单个RXDB采用多分支结构，内部结合了密集连接与残差连接，特征在各分支处理后进行拼接，再通过1×1卷积处理并引入局部残差连接输出
c、全局特征融合(GFF)：
整合所有提取到的多尺度特征，首先将6个RXDB的输出进行拼接（C操作，通道数增至64×6）并降维至64通道；然后将BFEnet提取的浅层特征与深层特征进行全局残差相加（+操作）
d、重建块网络(RBnet)：
从融合后的全局特征中重建输出最终的融合图像If,通道数依次为64、32和1
7、损失函数
1）总损失函数
a、结构损失(Lstructure)：
用于保持Ir和Iv与If之间的结构相似性，目的是保留源图像中丰富的纹理细节
b、强度损失(Lintensity):
用于约束融合图像，使其保持与源图像相似的像素强度分布(即亮度信息，特别是红外图像中的热辐射目标)
c、正参数𝛼：
控制这两种损失之间的权重平衡
2）损失函数的两种计算策略
a、像素级策略
提供像素级别的粗略信息损失
- 结构损失计算：采用结构相似性指数(SSIM)来衡量
强度损失计算：采用Frobenius范数(矩阵的F范数)来计算图像像素值之间的直接差异
像素级策略的示意图
b、特征级策略
引入了一个预训练的VGG-19网络作为特征提取器在深度特征空间中约束图像相似性(即感知损失)
网络的输入与特征提取:
将Ir、Iv和If复制为三通道并输入到归一化的VGG-19中，选取最大池化层之前的卷积层特征图进行损失计算，浅层特征保留纹理和形状细节，深层特征保留内容和空间结构
结构损失计算：
结构相似性约束问题被转化为梯度信息的维护问题。利用梯度算子计算特征图的梯度差异
强度损失计算:
直接计算VGG-19提取出的各层特征图（Feature Maps）之间的Frobenius范数差异
特征级策略的示意图
作者通过消融实验设置了多组不同的策略组合，实验结果表明，将像素级策略与特征级策略结合使用能够获得最佳的融合性能，表明同时在原始像素空间和深层感知特征空间进行约束，能最有效地提升融合图像的质量。
针对低分辨率红外与高分辨率可见光图像的融合，作者对损失函数进行了微调：在计算红外相关的损失时，通过引入下采样操作将融合图像If调整至与红外图像同尺寸，以此避免上采样红外图像所带来的额外噪声问题。
8、应用
1）RGB图像应用
通道分离处理：将RGB的每一个颜色通道（红、绿、蓝）单独视为一张普通的灰度图像来进行处理
构建高维输入特征：将RGB图像的三个通道按顺序进行拼接组合，由此构建出一个包含6个通道的图像容器，并以此作为RXDNFuse网络的输入
输出与通道重组：RXDNFuse会输出三个独立的融合通道，将这三个融合通道重新组合在一起
2）不同分辨率的图像应用
输入对齐：网络首先使用Meta-SR超分辨率技术将低分辨率的红外图像上采样，使其与可见光图像分辨率一致，然后再输入RXDNFuse进行处理
损失函数重新设计：为避免直接上采样红外图像来计算损失会引入额外噪声，作者修改了结构损失和强度损失函数，对生成的融合图像引入了下采样操作。即将融合图像下采样至与原始低分辨率红外图像相同的尺寸后，再计算二者之间的误差