当前位置：首页 > news >正文

DIVFusion框架拆解：它如何让AI在黑暗中‘看’得更清楚？

news 2026/5/6 7:20:03

DIVFusion框架技术解析：低光环境下的视觉增强革命

当夜幕降临，人类视觉系统在微弱光线下逐渐失效，而红外传感器虽能穿透黑暗却丢失了色彩与纹理细节——这正是计算机视觉领域长期面临的低光增强与多模态图像融合难题。传统解决方案往往将这两个任务割裂处理：先用增强算法照亮可见光图像，再通过融合网络整合红外信息。这种"分而治之"的策略看似合理，却暗藏致命缺陷——增强过程可能扭曲色彩分布，而后续融合又会进一步破坏图像一致性，最终导致"双重失真"。

1. 耦合互促：颠覆传统的设计哲学

DIVFusion框架的核心突破在于发现了低光增强与图像融合之间的协同效应。就像交响乐团中不同乐器的共鸣，当两个任务被设计为联合优化时，会产生1+1>2的效果：

特征层面互助：SIDNet提取的照明特征既用于可见光图像增强，又作为融合网络的先验知识
损失函数协同：颜色一致性损失同时约束增强和融合两个阶段，避免误差累积
信息流双向传递：融合网络反馈的纹理信息可指导增强网络保留关键细节

这种设计使得框架在LLVIP数据集上的PSNR指标比传统串联方法提升23.6%，颜色失真率降低68%

传统方法与DIVFusion的对比：

维度	传统串联方案	DIVFusion耦合方案
处理流程	增强→融合（单向）	增强⇄融合（双向）
特征利用	独立提取	共享照明特征
典型问题	色彩失真累积	色彩一致性保持
计算复杂度	两次完整前向传播	共享编码器降低30%计算量

2. SIDNet：场景照明解耦的艺术

SIDNet（Scene Illumination Disentanglement Network）的创新性体现在它将图像分解为三个物理意义明确的成分：

退化照明分量（Degraded Illumination）
清洁照明分量（Clean Illumination）
反射率分量（Reflectance）

这种分解通过特殊的网络结构实现：

class SIDNet(nn.Module): def __init__(self): super().__init__() self.illumination_encoder = nn.Sequential( ConvLayer(3, 32, kernel_size=3), ResBlocks(32, 64, num_blocks=3) ) self.reflectance_decoder = nn.Sequential( ResBlocks(64, 32, num_blocks=2), ConvLayer(32, 3, kernel_size=3, act=None) ) def forward(self, x): feat = self.illumination_encoder(x) reflectance = self.reflectance_decoder(feat) illumination = x - reflectance return reflectance, illumination

关键设计细节：

双分支残差结构：避免低频信息（照明）污染高频细节（纹理）
非对称卷积块：增强不同方向光照变化的建模能力
自监督训练：仅需低光-正常光图像对，无需像素级标注

3. TCEFNet：纹理与对比度的双重革命

TCEFNet（Texture Contrast Enhancement Fusion Network）包含两大创新模块：

3.1 细粒度纹理增强模块（FTEM）

采用多尺度空洞卷积金字塔结构：

基础卷积层（dilation=1）捕获局部细节
中尺度空洞卷积（dilation=3）整合区域特征
大尺度空洞卷积（dilation=5）建立全局关联

class FTEM(nn.Module): def __init__(self, channels): super().__init__() self.conv1 = nn.Conv2d(channels, channels, 3, dilation=1, padding=1) self.conv2 = nn.Conv2d(channels, channels, 3, dilation=3, padding=3) self.conv3 = nn.Conv2d(channels, channels, 3, dilation=5, padding=5) def forward(self, x): x1 = F.relu(self.conv1(x)) x2 = F.relu(self.conv2(x)) x3 = F.relu(self.conv3(x)) return x1 + x2 + x3 # 特征相加而非拼接，减少计算量

3.2 动态对比度调整模块（DCAM）

引入注意力引导的对比度增强机制：

计算局部区域均值作为基准亮度
通过可学习参数动态调整对比度增益
使用sigmoid函数约束输出范围

该模块在MSRS数据集上使边缘保持指数（EPI）提升41%，同时将运行时间控制在3.2ms/帧（1080p分辨率）。

4. 颜色一致性损失的数学之美

为解决低光增强与融合过程中的色彩失真问题，论文设计了感知驱动的颜色损失函数：

$$ \mathcal{L}{color} = \sum{p\in \Omega} | \phi(I_{fused})p - \phi(I{visible})_p |_1 $$

其中：

$\phi(\cdot)$ 表示在Lab颜色空间的转换
$\Omega$ 为图像空间域
$p$ 为像素位置

实际训练中还加入了梯度相关系数约束：

def color_loss(fused, visible): # 转换到Lab空间 fused_lab = rgb_to_lab(fused) visible_lab = rgb_to_lab(visible) # 计算亮度通道的梯度 grad_fused = gradient(fused_lab[:,0,:,:]) grad_visible = gradient(visible_lab[:,0,:,:]) # 组合损失 l1_loss = F.l1_loss(fused_lab, visible_lab) grad_corr = 1 - cosine_similarity(grad_fused, grad_visible) return 0.7*l1_loss + 0.3*grad_corr