【图像融合】基于新型金字塔滤波器的非对称自适应多尺度分解方法红外和可见光图像融合附Matlab实现
✅作者简介：热爱科研的Matlab仿真开发者，擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。
🍎 往期回顾关注个人主页：Matlab科研工作室
👇 关注我领取海量matlab电子书和数学建模资料
🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。
🔥 内容介绍
一、背景
（一）红外与可见光图像融合的意义
在许多实际应用场景中，如安防监控、自动驾驶、军事侦察等，红外图像和可见光图像各自具有独特的信息优势。可见光图像能够提供丰富的纹理、颜色等细节信息，使我们可以清晰地识别物体的外观特征。而红外图像则对温度敏感，能检测到目标物体的热辐射，即使在夜间、恶劣天气（如雾、霾）或低光照环境下，也能有效地发现发热物体，如人体、车辆发动机等。将红外图像和可见光图像进行融合，可以综合两者的优势，生成包含更多信息的融合图像，为后续的分析和决策提供更全面的依据。例如，在安防监控中，融合图像能够让监控人员更准确地识别目标物体及其所处环境，及时发现潜在威胁。
（二）传统图像融合方法的局限性
传统的图像融合方法主要包括基于空间域的方法（如加权平均法、主成分分析法等）和基于变换域的方法（如小波变换、金字塔变换等）。基于空间域的方法通常直接对图像的像素进行操作，简单直观，但容易导致融合图像的细节丢失，且对噪声敏感。基于变换域的方法虽然能够在不同尺度和频率上分析图像信息，具有较好的融合效果，但也存在一些问题。例如，小波变换由于其基函数的局限性，不能很好地捕捉图像中的边缘和纹理等几何特征；传统金字塔变换在分解和重构过程中可能会引入伪影，影响融合图像的质量。此外，传统方法大多采用对称的分解方式，没有充分考虑红外图像和可见光图像的特性差异，难以实现自适应的多尺度分解，从而限制了融合效果的进一步提升。
（三）新型金字塔滤波器与非对称自适应多尺度分解的优势
为了克服传统图像融合方法的不足，基于新型金字塔滤波器的非对称自适应多尺度分解方法应运而生。新型金字塔滤波器能够更有效地捕捉图像的细节和纹理信息，相比传统滤波器具有更好的频率选择性和方向选择性。非对称自适应多尺度分解则根据红外图像和可见光图像的特点，对它们采用不同的分解策略，能够自适应地调整分解尺度，更好地保留图像的重要特征。这种方法可以充分挖掘红外图像和可见光图像在不同尺度下的互补信息，提高图像融合的质量和性能，为实际应用提供更可靠的融合结果。
二、原理
（一）新型金字塔滤波器原理
传统金字塔滤波器回顾：传统的金字塔滤波器（如高斯金字塔、拉普拉斯金字塔）通过对图像进行低通滤波和下采样操作，构建不同尺度的图像表示。以高斯金字塔为例，它首先对原始图像进行高斯低通滤波，然后每隔一个像素进行下采样，得到下一层的图像。重复这个过程，形成金字塔结构。拉普拉斯金字塔则是通过相邻两层高斯金字塔图像相减得到，它保留了图像在不同尺度下的细节信息。然而，传统金字塔滤波器在处理复杂的图像特征时存在局限性，例如高斯低通滤波会使图像边缘模糊，下采样操作可能导致信息丢失。
新型金字塔滤波器设计：新型金字塔滤波器旨在改进传统滤波器的不足。它通常采用更复杂的滤波核设计，以提高频率选择性和方向选择性。例如，可以设计具有多个方向响应的滤波核，使其能够更好地捕捉图像中的边缘和纹理方向信息。同时，在滤波过程中，可能结合局部特征分析，根据图像局部区域的特性自适应地调整滤波参数，以更精确地提取不同尺度下的特征。这样，新型金字塔滤波器能够在不同尺度上更有效地分离图像的低频和高频成分，为后续的多尺度分解提供更准确的基础。
（二）非对称自适应多尺度分解原理
图像特性分析：红外图像主要反映物体的热辐射信息，其灰度变化通常与物体的温度差异相关，图像中的边缘和轮廓往往对应着温度的突变。可见光图像则侧重于物体的光学反射特性，包含丰富的纹理和颜色信息。基于这些特性差异，非对称自适应多尺度分解方法对红外图像和可见光图像采用不同的分解策略。
分解策略：对于红外图像，由于其边缘信息对于目标检测至关重要，在分解过程中，更注重在较大尺度上捕捉主要的温度变化区域，以突出目标物体的轮廓。可以采用较少的分解层数，但在每一层中使用较大的滤波核，使分解后的低频分量能够较好地保留目标物体的整体形状信息，高频分量则突出温度突变的边缘信息。对于可见光图像，因其纹理和细节丰富，采用较多的分解层数，在较小尺度上精细地分析图像的纹理结构。通过较小的滤波核和更密集的分解尺度，能够更好地提取可见光图像中的细节特征，如物体表面的纹理、颜色变化等。
自适应调整：非对称自适应多尺度分解方法还能够根据图像的局部特征自适应地调整分解尺度。例如，在红外图像中，如果某个局部区域温度变化较为平缓，说明该区域可能不包含重要的目标信息，此时可以适当减少该区域的分解层数或采用更粗的分解尺度，以减少计算量并避免过度分解导致的信息丢失。在可见光图像中，对于纹理复杂的区域，可以增加分解层数或采用更细的分解尺度，以充分捕捉纹理细节。这种自适应调整机制能够根据图像的实际内容，灵活地优化分解过程，更好地保留和突出图像的重要特征。
（三）基于非对称自适应多尺度分解的图像融合流程
图像分解：将红外图像和可见光图像分别通过新型金字塔滤波器进行非对称自适应多尺度分解，得到不同尺度下的低频分量和高频分量。低频分量代表图像的大致轮廓和背景信息，高频分量则包含图像的细节和边缘信息。
融合规则制定：针对分解后的低频分量和高频分量，制定不同的融合规则。对于低频分量，由于其反映了图像的整体结构，通常采用基于区域能量或方差的融合规则。例如，计算红外图像和可见光图像低频分量在每个局部区域的能量或方差，选择能量或方差较大的区域作为融合后的低频分量，这样可以保留图像中更显著的结构信息。对于高频分量，由于其突出了图像的细节和边缘，可采用基于梯度或绝对值的融合规则。比如，比较红外图像和可见光图像高频分量在每个像素处的梯度幅值或绝对值，选择较大值对应的像素作为融合后的高频分量，从而增强融合图像的细节和边缘信息。
图像重构：根据制定的融合规则，将融合后的低频分量和高频分量通过新型金字塔滤波器的逆过程进行重构，得到最终的融合图像。在重构过程中，需要注意恢复图像的原始分辨率和细节信息，避免引入伪影和失真。通过这种基于非对称自适应多尺度分解的图像融合方法，能够充分利用红外图像和可见光图像的互补信息，生成高质量的融合图像，满足不同应用场景的需求。
通过基于新型金字塔滤波器的非对称自适应多尺度分解方法，能够有效地融合红外图像和可见光图像的优势信息，克服传统融合方法的局限性，为图像融合领域提供了一种更先进、更有效的技术手段，在多个实际应用领域具有广阔的应用前景。
⛳️ 运行结果
📣 部分代码
function ssim_map = ssim(img1,fused)
w = fspecial('gaussian', 11, 1.5);
K(1) = 0.01;
K(2) = 0.03;
L = 255;
s=size(size(img1));
if s(2)==3
img1=rgb2gray(img1);
end
s1=size(size(fused));
if s1(2)==3
fused=rgb2gray(fused);
end
img1 = 255*double(img1);
fused = 255*double(fused);
C1 = (K(1)*L)^2;
C2 = (K(2)*L)^2;
w = w/sum(sum(w));
ua = filter2(w, img1, 'same');
ub = filter2(w, fused, 'same');
ua_sq = ua.*ua;
ub_sq = ub.*ub;
ua_ub = ua.*ub;
siga_sq = filter2(w, img1.*img1, 'same') - ua_sq;
sigb_sq = filter2(w, fused.*fused, 'same') - ub_sq;
sigab = filter2(w, img1.*fused, 'same') - ua_ub;
ssim_map = ((2*ua_ub + C1).*(2*sigab + C2))./((ua_sq + ub_sq + C1).*(siga_sq + sigb_sq + C2));
end