红外与可见光图像融合方法研究.pdf

摘要

摘要

在多传感器信息融合领域，红外与可见光图像的融合方法作为一项计算机视觉领

域的基础研究任务，对于目标检测、遥感图像处理、环境安全监控等多个领域具有重要

意义。红外与可见光图像成像由于原理不同，对同一场景往往能形成含有不同特征的

图像，因此利用两种图像信息的互补性，对图像中的目标信息和背景信息进行整合，可

有效提高图像对环境的表现能力。本文针对目前红外与可见光图像融合中存在的细节

信息丢失、图像光晕、边缘不清晰、假性噪声等问题，以提高融合图像对环境的描述能

力为目标，研究了三种图像融合方法并进行性能评价。研究工作的主要内容如下。

(1)针对现有融合方法输出的融合图像在边缘处容易出现伪影模糊和信息丢失的

不足，提出了一种基于视觉显著图和相位一致性的红外与可见光图像融合方法(VSM-

PC)。VSM-PC方法主要包括：源图像分解、基础层融合、细节层融合三部分。在图像

分解部分，将各向异性引导滤波作为分解方法，将源图像分解为细节层和基础层，在保

留源图像的细节信息同时抑制图像边缘处光晕伪影。针对细节层和基础层的融合采取

不同的融合策略，在基础层部分利用视觉显著图(VSM)的方式获取初始权重图；细节层

部分使用最大-绝对值获取细节层的权重图，再利用PC算子获取源图的权重图，并在

细节层融合中引入更多边缘信息，最后重构融合后的子带图像获得融合图像。实验结

果表明，本文提出的VSM-PC方法与RFN-nest等五种先进方法相比，改善了融合图像

边缘处伪影和信息丢失的问题，在平均梯度、互信息、空间频率上分别提升了15%、

13%、12%以上。

(2)针对现有融合方法在基础层选用的加权融合策略不能有效保留源图像信息以

及融合图像对比度较差的问题，提出了一种基于WLS优化的红外与可见光图像融合方

法(W-MDLatLRR)。W-MDLatLRR方法在图像分解部分采用基于加权Schattenp-范数

多级潜在低秩(WSN-MDLatLRR)对输入图像进行分解，提取出图像的高频部分和低频

部分。在基础层(低频部分)选取基于WLS优化的融合策略，对细节层图像首先进行白

化和中值滤波处理得到基础层细节权重图，并利用WLS策略得到最优基础层融合图

像，以提高融合图像的对比度；对于含有图像更多特征信息的细节层(高频部分)选取基

于联合双边滤波(JBF)的融合方式，计算细节层图像的细节权重图，最大程度的整合不

同尺度的特征信息，并清晰地融入最终的融合图像中。实验结果证明，本文提出的W-

MDLatLRR方法与MSID-KBS等六种先进方法相比，改善了基础层信息丢失与融合图

像对比度较差的问题，在平均梯度、相关系数和基于梯度的融合性能上分别提升了0.2%、

0.5%和4%以上。

(3)针对现有网络融合方法采用的深度自编码网络DenseFuse结构过于简单，特征

提取针对性不强等问题，提出了一种基于多注意力机制的红外与可见光图像融合方法

(CBI-Fuse)。CBI-Fuse自编码网络是由编码器、融合层、解码器三部分组成的自编码网

络结构。CBI-Fuse方法对红外与可见光图像分别进行训练，并针对不同类型的图像选

I

择不同的注意力机制。对于红外图像引入强度注意力模块IAM，以保留红外图像的像

素强度；而可见光图像引入卷积注意力模块CBAM，以在空间注意模块中采用不同的

感知场，获得用于多尺度重构的多尺度特征图，从而促使CBI-Fuse融合方法对两种不

同类型的图像实现具有针对性的特征提取，所有这些都有助于为融合任务保留更多的

细节和目标。实验结果表明，本文提出的CBI-Fuse方法与IVIF-AUIF等五种先进方法

相比，可有效对红外与可见光图像特征进行融合，在平均梯度、互信息量以及基于梯度

的融合性能上分别提升了9%、27%、11%以上。

关键词：红外与可见光图像融合；各向异性引导滤波；潜在低秩表示；自编码网络；无

监督学习

论文类型：应用研究

II

目录