基于细节保持的可见光与近红外图像融合方法研究.pdf
摘要
雾霾、薄雾、光照变化等环境下，光散射会产生衰减和平滑效应，导致可见光
传感器成像清晰度下降、对比度损失，难以全面捕捉场景特征；近红外传感器利用
物体反射成像，受环境影响较小，但图像缺乏纹理颜色特征，单独无法提供足够的
场景信息。结合可见光与近红外图像，可以提高图像对比度和细节，并保留纹理和
颜色特征，全面表征不同环境下的场景信息。如何从源图像中针对性地挖掘和利用
关键细节特征，消除冗余成分，不引入噪音和失真仍是当前算法需解决的问题。提
出一种基于细节保持的可见光与近红外图像融合方法，主要研究内容如下：
（1）研究可见光与近红外成像特性。分析两种模态图像在感知和信息提取方面
的共性与差异。确保图像一致性和准确性的前提下，采集同一场景下能反映不同模
态之间纹理、细节特征差异的图像，构建涵盖晴天、阴天、近景、远景等不同光照
条件与环境的可见光与近红外数据集。
（2）研究基于纹理强度力矩与相位一致的图像配准。采用二维Log-Gabor滤波
器建立相位一致性模型，在图像最大和最小矩的基础上，引入差异和权重系数构建
相位图纹理强度矩方程；针对高斯尺度空间易丢失边缘信息的缺点，利用非线性扩
散滤波器构建非线性尺度空间检测特征点；通过Log-Gabor卷积序列累积幅值和绝
对方向分量并求取主方向，构建特征描述符，解决旋转和尺度不变性的问题。
（3）研究基于细节保持的可见光与近红外图像融合算法。以生成对抗网络作为
主体，设计生成器与双马尔科夫鉴别器的融合框架。生成器由编码器和解码器构
成，编码器中设计SCM浅层特征提取模块、DFE细节特征提取模块提取源图像浅层
和深层特征，设计EDTA自注意力机制对特征进行加权处理；解码器以Tramsformer
编码层为主，捕捉源特征之间依赖关系，重建融合图像。为保证网络生成细节特征
丰富的融合图像，设计多源信息损失函数。
通过自建数据集验证配准算法同尺度和旋转尺度下的性能，实验结果表明：所
提算法正确匹配点最多，RMSE最小，优于对比配准算法。在配准后的数据集对所
提融合算法进行主客观视觉分析，实验结果表明：主观评价中，融合图像未出现伪
影和失真，能准确表达多模细节信息。客观评价中，EN、FMI、PSNR、Nabf在测
试图像上均值为7.34746、0.87818、64.82557、0.03391，与对比融合算法相当，在
Qabf和MS-SSIM两项指标上，均值为0.54070和0.94340，优于对比融合算法。所
提算法融合性能较佳，对特殊环境下的目标检测、夜间监控等任务具有重要意义。
关键词：图像融合；深度学习；生成对抗；图像配准
I
目录
摘要I
AbstractII
第1章绪论1
1.1课题研究的目的和意义1
1.2国内外研究现状1
1.2.1图像配准算法研究现状1
1.2.2图像融合算法研究现状3
1.3主要研究内容和章节安排5
第2章图像融合和配准算法相关理论7
2.1可见光与近红外模态特征7
2.1.1可见光与近红外成像特性7
2.1.2可见光与近红外图像区别8
2.2图像配准算法9
2.2.1图像配准基本原理9
2.2.2图像配准变换模型9
2.2.3基于特征的图像配准10
2.3图像融合算法12
2.3.1融合阶段分类12
2.3.2基于深度学习的图像融合算法13
2.3.3融合图像评价指标15
2.4本章小结16
第3章基于纹理强度力矩与相位一致的图像配准18
3.1配准图像获取与预处理18
3.1.1配准图像获取