基于多模态融合的弱光目标检测算法研究.pdf
摘要
随着计算机视觉技术的快速发展，目标检测在智能监控、自动驾驶、安防等领域
的应用日益广泛。然而，在弱光环境下，由于图像质量下降，传统目标检测算法的性
能往往大幅降低，难以满足实际需求。红外图像以其独特的抗干扰特性及鲜明的目标
呈现，极大地丰富了RGB图像的解读维度。近年来，学者们对结合多种模态信息进
行目标识别的研究兴趣日益高涨。尽管如此，当前多数多光谱目标检测策略倾向于选
用FasterR-CNN或者依赖锚框技术的一体化检测模型作为基石，但这些方法往往没
有充分利用两种模态的共性信息和特性信息，导致检测准确性和鲁棒性不足。此外，
现有的融合方法存在融合效率低的问题。为了解决这些问题，本文做了以下研究：
（1）一种创.新的双模态.自注意力驱动的多光谱目标探测方法。鉴于RGB和红
外图像之间存在共性信息和特性信息，传统方法往往未能充分利用这一特性。为了克
服这一限制，该文在特征融合阶段，通过引入Transformer结构，实现了跨模态特征
的有效融合。该方法利用注意力矩阵指导模型关注关键特征点，动态调整特征融合策
略，使得融合后的特征图包含跨模态关联信息。融合后的特征图对单一模态特征进行
增强和补充，从而提高检测的准确性和鲁棒性。同时引入了多尺度特征增强组件，以
强化单模态特征图的信息传递效果。与原始算法相比，新算法在KAIST数据集上将
全天.误差减少了2.94%，同时在FLIR数据集上使mAP提高了2.5%。
（2）提出一种创新的多模态目标检测算法，采用多尺度适应性融合策略，解决
传统等比例融合方法无法充分应对RGB和红外模态对光线变化敏感度不同而导致的
融合效率低下问题。通过生成单一模态特征图的注意力矢量，对每个模态的特征图进
行细致的分析，然后进行跨模态规范化，将不同模态的特征图调整到同一尺度，再重
新校准特征图，确保融合后的特征图包含了RGB图像的细节信息，又融入了红外图
像的热成像特性，实现模态自适应融合，提升多模态数据处理效果。在KAIST数据
集上的实验显示，通过构建通道注意力的轻巧模块，全天候检测错误率降低了1.17%。
综上所述，本文提出了一种基于多模态融合的弱光目标检测算法，该算法通过图
像预处理、多模态特征提取、特征融合、检测器设计和后处理等步骤实现了弱光环境
下的高精度目标检测。实验结果表明，该算法在公开数据集上取得了优异的性能表
现，具有较高的实用价值和广泛的应用前景。未来工作中，将进一步探索更高效的多
模态融合技术和目标检测算法，以提高弱光环境下目标检测的性能和实时性。
I
目录
摘要I
ABSTRACTIII
1绪论1
1.1研究背景和意义1
1.1.1研究背景1
1.1.2研究意义1
1.2国内外研究现状3
1.2.1目标检测研究现状3
1.2.2多模态目标检测研究现状4
1.3研究内容和组织结构5
1.3.1主要研究内容和科学问题5
1.3.2本文组织结构6
2相关工作7
2.1目标检测基础框架7
2.1.1R-CNN算法7
2.1.2YOLO算法9
2.2多模态目标检测算法13
2.2.1DCRL-PDN算法13
2.2.2AR-CNN算法15
2.2.3TINet算法17
2.3Transformer算法19
2.4本章小结20
3双向跨模态自注意力的多模态目标检测算法21
3.1问题描述21
3.2双向跨模态自注意力的多模态目标检测算法22
3.2.1网络结构22