基于可见光和红外图像融合的目标检测算法研究.pdf

摘要

随着人工智能的快速发展，基于深度学习的目标检测技术在自动驾驶和无人

机航拍等领域获得了广泛应用。在良好的环境光照条件下，可见光图像能够提供

丰富的目标纹理特征。而在恶劣天气条件下，可见光成像质量下降，这严重影响

了算法的检测精度。相比可见光图像，红外图像对雨雪雾等恶劣环境具有一定的

抗干扰能力。因此，学者们利用可见光图像和红外图像的互补优势实现双模态目

标检测。尽管它们获得了令人满意的性能，但仍然面临一些挑战：在处理复杂场

景和小尺度目标时，它们的检测效果存在一定的缺陷。针对现有方法存在的挑战，

本文提出了基于可见光和红外图像融合的目标检测算法，主要工作及创新点如下：

（1）复杂场景（如大雾、眩光、黑夜）会对传感器造成干扰，在图像中产

生低对比度噪声。现有方法往往忽略纠正干扰信息，导致检测性能不佳。为了解

决以上问题，提出一种基于双模态校准融合的目标检测算法。首先，将YOLOv5

作为基准算法，分别捕获可见光与红外图像的特征。其次，构建了一种特征校准

模块，它可以利用通道和空间特征校准建模输入图像目标位置和结构间的一致性，

从而校准输入图像特征中的低对比度噪声。最后，设计了一种特征融合模块，它

可以从纠正后的特征中获取互补信息并实现准确的特征融合。在KAIST行人数

据集上，与基准算法YOLOv5单独独检测可见光和红外图像的结果相比，所提

算法检测精度分别提升14.9%和5.1%；与基准算法YOLOv5-Add相比，精度分

别提升3.1%和1.9%。

（2）在不同的视角和位置下，同一对象的尺寸会有显著差异。较小目标的

图像对比度较低，因此导致对小尺度目标的误检测或漏检测。为了克服以上挑战，

提出一种基于自引导注意力的双模态校准融合目标检测算法。首先，引入移动窗

口分层视觉Transformer模块提取具有较强表征能力的特征，从而有效提高小尺

度目标的特征提取能力。其次，加入全局注意力模块用于捕捉模型中的全局上下

文信息，以更有效地结合不同尺度下的小尺度目标特征。最后，引入自适应双向

特征金字塔融合多尺度特征信息，进而保留更多小尺度目标特征信息。在FLIR

行人车辆数据集上，与双模态校准融合算法的结果相比，所提算法检测精度分别

提升1.5%和1.6%。在VEDAI和DroneVehicle航拍车辆数据集上，所提算法的

精度也分别有较明显提升。

（3）本文探索了将深度神经网络算法应用于资源受限的嵌入式边缘设备的

工程应用，通过采用轻量化的双模目标检测系统来解决部署和运行方面的挑战。

首先，对骨干网络进行了重新构建，采用了卷积深度和宽度缩减的YOLOv5-n模

型，以降低模型的参数数量和计算复杂度。接着，引入了轻量级的MobileOne卷

积模块，进一步减小了模型的参数数量和计算负担，从而提高了双模态目标检测

模型的效率和速度。最后，在智能边缘计算平台NVIDIAJetsonAGXOrin上完

成了系统配置和环境搭建，并成功部署了经过优化的算法。实验表明，在FLIR

数据集上，算法的检测精度为85.0%，参数量和计算量分别为10.5M和31.2G，

检测精度分别提升7.5%和8.9%；在M3FD数据集上，相比其他轻量化网络均有

较大提升，且速度也满足实时性要求。

关键词：双模态，目标检测，复杂场景，小目标检测，轻量化模型，边缘设备

Abstract

Withtherapiddevelopmentofartificialintelligence,theobjectdetection

algorithmsbasedondeeplearninghavebeenwidelyappliedinfieldssuchas

autonomousdrivingandunmanneddroneaerialphotography.Undergoodambient

lightingconditions,richtargettexturefeaturescanbeprovidedbyvisibleimages.

However,under