基于红外图像与点云的多模态三维目标检测算法研究.pdf
基于红外图像与点云的多模态三维目标检测算法研究
摘要
根据世界卫生组织发布的《2023年道路安全全球现状报告》，交通道路中的安全事
故尽管较2022年有一定的下降，但数量仍然保持高位。同时，随着自动驾驶软硬件的
不断发展与完善，简单道路下汽车已经具备一定的自动驾驶能力，但面对复杂道路、
极端天气等场景仍然无法达到自动驾驶的标准。三维目标检测是计算机视觉任务中的
重要组成部分，也是车辆自动驾驶算法的基石。多模态三维目标检测算法由于其可以
同时采集处理多个模态的数据并形成有效地互补，能有效提升三维目标检测的精确度。
但是对于部分极端场景，如黑夜、雨雪、大明暗反差等场景，可见光摄像头的可靠性
受到了挑战，若使用红外摄像头用以替代，则可以在这些极端场景中让车辆仍然保持
视觉感知的能力。
因此，本文以现有的可见光多模态三维目标检测网络为基础，使用红外相机替代
可见光相机，同时分析此种替换带来的新的困难点与挑战，进而研究适用于红外图像
与点云多模态数据的三维目标检测算法。
本文具体研究工作如下：
（1）构建了一套基于红外图像与激光雷达点云的多模态三维目标检测数据集。该
数据集可以较好地覆盖我国的大多数路况，如城市、乡村、国道、高速公路、高架桥、
隧道等；同时包含多种常见天气，如晴天、夜晚、雨雪、大雾等。该数据集可以为基
于红外图像与点云多模态数据的网络研究、训练、验证等方面提供强有力的支撑。
（2）针对多模态数据集中存在的多批次红外图像黑白热模式不统一的问题，提出
了基于红外图像的黑白热增强方法。实验结果表明，该算法可以提升多种多模态融合
三维目标检测网络在红外图像与激光雷达点云多模态三维目标检测数据集上的检测效
果。该方法通过将黑白热图像互相转换，有效地扩充了数据集的丰富度，同时也提升
了网络对于黑白热两种模式的拟合能力，平均可以获得超过0.5%mAP的性能提升。
（3）选取PointAugmenting作为基础模型并对其存在问题进行分析。针对模态与
特征网络不匹配的问题，将PointAugmenting的融合修改至特征层，保证各个模态特征
提取网络的特征提取能力最大化；针对像素与体素多对多的问题，提出了双交叉注意
力模块；针对特征层融合中简单拼接损失特征的问题，提出了权重融合模块以提升融
合效果。实验结果表明，特征层融合对原始网络有一定的改善，双交叉注意力模块与
权重融合模块均可以获得较大的mAP提升，综合三者使用则可以使网络对比基准模型
哈尔滨工程大学专业学位硕士学位论文
mAP指标提升1.92%。消融实验结果显示，特征层融合、双交叉注意力模块、权重融
合模块均展现了一定的性能提升。
（4）选取BEVFusion作为基础模型并对其存在问题进行分析。针对预训练模型不
匹配问题，使用基于红外目标检测数据集训练的YoloV5对原图像特征提取网络的主干
进行替换，同时设计了多尺度特征融合模块以提升多尺度特征的融合效果；针对
BEVFusion融合模块中无法充分地利用鸟瞰图视角特征的问题，加入自空间注意力与
融合空间注意力机制，同时对原网络中通道注意力机制进行修改。实验结果显示，上
述改进使得BEVFusion的mAP相较原模型提升1.5%，验证了算法的有效性。
关键词：自动驾驶；三维目标检测；多模态融合；红外图像；点云
基于红外图像与点云的多模态三维目标检测算法研究
Abstract
AccordingtotheGlobalStatusReportonRoadSafety2023releasedbytheWorld
HealthOrganization,thenumberofsafetyaccidentsintrafficroadsremainedhighdespitea
certaindeclinecomparedto2022.Atthesametime,withthecontinuousdevelopmentand
improvementof