基于摄像头与毫米波雷达数据融合的车辆目标检测研究.pdf
摘要
摘要
近年来我国的汽车保有量逐年增加，道路交通环境也变得愈加复杂。智能汽
车正逐渐成为研究解决交通安全问题的热点，其中环境感知，作为智能汽车的关
键组成部分，是无人驾驶系统进行后续决策和规划的重要基石。随着深度学习与
传感器硬件技术的发展，车辆检测在环境感知已经获取了长足进步，但面对日益
复杂的行车环境，单一传感器都有各自的检测缺陷，仅依靠某一传感器不能满足
车辆的环境感知需求。因此，本文提出一种基于视觉与毫米波雷达融合的车辆检
测方法，通过采用深度学习以及多传感器数据融合，以提高交通环境下车辆检测
的准确性。具体研究内容如下：
（1）基于深度学习的视觉目标检测。提出一种改进车辆检测算法，考虑目标
检测速度和精度平衡，对YOLOv5s算法进行改进：融入CA注意力机制(Coordinate
Attention)模块，以强化检测网络在具有密集对象的场景的目标辨识能力；引入
Focal-EIOULoss代替原始损失函数，以获得更加精确的框定位以及损失函数更快
收敛。引入全维度动态卷积(Omni-dimensionalDynamicConvolution,ODConv)，输
入融合多个卷积核心，考虑多维关注，以提高对车辆特征的提取能力。测试结果
表明，改进后的算法平均精度均值(meanaverageprecision,mAP)提高了1.5%，有
效改善了车辆目标检测能力。
2
（）基于毫米波雷达的目标检测。按照协议解析雷达信号，对通过设置距离
和速度等条件进行初步筛选，去除了其中的无效目标信号，获得有效检测目标信
息。利用生命周期法对初步筛选的雷达目标进行进一步管理，以获取雷达目标检
测信息。通过毫米波雷达实车数据采集，对算法进行有效性验证，完成对毫米波
雷达点云数据有效目标信息的获取。
（3）摄像头与毫米波雷达信息融合。依据像素坐标系、雷达坐标系和世界坐
标系的关系，进行摄像头和毫米波雷达的联合标定，将毫米波雷达的检测目标投
影到像素坐标系上。根据两传感器的采样频率，设计时间同步算法，完成了时间
融合。设计了一种基于交并比的检测目标分段融合方式，进行雷达目标和视觉目
标的关联，输出融合后的检测信息。
（4）实验平台搭建及实验验证。设计搭建视觉与毫米波雷达融合系统的实验
软硬件框架，在白天与夜晚分别进行实车实验。实验结果表明，相较于单个传感
器方案和其他融合方案，本文融合算法可以充分发挥不同传感器的检测优势，能
够获得更全面和准确的信息。
I
盐城工学院硕士学位论文
关键词：环境感知，深度学习，毫米波雷达，信息融合，目标检测
II
ABSTRACT
ABSTRACT
Inrecentyears,thenumberofvehiclesinChinahasbeenincreasingannually,
leadingtoamorecomplexroadtrafficenvironment.Intelligentvehiclesarebeing
researchedasanadvancedtechnologytoaddresstrafficsafetyissues.Environment
perceptionisacrucialcomponentofintelligentvehicles,servingasaprerequisitefor
subsequentdecision-makingandplanningbyunmannedsystems.Theprogressof
vehicledetectioninenvironment