基于多模态特征融合的无人驾驶系统车辆检测.pdf

第40卷　 第2期 广西师范大学学报(自然科学版) Vol.40　 No. 2 　 　 　 　 　 　 　 　 　 　 　 　 2022年3月 Journal of Guangxi Normal University (Natural Science Edition) Mar. 2022 DOI:10.16088/j.issn.1001-6600.2021072002 http: 薛其威,伍锡如. 基于多模态特征融合的无人驾驶系统车辆检测[J]. 广西师范大学学报(自然科学版),2022,40(2): 37-48. XUE Q W, WU X R. Vehicle detection for autonomous vehicle system based on multi-modal feature fusion[J]. Journal of Guangxi Normal University (Natural Science Edition),2022,40(2): 37-48. 基于多模态特征融合的无人驾驶系统车辆检测 1,2 1,2∗ 薛其威 , 伍锡如 (1. 桂林电子科技大学 电子工程与自动化学院,广西 桂林 541004; 2. 广西高校非线性电路与光通信重点实验室(广西师范大学),广西 桂林 541004) 摘　 要: 针对无人驾驶系统环境感知中的车辆检测精度低的问题, 本文提出一种基于多模态特征融合的三维车辆检测算 法。 该算法通过毫米波雷达与摄像机联合标定, 匹配2个传感器间的坐标关系并减小采样误差; 采用统计滤波剔除毫米 波雷达数据冗余点, 减少离群点干扰; 构造多模态特征融合模块, 利用逐像素平均融合点云与图像信息; 加入特征金字 塔提取融合后的高级特征信息提升复杂道路场景下的检测精度; 建立特征融合区域建议结构, 根据高级特征信息生成区 域建议; 使用非极大值抑制去除冗余检测框后, 通过检测框顶点匹配输出车辆检测结果。 经 KITTI数据集实验结果表 明: 所提出的方法能够快速、 准确地实现车辆检测, 平均检测时间为0.14 s, 平均检测精度为84.71%。 该算法具有重要 的理论和应用价值, 可为无人驾驶系统的车辆检测提供有效方案。 关键词: 毫米波雷达; 环境感知; 多模态融合; 车辆检测; 无人驾驶系统 中图分类号: TP391.41;U463.6　 　 　 文献标志码: A　 　 　 文章编号: 1001-6600(2022)02-0037-12 随着人工智能和机器人技术的不断发展与深入,无人驾驶系统作为人工智能领域的一个重要分支已 [1-3] 经成为国内外的研究热点 。 无人驾驶系统通过三维车辆检测对主体实现路径规划与决策控制,其中 [4-6] 雷达、摄像机、GPS等传感器的多模态特征融合是三维车辆检测中的重要内容 。 毫米波雷达和摄像机的多模态特征融合因其检测分辨率和精度高、抗干扰性强、感知范围广、不受光 [7-9] 照和阴影遮挡的特性,有利于实现复杂交通环境下的无人驾驶 。 因此基于多模态特征融合的车辆检 测算法在过去几年里发展得较为迅速,大量优秀算法广泛应用[10-12]。 [13] Nie等 利用多模态融合深度神经网络对不同模态的特征进行多通道分层,并在隐藏层提取多通道 [14] 特征张量