基于深度学习的轻量级潜水员检测与手语识别算法研究.pdf

基于深度学习的轻量级潜水员检测与手语识别算法研究

摘要

随着机器人及人工智能技术的发展，水下机器人与潜水员协同工作成为了水下复杂

作业的最佳选择。由于潜水工作的危险性，使用机器人对潜水员实时检测跟踪可以有

效的保障潜水员的安全。同时，水下机器人通过摄像头理解潜水员的手语含义，对于

协助潜水员工作也有着重要意义。因此本文就潜水员检测及潜水员手语识别算法展开

了研究，并使用模型压缩技术对潜水员检测模型进行加速，以保证算法可以实时的在

水下机器人平台上运行。具体内容研究如下：

首先，本文对VDD-C潜水员数据集和CADDY潜水员手语识别数据集进行了预处

理，建立了可用于YOLO系列模型训练的数据集。并在数据集上使用YOLOv5s模型

进行训练，得到潜水员检测模型及手语识别模型。将潜水员检测模型与DeepSORT跟

踪算法相结合，得到潜水员跟踪模型。为了提升模型的检测精度，本文将知识蒸馏技

术引入到YOLOv5算法中。实验数据表明，经过知识蒸馏后的模型可以在检测速度不

变的情况下，提高模型的检测精度。

其次，为了轻量化模型，本文在经典的NetworkSlimming剪枝算法基础上，提出

了一种更高效的通道剪枝算法SUB-NS。NetworkSlimming算法为单次全局剪枝，

SUB-NS算法则进行多次逐层剪枝。通过对模型每层网络在一定范围内随机生成剪枝率，

数次剪枝得到多个子模型。将子模型在测试集上进行性能评估，选出性能最优子网络。

实验数据表明，SUB-NS剪枝后的模型浮点数计算量更低，检测速度更快。

然后，本文对YOLO系列算法中典型的Bottleneck模块进行了修改，重新设计一个

可重参数化的RepBottleneck模块。该模块在训练时保持原有结构，在推理时无损压缩

为更简单的单支路结构。实验数据表明，重参数化后的模型可以在精度不变的前提下，

显著的提升模型的检测速度。

最后，本文结合知识蒸馏、模型剪枝与重参数化三种压缩算法，提出一套用于目标

检测网络的联合压缩流程。经过联合压缩的潜水员检测模型，在AP精度值下降0.8%

的情况下，在GPU上的检测速度提升了46.1FPS，在CPU上提升了7.2FPS，在Jetson

nano上提升了2.7FPS。在输入图片尺寸为480×480时，联合压缩后的模型检测速度在

Jetsonnano上达到16.3FPS，可以在水下机器人上进行实时的潜水员检测。

关键词：潜水员检测；手语识别；知识蒸馏；模型剪枝；重参数化

基于深度学习的轻量级潜水员检测与手语识别算法研究

Abstract

Withthedevelopmentofroboticsandartificialintelligence,underwaterrobotsworkingin

tandemwithdivershavebecomethebestchoiceforcomplexunderwateroperations.Using

robotstodetectandtrackdiversinrealtimecanbeaneffectivewaytoensuretheirsafetydue

tothedangerousnatureofdivingoperations.Atthesametime,underwaterrobotsarealso

importantinassistingdiversbyunderstandingtheirsignlanguagethroughcameras.Therefore,

thispaperinvestigatesalgorithmsfordiverdetectionanddiversignlanguagerecognition,and

usesmodelcompressiontechniquestospeedupthediverdetectionmodeltoensurethatthe

algorithmsca