基于联合检测的轻量化多目标跟踪算法研究.pdf

基于联合检测的轻量化多目标跟踪算法研究

摘要

随着深度学习在目标跟踪领域的广泛应用，多目标跟踪算法的精度不断提高，已

经具备了较高的鲁棒性和可靠性。然而，多目标跟踪技术在拥挤场景下的实际应用中

仍存在许多问题，比如遮挡问题，有时需要对遮挡部分的目标进行跟踪；关联问题，

在多个连续视频帧中，需要将同一个目标进行关联；还有相似目标干扰和目标重识别

等问题。并且，基于深度学习的多目标跟踪模型一般具有较好的跟踪效果，但是其计

算量大，网络参数冗余等问题让它们很难部署在算力有限的硬件平台上。本文针对以

上问题，以FairMOT算法为基本框架进行扩展改进，并对改进后的模型整体轻量化，

以适应未来智能设备的发展趋势。主要工作如下：

针对密集环境下由于遮挡引起的身份切换次数问题，本文对多目标跟踪算法

FairMOT进行了深入分析，在此基础上设计了一个基于注意力机制和数据关联的行人

跟踪算法。该算法通过在高分辨率特征提取网络上引入注意力机制来提取更具有表达

力的高分辨率特征，并加强重识别分支的训练；接着，对行人多目标跟踪中的数据关

联模块进行了研究。由于视频中的行人是持续行走的，所以会有行人出现到离开画面

的现象，这就需要对不同帧的目标进行匹配关联。为了使帧与帧之间的目标更好的匹

配，本文在跟踪模块采用BYTE关联策略。最后，通过消融实验和对比实验，证明了

本文提出的方法可以有效解决行人遮挡问题，减少漏检数量，同时提高了算法的精度。

针对网络参数量多，计算量大的问题，本文在以上基础设计了一个高分辨率特征的

多目标跟踪轻量化网络模型。该模型具有结构简易、参数少、还能维持高分辨率特征

的优点，在进行推理时，比大型网络具有更快的推理速度。通过对添加注意力机制的

网络模型进行分析，发现其增加了网络的复杂度，使得模型各层间的通道存在一定的

冗余。首先对人体姿态网络模型进行了深入研究，采用深度可分离卷积方法和轻量化

网络ShufflenetV2对已经添加注意力机制的网络进行改进，这样可以在保证轻量化网络

的同时不损失其检测精度，从而实现轻量化和高表达能力的平衡。最后，对轻量化的

网络进行训练，在多目标跟踪官方数据集上进行测试验证，实验结果表明，本章优化

后的算法不但计算量少，还能在一定程度上提高算法的性能。

关键词：多目标跟踪；高分辨率网络；注意力机制；数据关联；轻量化

基于联合检测的轻量化多目标跟踪算法研究

Abstract

Withthewidespreadapplicationofdeeplearninginthefieldofobjecttracking,the

accuracyofmulti-objecttrackingalgorithmscontinuestoimprove,andtheyhavebecomemore

robustandreliable.However,therearestillmanyproblemsinthepracticalapplicationofmulti-

targettrackingtechnologyincrowdedscenes,suchasocclusionproblem,sometimesneedto

tracktheoccludedpartofthetarget;Associationproblem,inmultipleconsecutivevideoframes,

needtoassociatethesameobject;Therearealsosimilartargetjammingandtargetre-

recognitionproblems.Inaddition,themulti-targettrackingmodelbasedondeeplearning

generallyhasgoodtrackingeffect,butitisdifficulttodeploythemonthehardwareplatfor