基于图卷积网络的人体骨架行为识别研究.pdf
摘要
人体行为识别已成为计算机识别研究领域的重要分支,主要研究如何通过计
算机自动识别出输入数据的人体行为类别。基于骨架的人体行为识别相较于基于
视频序列的人体行为识别,具有更低的数据维度和计算需求、更专注于行为本身、
鲁棒性更强的优势。得益于骨架数据与图卷积的相适应性,近年来基于图卷积的
方法已成为基于骨架的人体行为识别任务中的主流方法。然而,当前主流的方法
仍存在对相似类别的行为区分能力弱、骨架空间信息建模单一和容易忽视长距离
关节点之间依赖性的问题,本文提出两种方法以解决上述问题,主要工作如下:
(1)提出时空解耦特征细化的图卷积网络模型。目前基于人体骨架的行为
识别任务中,在相似动作之间的判别能力较弱,即对于相似类别的类间和类内特
征距离模糊,从而导致模型对相似类别的判别识别率低。为了增强模型在相似类
别的类内一致性和类间异质性,本文提出时空解耦模块和特征细化模块,将时空
特征图解耦为空间和时间特征,并分别输入到特征细化模块与全局模板和假阳性
样本对比。使得输入样本在特征空间中与全局模板距离相近与假阳性样本距离相
离,从而增强相似类别中的类内一致性和类间异质性。最后,通过在NTU-RGB+D
和NTU-RGB+D120两个数据集上进行大量实验验证了算法的有效性。
(2)提出多距离自适应图卷积网络模型。现有的基于图卷积网络的方法,
多通过人体关节间的自然连接进行关节点间的信息聚合,而忽视了非人体自然连
接关节的依赖性。为解决这一问题,本文提出多距离自适应图卷积,通过三种固
定距离类型的图卷积和适应不同行为的自适应距离图卷积,来捕关节间的局部依
赖性和长距离依赖。此外,为了提高模型在时间维度的特征提取能力,本文使用
改进的多尺度时间卷积。最后,通过消融实验证明了算法的有效性,且对比实验
结果显示,使用多距离自适应图卷积可以提升基于人体骨架的行为识别的准确性。
关键词:人体骨架;行为识别;图卷积网络;对比学习;多距离;
I
Abstract
Humanactionrecognitionhasbecomeanimportantbranchinthefieldofcomputer
recognitionresearch.Itmainlystudieshowtoautomaticallyidentifythehuman
behaviorcategoriesofinputdatathroughcomputers.Comparedwithhumanaction
recognitionbasedonvideosequences,skeleton-basedhumanactionrecognitionhasthe
advantagesoflowerdatadimensionsandcomputingrequirements,morefocusonthe
behavioritself,andstrongerrobustness.Themethodofgraphconvolutionnetworkshas
becomethemainstreamapproachforskeleton-basedhumanactionrecognitiontasksin
recentyears,owingtothecompatibilitybetweenskeletondataandgraphconvolution.
However,t