基于改进图卷积神经网络的人体异常行为识别研究.pdf

摘要

人类行为识别是计算机视觉领域的一个重要且具有挑战性的研究方向，而

关注异常行为识别更有意义。监测视频中的人体是否出现跌倒或晕倒的异常行

为，以免错过最佳救助时间对相关工作人员的健康至关重要。越来越多的研究

者基于深度学习的方法进行动作识别，提升了关键区域内异常行为识别的效率，

但针对视频的行为识别研究依然面临着寻找鲁棒性强的数据挑战。

鉴于骨架数据具有计算成本低、对光线变化、摄像角度和复杂背景抗干扰

能力强等优点。本文从视频中提取人体骨骼的关键点，并将其应用到改进的图

卷积神经网络中，从而实现对人体行为的识别和异常的判断。本文的主要工作

如下：

（1）基于深度学习人体姿态估计算法逐帧提取视频序列中的人体骨骼关键

点，采用高精度自顶向下的AlphaPose模型，针对其原始模型在多人姿态估计

检测视频中容易出现错检、漏检等问题，使用YOLOv7算法对AlphaPose的目

标检测模型进行优化，在保证检测精度的基础上，进一步提升了目标检测速度。

（2）针对现有的许多研究模型只考虑获取连续骨架序列之间的时序信息，

欠缺对空间特征建模的能力等问题，提出了一个基于时空图卷积网络（Spatio-

TemporalGraphConvolutionalNetwork,ST-GCN）的NAM-STGCN异常行为识

别网络，它通过融合归一化注意力机制解决图卷积网络在骨骼关键点特征聚合

时不够有效的问题，并优化时间卷积模块与残差模块结构，使其在时空维度上

更有效的提取动作特征信息。在自建行为数据集、KTH和Le2i数据集上分别

进行实验，结果表明本文提出的模型损失值降低到0.1以下，识别准确率达到

97.62%,相比基线网络提升了7.14%，与其他方法相比具有很好的竞争力。

（3）针对时空图卷积拓扑图很难捕获无物理连接的骨骼点之间的联系，提

出了一个基于高效通道注意力增强的双流自适应图卷积网络（EfficientChannel

AttentionEnhancementforTwo-StreamAdaptiveGraphConvolutionalNetwork,

ECAE-TSAGCN）。构建嵌入时空通道注意力模块STC的骨骼流和关节流的双

流融合模型，在时空特征提取过程中引入高效通道注意力机制，重新分配特征

通道权重，增加有效特征权重、减小无效特征干扰。同样在数据集上进行消融

实验，结果表明，相比基线网络提高了2.38%，识别准确率可达98.81%，与其

他先进方法对比，本文所提模型进一步提升了对相似行为的识别能力。

关键词：异常行为识别，图卷积神经网络，时空信息，注意力机制，AlphaPose

Abstract

Humanbehaviorrecognitionisanimportantandchallengingresearchdirection

inthefieldofcomputervision,andfocusingonabnormalbehaviorrecognitionis

evenmoreresearchsignificant.Monitoringthehumanbodyinthevideoforabnormal

behaviorssuchasfallingorfaintingsoasnottomissthebesttimetohelpiscrucial

forthehealthofthestaffconcerned.Moreandmoreresearchersareusingdeep

learning-basedmethodsforactionrecognition,whichimprovestheefficiencyof

abnormalbehaviorrecognitionincriticalareas,butbehaviorrecognitionresearchfor

videosstill