基于深度学习的人体行为识别方法研究.pdf

基于深度学习的人体行为识别方法研究

摘要

视频作为一种重要的传播媒介，蕴含着丰富的信息，但这些信息过去需要手动提

取，既耗时又费力。随着深度学习的发展，许多基于视频理解的深度学习任务已经出

现，其中人体行为识别是最重要的任务之一。为了克服计算成本高、难以处理长期依

赖关系和特征融合难度大这些问题，本文综合利用视频帧中的静态空间特征和帧之间

的时序动作特征，对人体行为识别方法进行深入研究。主要研究内容如下：

（1）针对三维卷积在处理视频数据时计算成本高、信息容易丢失的问题，提出了

一种基于残差网络的ER3D模型。该模型主要用于提取视频中包含的空间信息，通过使

用深度可分离卷积降低模型的计算参数量，并采用反向瓶颈结构减少特征在维度变化

时的损失。同时增加网络基础通道数和卷积核尺寸以提高特征提取能力。为了保证网

络的稳定性，减少了激活函数和归一化层的使用次数。在UCF101人体行为数据集上，

ER3D模型的识别准确率为90.6%，优于同类主流识别模型，表明了该模型能够更高效

地对视频中的空间特征进行建模。

（2）针对双流网络对于长篇视频处理能力较弱的问题，提出了一种基于注意力机

制的TemporalVisionTransformer模型。该模型主要用于提取视频中包含的时序信息，

由于模型无法对整张图片直接进行处理，因此提出顺序分块和压缩分块两种视频帧分

块方式，其中压缩分块方式更好得保留了多张连续视频帧中时间维度的信息。分块后

的视频帧作为模型的输入，通过在其结构中引入全新的时空注意力机制，提取视频帧

之间的时序动作特征。在UCF101人体行为数据集上，TemporalVisionTransformer模型

的识别准确率为92.4%，优于大部分同类主流识别模型，表明了该模型对视频中的时序

特征提取时具备出色的竞争力。

（3）为了解决单一模型提取到视频中特征表达能力不够充分的问题，提出了一种

空间和时序双通道网络的融合模型，该融合模型的两条通道分别使用ER3D空间特征提

取网络和TemporalVisionTransformer时序特征提取网络，由于两个网络最后提取到用

于分类的特征图尺寸相同，因此把两个特征图在经过全连接层前进行特征融合。在

UCF101人体行为数据集上，融合模型的识别准确率为93.6%，优于同类主流识别模型，

表明了该模型能够综合利用提取到的视频空间特征和时序特征，融合两种特征之间的

优点，进一步提高人体行为识别准确率。

关键词：深度学习；人体行为识别；卷积神经网络；注意力机制；特征融合

基于深度学习的人体行为识别方法研究

Abstract

Asanimportantmediumofcommunication,videocontainsrichinformation,butinthe

past,itrequiredmanualextractionandclassification,whichwastime-consumingandlaborious.

Withthedevelopmentofdeeplearning,manydeeplearningtasksbasedonvideounderstanding

haveemerged,amongwhichhumanactionrecognitionisoneofthemostimportanttasks.In

ordertoovercometheproblemsofhighcomputationalcost,difficultyinhandlinglong-term

dependencies,anddifficultyinfeaturefusion,thispapercomprehensivelyutilizesstaticspatial

featuresinvideoframesandtemporalactionfeaturesbetweenframestoconductin-depth

researchonhu