基于稀疏时空特征的人体行为识别分析-计算机科学与技术专业论文.docx

基于稀疏时空特征的人体行为识别研究中文摘要 基于稀疏时空特征的人体行为识别研究 中文摘要 基于稀疏时空特征的人体行为识别研究 中文摘要 人体行为识别是计算机视觉研究热点之一，同时也是实现人工智能的重要手 段，在运动分析、智能视频监控、人机交互、虚拟现实、医疗看护等领域都具有 十分广泛的应用前景。 为了从海量视频数据中自动获取与人体行为相关的信息，本文以机器学习领 域最新方法——深度学习作为技术手段，着重研究深度学习中多尺度输入数据、 时空深度置信网络的改进以及不同的池化策略，并将所研究的深度学习框架应用 到人体行为识别中。具体如下： 1）针对现有深度学习方法输入局限于单一尺度数据，而现实场景中目标对 象往往呈现尺度多样性的这一实际，考虑到不同尺度间的信息交流，基于 Chen 提出的 ST-DBN 模型，将时空 Gabor 滤波后形成 3 个不同尺度的数据作为 ST-DBN 模型不同通道的值，联合学习多尺度的特征。在 KTH 数据集上的实验结果表明 多尺度学习的特征要优于单一尺度学习的特征。 2）针对 Chen 的 ST-DBN 模型采用空间信息优先于时间信息的学习方式， 并不适合于行为分析的情况，基于大量的运动分析问题中时间信息优于空间信息 这一先验，改进原始 ST-DBN 模型为 TS-DBN 模型。实验结果表明，无论是单 尺度还是多尺度数据下的特征学习，改进后的 TS-DBN 模型的行为识别效果均 优于 ST-DBN 模型。 3）针对神经网络训练时容易出现过拟合的问题，也为了提高行为特征的尺 度不变性，提出了稀疏金字塔池化策略。该方法引入空间金字塔思想对空间域 CRBM 的池化输出进行多级扩充，并采用重叠池化操作调整池化参数，在一定 程度上提高了池化方法的性能。同时为了降低特征描述的复杂度，采用稀疏编码 从高层语义上进行金字塔多级特征的融合。实验结果表明，稀疏的金字塔池化策 略要优于传统的概率最大值池化策略，而且从宽度上进行的网络结构拓展，其识 别效果完全不亚于更深一层网络结构的识别结果。 4）基于前面三个方面的研究，分别在 KTH 数据库和 UCF 体育数据库上进 行了基于稀疏时空特征学习的行为识别应用。实验结果表明基于深度学习方法可 I 中文摘要基于稀疏时空特征的人体 中文摘要 基于稀疏时空特征的人体行为识别研究 以自动提取稀疏时空特征，获得与人工设计特征相匹配的识别效果，而相对于传 统的时空深度置信网络，本文提出的改进方法在识别率上有了一定程度的提高。 关键词：行为识别，CRBM，TS-DBN，3D Gabor，池化，稀疏编码 作 者：王露 指导老师：龚声蓉 教授 本文的研究工作受国家自然科学基金（No61170124， 以及江苏省产学研联合创新资金项目（No.BY2014059-14）资助。 II Res Research on human action recognition based on sparse spatio-temporal features Abstract PAGE PAGE IV Research On Human Action Recognition Based On Sparse Spatio-temporal Features Abstract Human action recognition is a hot spot in computer vision, and also an essential way to realize the Artificial Intelligence. It has a wide application prospect in many fields, such as motion analysis, intelligent video surveillance, human-computer interaction, virtual reality, medical care, intelligent security, and so on. In order to automatically obtain action related information from the massive video data, we focus on multi-scale representation of inputs, the improvement of space-time deep belief network and different pooling strategies based on a new method called deep learning in the field of mac