基于深度学习R-CNN模型的人体动作识别系统设计.pdf
湖南商务职业技术学院毕业设计
目录
1引言1
1.1项目背景与意义1
1.2项目目标1
2相关技术与工具介绍1
2.1RCNN模型概述1
2.2目标检测技术2
2.3PyQt框架介绍3
2.4开发环境与工具4
2.4.1Python简介4
2.4.2PyCharm简介4
2.4.3第三方库简介5
2.4.4Tensorflow框架6
3方法设计与实现6
3.1数据集收集与预处理6
3.1.1数据集的获取6
3.1.2数据集预处理8
3.2深度学习模型选择与设计10
3.2.1深度学习模型选择10
3.2.2模型设计11
3.3模型的编译与训练13
3.4模型的评估与优化14
3.4.1模型的评估14
3.4.2模型的优化15
3.5前端设计与实现15
3.5.1系统前端设计15
3.5.2设计效果展示及分析16
4小结18
I
湖南商务职业技术学院毕业设计
参考资料19
II
湖南商务职业技术学院毕业设计
基于深度学习R-CNN模型的人体动作识别系统设计
1引言
1.1项目背景与意义
机械制造行业是我国工业体系的重要组成部分，在经济社会中有重要地位，
但由于我国机械制造行业起步较晚，现面临转型升级、技术进步等方面的挑战。
因此，发展智能制造，提高关键技术创新能力，是机械制造业未来发展的重点
方向。本文以模块式的方法对智能人体动作识别系统进行建立，首先对于视频
中出现的目标人体，将先通过人体目标检测模型来定位其在视频中各帧的位置；
在得到人体位置之后，通过人体姿态估计模型来得到每个人的动作表达特征；
最后，将视频中目标人体的动作表达特征输送入人体动作识别模型，来完成对
目标人体的动作识别
1.2项目目标
为实现从视频中识别人体动作，本文的思路是从视频中提取目标人体的骨
架信息，之后通过以骨架信息作为动作判别依据，来完成视频中目标人体的动
作识别。对于输入视频，本文首先聚焦于单帧图片，通过使用人体目标检测模
型来定位出图片中人体位置，位置表示方式是一个包络人体的矩形框，通过此
种策略来将人体从复杂背景中分离出来，降低背景及其他干扰因素对后续步骤
的影响；之后，利用人体姿态估计网络来对每个矩形框内的人体进行关键点坐
标定位。
通过上述两步之后，便可以得到单帧图片中目标人体的骨骼关键点信息，
之后，依次对视频中剩余所有帧完成上述两步操作，即可得到视频中目标人体
的时空骨骼点序列。在此基础上，选择一个动作识别模型对时空骨骼点序列进
行特征提取与学习，最终实现对视频中目标人体的动作识别。
2相关技术与工具介绍
2.1RCNN模型概述
RCNN（Region-basedConvolutionalNeuralNetworks）是一种用于计算机视
觉任务，特别是目标检测任务的深度学习模型。它由RossGirshick等人于2014