基于深度学习的手势识别分析-模式识别与智能系统专业论文.docx

摘要 摘要 I I 摘 要 随着科学技术的飞跃发展，人机交互越来越频繁的发生在更多人的身边，为 许多人的生活带来了方便，其中人机手势交互是最为活跃的一个领域。然而手属 于非刚性物体，变化丰富，使得手势识别的难度加大了不少。自 2006 年来深度学 习（Deep Learning，DL）有了长足的发展，它给人工智能带来新的希望，它优异 的表现给了我们足够的信心来完成手势识别这项任务。手势识别是一个复杂的系 统，通常基于计算机视觉的识别系统包括手势定义、图像的获取、处理、分析、 理解。一个好的识别系统往往离不开一个好的前期处理，但是这并不代表图像的 前期处理是最重要的，在本课题中我们把重点放在了手势识别的算法研究上。 在手势识别的实现过程中我们分别从深度学习两个主要方面入手，一是采用 基于限制玻尔兹曼机（Restricted Boltzmann Machine, RBM）的 DL 网络，二是采 用以基于 LeNet-5 卷积神经网络（ HYPERLINK /zhoubl668/article/detailsConvolutional neural network，CNN）的 DL 网络。 本文还提出了一种 CNN 和 RBM 联合网络：利用多个 RBM 形成堆积式网络进行 无监督特征提取，再结合 CNN 的有监督特征提取，最后融合这两类特征进行分类。 仿真结果表明我们提出的联合网络在识别背景简单的手势样本中有更好的表现， 而对于复杂背景的手势样本的识别能力则还有待提高。另外，DL 相对于传统三层 神经网络有明显的优势，同时 DL 极大改善了多层网络的训练问题，从我们的仿真 过程中可以看出多层 DL 的性能要好于传统浅层网络。 针对无人机的手势控制，本文首先定义了十类基本手势，同时又分为简单背 景下的手势样本和复杂背景下的手势样本，并对这些样本做了简单的前期处理。 在静态图像识别中使用了五种网络，分别是深度信念网络（Deep Belief Networks， DBNs）、深度神经网络（Deep Neural Network，DNN）、CNN、CNN 和 RBM 的联 合网络以及传统三层神经网络。针对视频流中的手势识别，本文划分了三个环节 分别是检测、跟踪、识别，并做了详尽的介绍。其结果表明 CNN 能很好的适应复 杂环境下手势的检测、跟踪、识别。 关键词：手势识别，深度学习，限制玻尔兹曼机，卷积神经网络，联合网络 ABS ABSTRACT II II ABSTRACT With the rapid development of science and technology, human-computer interaction is more frequent occurred around more people, bringing convenience to the lives of many people, where human-computer gesture interaction is the most active area. However, the hand is non-rigid objects, rich variations, Increasing the difficulty of the gesture recognition. Deep Learning has made great progress since 2006, it has brought new hope to artificial intelligence, which showing excellent performance gives us enough confidence to complete the gesture recognition task. Gesture recognition is a complex system, usually gesture recognition system based on computer vision includes gesture definitions, image acquisition, processing, analysis and understanding. A good identification system is often inseparable from a good pre-processing, but this does not mean that the pre-processing of the image is the most important. In my paper, I have focused