基于视觉的手势识别跟踪及人机交互研究-计算机应用技术专业论文.docx

摘 摘 要 Ab Abstract – – I – – – PAGE IV – 摘 要 随着计算机技术的发展，人机交互系统越来越多地考虑用户的体验感、方便性， 逐步在向以用户为中心发展。手势由于其直观、简单的特点，基于手势的人机交互系 统有着广阔的应用前景。本文介绍了基于视觉的手势识别跟踪的发展过程及主要技术 难点。针对基于视觉的长时间实时手势跟踪中手势容易发生形变、手势在跟踪窗口的 暂时性消失、复杂背景跟踪等几个技术难点展开具体研究。 在手势的识别部分，介绍了几种常用的特征描述子及分类效率较高的分类器，例 如 AdaBoost、RandomForest 等。由于手势较易发生形变及系统对实时性的要求，本 文设计了基于几种矩阵 Haar 特征的 AdaBoost 级联分类器能够快速实现手势的识别 过程，并对实验结果进行了分析。 为解决在长时间跟踪中手势暂时性消失引起的跟踪失败等问题，本文提出了跟踪 -学习-检测的跟踪框架。跟踪器和检测器同时独立进行，通过跟踪得到的目标手势用 来进行检测器的训练，对手势的形变问题能有效解决；检测器与跟踪器的同步运行能 够及时纠正跟踪器，保证跟踪的稳定性；另一方面通过学习过程对检测器进行错误估 计，防止再次出现类似检测错误。鉴于人机交互系统对实时性的要求，采用金字塔 LK 跟踪算法，利用 Random Forest、NCC、均方差过滤多层检测器提高了系统的实 时性及稳定性。 最后在 Microsoft Visual 2008 环境下实现了手势模拟鼠标的人机交互系统，采用 较简单的两种手势实现鼠标的简单操作，最终通过实验验证了本文手势识别跟踪算法 的实时性及稳定性。 关键词：手势识别；手势跟踪；金字塔光流算法； Random Forest；Haar 特征 AdaBoost 级联分类器 Abstract Along with the development of computer telechnology, Human-Computer Interaction system (HCI) take into considersation of users’conveniences, experiential sensory. The tendency of HCI has turned from computer oriented to human oriented. For intuitive and sample of the hand gesture, HCI based on hand gesture is a promising technology in the future. This dissertation discusses the key problem and development of hand gesture recognition and tracking based on computer vision. The dissertation studies on the deformation and temporary disappear that happen in long real-time hand gesture and recognition based on computer vision. Regarding the hand gesture recognition, the dissertation recommends the common descriptor and classifier, such as AdaBoost, Random Forest. Given the demand of real-time this dissertation put forward AdaBoost cascade classifier based on Haar feature and analysis the experiment result. In order to settle the fail caused by object temporary disappear, this dissertation put forward the frame tracking-learning-detection. The tracker and detector perform simultaneously. The tracker follows the hand gesture from frame to frame. On the other hand the detector localizes the hand gestu