基于手势识别的机械臂人机交互控制系统研究.pdf
摘要
伴随着科技的发展,机械臂的应用领域越来越广,为了实现一种更为简洁直观
的机械臂控制方法,本文设计并实现了一种基于手势识别的机械臂人机交互控制
系统。该系统将基于视觉的手势识别技术引入机械臂控制系统,通过相机捕捉用户
的手部动作并识别,将其转换为机械臂的运动指令,根据指令实现机械臂运动控制。
本文主要工作如下:
1YOLOv5
()针对手势检测模型体积大、难以应用于资源有限的设备等问题,
提出了一种基于改进YOLOv5的手势检测算法。在传统YOLOv5算法基础上进行
FastNetC3CBSGhostNet
了改进,首先,利用重构模块,然后,将模块替换为中
GhostConvBackboneSE
模块,最后,在网络末端加入注意力机制模块。改进后的
模型在保证检测精度的同时,体积大幅度缩小,更适用于资源有限的边缘设备。
2IYOLOv5-MedImprovedYOLOv5Mediapipe
()提出一种基于()的手势识
别方法。该算法将上述改进的YOLOv5算法和Mediapipe方法结合,包括手势检
测和手势分析两部分,手势检测部分,使用改进YOLOv5算法定位手部区域。手
势分析部分,对手势检测部分定位到的手势区域进行手部关键点检测,并提取相关
特征,然后通过朴素贝叶斯分类器进行识别。该算法一方面可以分别提升手势检测
和手势分析的性能,增加识别的鲁棒性,另一方面可以降低训练的时间成本,方便
应用于手势识别任务中的不同场景。
3
()为实现精确的手部动作控制机械臂,对机械臂进行了详细的运动学分析
D-HDenavit-Hartenberg
和工作空间仿真。首先对本文所用机械臂建立基于()参数
的运动学模型,随后进行了机械臂正逆运动学分析并仿真验证。最后,采用蒙特卡
洛数值方法对机械臂末端的可达工作空间进行仿真,以获取机械臂的关键性能参
数,如关节旋转限制和运动范围。这些步骤对于优化控制算法、提升机械臂精度、
降低操作风险至关重要。
4
()针对传统预编程机械臂人机交互控制方式灵活性差、操控门槛高等问题,
设计并实现了一种基于手势识别的机械臂人机交互控制系统。首先从IYOLOv5-
Med算法得到的手部信息中提取手部位置信息和手势信息,然后结合上述机械臂
分析结果,利用手部位置信息,即手部关键点位置坐标,控制机械臂跟随移动,手
势信息控制机械臂执行特定任务。
研究结果表明,该系统可以准确识别用户手部动作,进而控制机械臂,相比于
传统的机械臂操控方法,操控门槛低且更为灵活。同时也引入了一种更为直观的人
机交互方式,为研究其他智能机器人控制系统提供了参考。
关键词:机械臂,人机交互,手势识别,YOLOv5,Mediapipe,运动学
Abstract
Withthedevelopmentofscienceandtechnology,theapplicationfieldofmanipulatorsis
moreandmoreextensive.Torealizeasimplerandmoreflexiblemanipulatorcontrolmethod,
thispaperdesignsandimplementsamanipulatorhuman-computerinteractioncontrolsystem
basedongesturerecognition.