基于视觉感知和深度信息融合的机器人目标抓取研究.pdf
摘要
摘要
随着人工智能技术的飞速发展，机器人在工业自动化、服务机器人以及医疗辅助等
领域的应用越来越广泛。机器人的核心功能之一是实现智能识别物体并进行抓取，目前
机器人抓取主要依赖于基于视觉感知的目标检测方法，在训练数据小样本等问题上，存
在较大的检测准确性瓶颈。为了进一步提高目标检测的准确性和抓取成功率，本文利用
Xtark机器人和RealSenseD435i深度相机作为硬件平台，并结合基于视觉感知和深度信
息融合的目标检测算法和路径规划算法作为软件支持，实现对目标物体的智能识别与抓
取。主要进行了以下研究：
（1）针对本文机器人目标抓取任务，根据任务和应用场景进行需求分析，明确了
抓取系统的性能指标，进行系统软硬件平台搭建，将目标检测技术与机器人抓取相结合，
完成目标抓取系统流程的整体设计，为后续的研究和实验开展奠定了基础。
（2）进行基于视觉感知与深度信息融合的YOLOv8目标检测。首先，论述了相机
视觉感知和深度信息原理；接着，分析视觉感知与深度信息特征融合策略，对比了早期
融合、后期融合和多尺度融合优缺点；最后，提出了多尺度融合的改进YOLOv8目标算
法，引入跨空间注意力融合模块，有效地利用了深度图像中的深度信息，减轻了深度图
像中深度孔和盲点对模型的副作用，通过C2f-Faster轻量化模块解决特征图的冗余问题，
采用一种基于动态非单调聚焦的边界框损失函数WIOU，优化了梯度增益分配策略，提
升了模型在处理不同大小目标时的平衡性，提高了检测的整体性能。
（3）对机器人目标抓取运动过程进行规划。首先，对于六自由度Xtark机器人，通
D-HRRTRRT-Connect
过参数法进行建模，并进行正逆运动学求解分析；然后，阐述算法、
算法和RRT*算法的原理及步骤，并在RRT*算法基础上增加偏向策略和贪婪策略，通过
MATLAB中对四种算法进行对比仿真实验，相较于RRT*算法，改进的RRT*算法分别
46.5%65.3%MoveIt
在二维平面和三维空间减少了和的运动规划时间；最后，介绍机器
人运动规划控制系统，将四种算法导入OMPL规划器进行运动规划，在仿真中改进的
RRT*算法相较于RRT*算法的平均规划时间减少了69.2%，达到了改进目的。
4
（）在上述工作基础上，进行基于视觉感知和深度信息融合的机器人目标抓取实
验。首先，进行了相机视觉标定工作，完成相机标定和手眼标定；随后，利用自制800
张小样本数据集，对比改进前后目标检测算法性能。实验结果表明，多尺度融合的改进
YOLOv8YOLOv8YOLOv8mAP
算法相较于算法具有更快的损失函数收敛速度，算法的
为92.83％，多尺度融合的改进YOLOv8算法的mAP值为95.17％，相较于YOLOv8算
法提升了2.5％；接着，确定抓取目标中心点的定位，中心点深度误差为1.83％，符合
I
盐城工学院硕士学位论文
设计要求；最后，进行机器人抓取实验，总抓取成功率为89.17%，实验结果验证了所
提出方法的可行性和有效性。
关键词：YOLOv8，机器人抓取，目标检测，运动规划，多尺度融合
II
Abstract
Abstract
Withthe