基于单目相机和深度学习的位姿测量方法研究.pdf

摘要

在工业机器人、自动控制以及质量检测等工业领域中，物体位置与姿态的测量

有着重要的应用价值。在工程应用中，利用工业相机实现自动搬运托盘的叉车在一

定程度上节约了人力成本，而实现自动搬运则需要掌握相机与托盘相对位姿的数据。

相机与托盘相对位姿的测量精度在很大程度上影响自动叉车搬运的效率，基于对位

姿测量精度的需求，本文在单目相机和深度学习的基础上，提出了采用光学成像及P

nP位姿估计两种不同的方法对相机与托盘的相对位姿进行测量，分析两种位姿测量

方法的精度，主要完成以下工作：

（1）利用深度学习的方法对托盘进叉口进行自动识别与检测。首先介绍了当前

常用的Two-Stage和One-Stage两种目标检测算法。在分析两种目标检测方法的基础

之上，采用YOLOV5对本研究中的托盘进叉口进行目标识别及检测，获取托盘进叉

口所在的大致范围。

（2）利用图像处理方法对采集的图像进行预处理及亚像素级的角点检测。首先

介绍了图像处理地基础理论及方法，再利用灰度化、滤波、边缘检测等方法对本研

究中采集的托盘进叉口图像进行处理，在托盘进叉口所在的大致范围内利用角点检

测算法对托盘进叉口四个角点坐标进行检测，并利用亚像素角点提取算法对得到的

角点坐标进一步提取，以便达到更好的测量效果。实验结果表明亚像素角点提取算

法可以将角点坐标精确至千分之一，能够有效地提高位姿测量精度。

（3）提出一种深度学习与图像处理及光学成像相结合的位姿测量方法，结合相

似三角形测距原理对相机相对于托盘进叉口的位姿进行测量，通过多组实验验证该

位姿测量方法。实验结果表明在相机距离托盘进叉口1m~4m距离范围时，距离误差

均在4cm以下，误差最大值为3.9cm，误差最小值为0.7cm，基本满足工业需求。角

度误差主要集中在5°以内，误差最小值为0.039°。

（4）提出一种深度学习与图像处理及PnP位姿估计相结合的托盘进叉口位姿测

量方法，结合相机标定对相机相对于托盘进叉口的位姿进行测量，并通过多组实验

验证该位姿测量方法的测量精度。实验结果表明在相机距离托盘进叉口1m~4m距离

范围时，距离误差均在3.5cm以下，误差最大值为3.2cm，误差最小值为0.1cm。角

度误差主要集中在3°以内，误差最大值为2.95°，误差最小值为0.01°。

关键词：目标检测；位姿测量；光学成像；图像处理；角点检测；PnP位姿估计

ABSTRACT

Measuringthepositionandattitudeofobjectshasimportantapplicationsinindustrial

applicationssuchasindustrialrobotics,automationandqualityinspection.Inengineeringa

pplications,theuseofindustrialcamerastoautomatepallethandlingbyforkliftssaveslabo

rcoststoacertainextent,buttheautomatedhandlingrequiresdataontherelativeposition

ofthecameratothepallet.Theaccuracyofthecamera-palletpositiondatagreatlyaffectst

heefficiencyofautomatedforklifthandling.Basedontheneedforpositionmeasurementa

ccuracy,thispaperpresentstwodifferentmethodsformeasuringtherelativepositionsofca

meraandpalletusingopticalimagingandPnPpositionestimationbasedonmonocularcam

eraanddeeplearningconditions,andanalysestheaccuracyofthetwopos