9第九章 基于视觉的机器人控制.pptx

第9章基于视觉的机器人控制

9.1图像处理黑白图像与右侧对应的灰度直方图

9.1图像处理图像可以被分为特定数目的图像块，不同的图像块与环境中的不同目标或者同一目标相对应。每一个图像块的组成相对于某一个或多个特征来说都是相似的。9.1.1图像分割图像分割的方法：基于找到图像中的连通区域基于边界检测

9.1图像处理9.1.1图像分割基于区域的分割技术持续合并初始相邻像素小块，组成较大图像块，最后获得连通区域。阈值方法是一种常用的区域分割方法。在这种方法中，令光强度只有两个值（0和1），即二值分割或图像二值化二进制图像

9.1图像处理9.1.1图像分割基于边界的分割技术通过对很多单一区域边界进行归类得到边界。通过这种方法得到光强度锐变的像素集。该方法首先从原始灰度图像中基于局部边缘提取中间图像，然后通过边缘连接构成短曲线段，最终通过提前已知的几何原理将这些曲线段连接起来构成边界。

9.1图像处理9.1.1图像分割基于边界的分割技术通过对梯度幅值大于阈值的像素进行分组来实现边缘提取，灰度变化最大的方向即为梯度向量的方向。要完成梯度计算，需要求取函数I(X1,Y1)沿两个正交方向的方向导数。最常用的算子：Roberts算子：Sobel算子：采用Roberts（左）和Sobel算子（右）得到的图像轮廓

9.1图像处理?

9.1.2图像解释9.1.2图像解释图像解释指的是从分割图像中计算特征参数，不论这些特征是以区域还是以边界的方式进行表示。帧存储中区域R的矩mi,j假设区域R中所有点的光强度都等于一，可得简化的矩：矩m0,0恰好等于区域的面积区域的形心中心矩相对于轴XI和YI，二阶中心矩μ2,0和μ0,2分别具有惯性力矩的含义，而μ1,1为惯性积，矩阵具有相对于质心的惯性张量的含义。

9.1.2图像解释9.1.2图像解释若区域R是非对称的，则I的主矩不同，可以用对应于最大矩的主轴与轴X之间夹角α的形式来表示R的方向。该角度可用以下方程计算二值图像区域与特征参数

9.2位姿获取图像的特征参数集定义了一个(k×1)向量s，称作特征向量。某一点的特征向量s定义为而是s在齐次坐标中的表达。

9.2位姿获取9.2.1解析解参考坐标系Oc-xcyczc固连于相机，参考坐标系Oo-xoyozo固连于目标。假设目标为刚性，令为目标位姿相对于相机的齐次变换矩阵相机参考系点在图像平面中的投影坐标为特征向量为目标上的点相对于相机坐标系的齐次坐标可表示为点在图像平面上投影的齐次坐标

9.2位姿获取9.2.1解析解相机参考系点在图像平面上投影的齐次坐标两侧都乘以斜对称矩阵H为（3×3）矩阵H是线性的，该式可以改写为要计算h，必须至少考虑4个点，得到

9.2位姿获取9.2.1解析解相机参考系上式中，有测量点会存在噪声，要克服测量噪声的影响，一个可用的解法是根据给定范数计算最接近Q的旋转矩阵例如，计算令Frobenius范数最小化的旋转矩阵，Frobenius范数如下：

9.2位姿获取9.2.2相互作用矩阵目标相对于相机的相对速度：s和之间的转换方程为相机坐标系绝对速度目标坐标系绝对速度可以改写为：转换方程改写为：交互矩阵：

9.2位姿获取9.2.2相互作用矩阵·点的交互矩阵某一点P在相机坐标系中的表示求导，得到：交互矩阵表达式点的图像雅可比矩阵

9.2位姿获取9.2.2相互作用矩阵·点集的交互矩阵若表示与点Pi相对应的交互矩阵，则点集的交互矩阵为(2n×6)维矩阵

9.2位姿获取9.2.2相互作用矩阵·线段的交互矩阵线段在图像平面上的投影仍为线段，可用线段中点的坐标、线段长度L和线段与轴X的夹角α来表示。因此特征向量可定义为计算该方程的时间导数得

9.2位姿获取9.2.2相互作用矩阵·线段的交互矩阵线段的交互矩阵为

9.3相机标定标定包括内参数估计和外参数估计内参数表征矩阵Ω外参数：相机坐标系相对于基坐标系或相对于末端执行器坐标系的位姿。“眼到手”相机的外参数“眼到手”相机的外参数

9.3相机标定内参数计算方法从像素坐标开始，计算平面单应性关系：根据H的定义，得到进行正交和单位范数约束改写为b=[b11b12b22b13b23b33]T，其中bij为下式所示矩阵中的一般元素：将上述步骤重复k次，得到内参数表达式

9.4视觉伺服基于位置的视觉伺服，又称操作空间视觉伺服基于