《计算机视觉》 课件 8、三维视觉重建.pptx

计算机视觉主编胡永利副主编段福庆王爽参编王少帆权豆姜华杰郭岩河战略性新兴领域“十四五”高等教育系列教材机械工业出版社

8、三维视觉重建三维重建介绍多视几何基于立体视觉的三维重建其他三维信息获取技术

3三维重建1.数据采集与获取2.图像预处理3.摄像机标定4.特征匹配与配准5.深度估计与点云生成6.点云处理与拓扑关系表面重建于纹理映射优化与精细调整目的与任务

4三维重建1.文化遗产保护2.建筑设计与城市规划3.医学影像与手术规划4.虚拟现实与娱乐5.工业制造与维护应用邻域

8、三维视觉重建三维重建介绍多视几何基于立体视觉的三维重建其他三维信息获取技术

?多视几何

极几何关系根据投影关系，可以得到三维点在两幅图像上对应的像素位置令，，有整理化简后有重新代入，有其中表示基础矩阵，为本质矩阵多视几何

基础矩阵估计由基础矩阵的推导过程可以知道，一对对应点可以提供一个关于基础矩阵的约束方程。设一组对应点和，齐次坐标分别为和，由此可以得到多视几何

基础矩阵估计整理后可写为即多视几何

基础矩阵估计秩2约束基础矩阵F的秩为2，这是基础矩阵的一个重要性质。如果用一个秩不为2的矩阵作为基础矩阵，则用它估计的极线不交于极点。然而，利用上式所确定的基础矩阵F一般是满秩的，因此必须用一个秩为2的矩阵去逼近基础矩阵作为其估计，即，求解下述最小化问题并对矩阵F进行奇异值分解得到多视几何

8、三维视觉重建三维重建介绍多视几何基于立体视觉的三维重建其他三维信息获取技术

12基于立体视觉的三维重建基于两视角的SFM方法：通过在不同位置拍摄的两幅图像来恢复摄像机的运动以及场景的三维结构摄像机内参数标定寻找图像间的对应点计算基础矩阵通过基础矩阵估计摄像机的运动参数获得三维点坐标基于StructurefromMotion的三维重建

基于StructurefromMotion的三维重建得到基础矩阵后，可以由摄像机内参数矩阵得到本质矩阵，并根据SVD分解可以得到以下结果由分解结果可以发现，对于任意一个本质矩阵，存在4个可能的旋转和平移运动的组合，分别为其中，

基于StructurefromMotion的三维重建四种结果可写为，分别对应如下

基于StructurefromMotion的三维重建根据得到的摄像机位姿和内参数矩阵确定投影矩阵根据空间点在两幅图像下的图像点和可以得到其中为图像点对应的投影矩阵。通过SVD方法求解该方程组得到三维点坐标

基于StructurefromMotion的三维重建多视角的运动视觉多视角的运动视觉通过每次添加一幅图像，依次使用多幅图像进行三维重建。也可以通过融合三维重建结果进行多视角下的三维重建捆绑调整计算出投影矩阵和重建结果后，通过投影矩阵将重建投影到图像平面上，通过最小化投影点和实际图像点之间的距离，来优化投影矩阵和重建结果

基于多目立体视觉MVS的三维重建视差与深度：计算机双目视觉就是通过两个摄像机获得图像信息，计算出视差，从而使计算机能够感知到三维世界。设和分别为和在对应像平面坐标系下的水平方向的坐标，那么三维点在左右摄像机的视差可以定义为

基于多目立体视觉MVS的三维重建两个成像点和之间的距离为根据相似三角形理论可以得到整理后可以得到深度与视差的关系

基于多目立体视觉MVS的三维重建2.极线矫正：对左右图像进行极线校正，使得两幅图像的光心位于同一水平方向上。首先定义新的摄像机坐标系：轴基向量为，轴为与轴正交的任意单位向量。轴基向量即可使用右手法则得到。第二步重新计算新的内参数矩阵第三步为矫正过程，即计算变换矩阵，将原图像上的像素变换到校正以后的新图像上的像素。

基于多目立体视觉MVS的三维重建极线矫正示例

基于多目立体视觉MVS的三维重建立体匹配：指在经过极线校正后的左右图像中寻找对应点的过程。