3D视觉原理与应用---相机模型与标定.docx
1.?相机模型
相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程能够用一个几何模型进行描述。这类模型有很多种，其中最简单的称为针孔模型。针孔模型是很常用，而且有效的模型，它描述了一束光线通过针孔之后，在针孔背面投影成像的关系。同时，由于相机镜头上的透镜的存在，会使得光线投影到成像平面的过程中会产生畸变。因此，我们使用针孔和畸变两个模型来描述整个投影过程。
1.1?针孔相机模型
在物理课堂上，我们可能都见过一个蜡烛投影实验：在一个暗箱的前方放着一支点燃的蜡烛，蜡烛的光透过暗箱上的一个小孔投影在暗箱的后方平面上，并在这个平面上形成了一个倒立的蜡烛图像。在这个过程中，针孔模型能够把三维世界中的蜡烛投影到个二维成像平面。
图1：针孔相机模型
如图1所示，来对这个简单的针孔相机模型进行几何建模。设O-x-y-z为相机坐标系，习惯我们让z轴指向相机前方，x向右，y向下，O为摄像机的光心，也是针孔模型中的针孔。
P为相机坐标系下的一点，经过小孔O投影之后，落在物理成像平面O′-x′-y′上，成像点为P′，并且设物理成像平面到小孔的距离为f(焦距)。
图2：针孔相机模型的三角形关系
那么，如图2所示，根据三角形相似关系，有
上式中，负号表示成的像是倒立的。
图3：针孔模型的简化
为了简化模型，如图3所示，我们把可以成像平面对称到相机前方，和三维空间点一起放在摄像机坐标系的同一侧，这样做可以把公式中的负号去掉，使公式更加简洁：
把成像平面放在摄像机坐标系的同一侧，这是一种我们处理真实世界与相机投影的数学手段，并且，大多数相机输出的图像并不是倒像，相机自身的软件会帮你翻转这张图像，所以你看到的一般是正着的像，也就是对称的成像平面上的像。所以，尽管从物理原理来说，小孔成像应该是倒像，但由于我们对图像作了预处理，所以理解成在对称平面上的像，并不会有影响。
整理后得到：
上面两式描述了点P和它的像P′之间的空间关系。
1.2?各个坐标系的定义
1）世界坐标系（worldcoordinate）
以被测物体上的点作为参考，定义的绝对坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置，单位是米。
2）相机坐标系（cameracoordinate）
以相机光心为坐标原点，主光轴上物体方朝焦点方向为z轴，平行于sensor平面的两条垂直边分别为x和y轴，单位是米。
3）图像坐标系（filmcoordinate）
以主光轴与sensor的交点为坐标原点，平行于sensor平面的两条垂直边分别为x和y轴，这个平面是建立在实际成像面上的，是个二维坐标系，单位是毫米。
4）像素坐标系（pixelcoordinate）:
平行于sensor的虚拟成像平面，左上角顶点为原点，x轴和y轴都平行于图像平面，以像素为单位。
1.3?坐标系转换
1.3.1?从世界坐标系到相机坐标系
由于相机在运动，所以点P的相机坐标Pc应该是它的世界坐标Pw，根据相机的当前位姿，变换到相机坐标系下的结果。相机的位姿由它的旋转矩阵R和平移向量t来描述。那么有
刚体变换公式为
齐次坐标形式为
1.3.2?从相机坐标系到图像坐标系
从相机坐标系到图像坐标系就是直接运用针孔成像原理。
齐次坐标形式为
1.3.3?从图像坐标系到像素坐标系
像素坐标系通常的定义方式是：原点o′位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。
用数学式表达如下
齐次坐标形式为
dx，dy：表示图像单个像素的宽和高，单位为mm/pixel；
(cx,cy)：表示图像中心点的像素坐标，即主光轴与sensor平面的交点。
1.3.4?从相机坐标系到像素坐标系
上式中，
其中，fx、fy的单位为像素。
我们把中间的量组成的矩阵称为相机的内参数矩阵K。
通常认为，相机的内参在出厂之后是固定的，不会在使用过程中发生变化。有的相机生产厂商会告诉你相机的内参，而有时需要你自己确定相机的内参，也就是标定。
1.3.5从世界坐标系到像素坐标系
其中
我们把旋转矩阵R和平移向量t组成的矩阵称为相机的外参数矩阵M。
相比于不变的内参，外参会随着相机运动发生改变。
内参K与外参M的乘积，是一个3×4的矩阵，称为投影矩阵，该矩阵可体现任意空间点的图像像素坐标与世界坐标之间的关系。
通过从世界坐标系到像素坐标系的公式可知，若已知投影矩阵和空间点世界坐标，则可求得空间点的像素坐标，因此，在线性模型中，一个物点在成像平面上对应唯一的像点。但反过来，若已知像素坐标和投影矩阵，代入以上公式，只能得到关于空间点世界坐标的两个线性方程，这两个线性方程表示的是像点和光心的连线，即连线上所有点都对应着该像点，由此可知，在线性模型中，一个像点对应的物点