空间二条相交直线线性求解抛物折反射摄像机内参数

摘要

本发明涉及一种利用空间中二条相交直线线性求解抛物折反射摄像机内参数的方法，该方法是由空间中二条相交直线构成的用于抛物折反射摄像机自标定的靶标（标定物）。使用抛物折反射摄像机对靶标从不同的方向拍摄3幅图像，直线的抛物折反射图像是二次曲线，从图像上提取边界像素点坐标以及3幅靶标图像像点坐标，分别拟合曲线方程，根据调和共轭和两条平行直线的像相交于一点，得出图像平面上正交方向上的消失点的像，利用正交方向上的像对绝对二次曲线的像的约束线性求解摄像机内参数。利用本发明中的靶标可以实现全自动标定，减少了标定过程中由测量引起的误差。由于直线是一种更简洁更全局化的基元，在摄像机标定过程中提高了标定精度。

说明书

技术领域

本发明属于计算机研究领域，涉及一种用于求解抛物折反射摄像机内参数的直线模板。利用空间中二条相交直线作为标定模板，利用正交方向上消失点的像，线性确定抛物折反射摄像机内参数。

背景技术

计算机视觉的基本任务之一，就是从摄像机获得的二维图像信息出发恢复物体在三维空间中的几何信息，从而识别和重建三维空间中物体的几何形状。在此过程中必须确定空间物体点的三维几何位置与其图像中的对应点之间的相互关系，而这种关系又由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数。在大多数条件下，这些参数都是通过实验得到的，这就是摄像机标定。它一般分为传统标定和自标定两种方法，无论哪种标定方法，标定物体都是采用一些特殊的几何模型，例如：平面正方形、三角形、圆、空间立方体及圆柱等等。如何建立这些几何模型与摄像机参数之间的关系尤其是某种线性的关系，是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，可视范围大且保持单视点约束，是现代视觉领域研究热点。文献“Plane-based calibration of central catadioptric cameras”，（S.Gasparini, P.Sturm, J.P.Barreto，IEEE 12th International Conference on Computer Vision, pp. 1195-1202, 2009.）要用到有控制点的二维模板，这些控制点可以是角点、画上去的点或者任何容易由图像上提取的点，但是这种方法需要用迭代的方法求解内参数和外参数。文献“Calibration of central catadioptric cameras using a DLT-like approach”（L.Puig, Y.Bastanlar, P.Sturm, J.J.Guerrero, J.Barreto, International journal of Computer Vision, vol.93, pp. 101-114, 2011.）提出基于三维点的标定，这种方法需要知道单幅图像上三维点的位置。文献“Generic self-calibration of central cameras”（S.Ramalingam, P.Sturm, S.K.Lodha, Computer Vision and Image Understanding, vol. 114, pp. 210-219, 2010.）提出一种自标定方法，无需知道点的空间位置及摄像机位置，但要利用多幅图像上点的对应关系。

直线是场景中最常见的几何元素，且直线的抛物折反射成像一般是二次曲线，二次曲线在摄像机标定过程中有很多良好的性质，因而利用直线对抛物折反射摄像机进行标定是一种简便常用的方法。文献“Geometric properties of central catadioptric line images and there application in calibration”（I.P.Barreto, H.Araujo, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, pp. 1327-1333, 2005.）研究了中心折反射模型下直线图像的几何性质，并提出了适用于任何类型的中心折反射系统的标定方法。文献“Catadioptric camera calibration using geometric invariants”（X.Ying, Z.Hu, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26，No. 10, pp. 1260-1271, 2004.）分析了折反射摄像机内参数与球的成像轮廓之间的关系，他们利用直线和球的投影进行标定，直线提供了三个不变量，球提供了两个不变量。文献“Easy calibration for para-catadioptric-like camera”(Y.wu, Y.Li, A.Hu, IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 5719-5724, 2006.) 建立了关于内参数的线性约束，将中心折反射模型转换为针孔模型，无需进行曲线拟合就可以标定折反射摄相机。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的用于求解抛物折反射摄像机内参数的标定物，该标定物由空间中二条相交直线构成，直线的抛物折反射图像是二次曲线。在求解抛物折反射摄像机内参数的过程中，只需使用抛物折反射摄像机从不同的方向拍摄空间二条相交直线的3幅图像就可以线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

本发明是由空间中二条相交直线构成的用于抛物折反射摄像机自标定的标定物。具体的步骤包括：从图像上提取图像边界点坐标以及空间中二条相交直线在不同方向的三幅图像的像点坐标，拟合边界椭圆方程和空间二条相交直线在不同方向的三幅图像的像点的所形成的曲线方程，根据调和共轭和两条平行直线的像相交于一点，得出三幅图像平面上正交方向消失点的像，利用正交方向消失点的像对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数。

1.拟合图像边界曲线方程

利用Matlab程序中的Edge函数提取出图像边界的像素坐标，并用最小二乘算法拟合出图像边界曲线方程。

2.计算图像中心的初始值

     摄像机的镜面边缘在球模型中对应着一个与虚拟针孔相机光轴垂直的圆（如图1），其中                                                为摄像机坐标系，为世界坐标系，其中为球心，为抛物折反射摄像机中心，和方向为的方向，和平行，和平行，其成像投影是一个椭圆（称为边界椭圆），投影平面垂直于，投影椭圆中心即为图像中心，其坐标为()。成像面不同于一条空间直线的像，成像面边界椭圆是一条较完整的二次曲线，因而能够较好地拟合出它的代数方程。假设边界椭圆的二次曲线表示为，其中为系数，为曲线上的坐标，从而得到，。

3.得到空间中二条相交直线不同方向的三幅图像

假定抛物折反射摄像机固定不动，通过对空间的一对直线进行旋转和平移得到不同方向上的三幅图像。

4.拟合每幅图像的曲线方程以及求出二个曲线的交点

利用Matlab程序中的Edge函数分别提取出三幅图像中的空间直线像点坐标，并用最小二乘算法拟合出曲线方程。再利用Matlab程序中的Solve函数分别求出每幅图像中二个曲线的交点，为第几幅图像，记为。

5.计算每幅图像中二个曲线交点处的切线方程

利用曲线的系数方程和交点坐标，分别求出交点关于曲线的切线方程。

6.计算正交方向上的消失点的像

    在抛物折反射成像模型中（如图1），空间直线在抛物折反射镜面的投影是大圆，且它们的交点是（），是大圆的圆心，同时也是（）的中点，根据调和共轭可求出直线方向上的消失点的像（如图1），直线关于大圆的切线平行于直线（如图2），根据平行直线的像相交于同一点，得到直线的消失点的像（如图1），关于大圆的切线平行直线（如图2），根据平行直线的像相交于同一点，得到直线的消失点的像（如图1）。

7.求解抛物折反射摄像机内参数

使用抛物折反射摄像机拍摄3幅图像，由正交方向上消失点的像对绝对二次曲线的像的约束，线性求解出抛物折反射摄像机的5个内参数，即矩阵，其中为图像的畸变因子，为纵横比，为焦距，为主点坐标，为抛物折反射摄像机的5个内参数。

本发明优点：

1.该标定物制作简单，由空间中二条相交直线构成。

2.对该标定物的物理尺度没有要求，无需知道直线的世界坐标。

3.只需用抛物折反射摄像机拍摄3幅图像便可线性求解出抛物折反射摄像机的5个内参数。

附图说明

图1 是用于空间二条相交直线求解抛物折反射摄像机内参数的示意图。

图2 是标定物抛物折反射成像模型。

具体实施方式

一种用于求解抛物折反射摄像机内参数的标定物，它是由空间中二条相交直线构成的，如图1。用此新型标定物完成抛物折反射摄像机内参数的求解需要经过以下步骤：从图像上提取标定块像点坐标和边界像素坐标，拟合成像边界椭圆方程和空间直线像点的椭圆方程，根据调和共轭和平行直线的像相交于一点，得出图像平面上正交方向上消失点的像，利用正交方向上消失点的像对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1.拟合图像边界曲线方程

利用Matlab程序中的函数Edge提取出图像边界的坐标，并用最小二乘算法拟合得成像边界曲线方程。

2.计算图像中心的初始值

摄像机的镜面边缘在球模型中对应着一个与虚拟针孔相机光轴垂直的圆（如图1），其中为摄像机坐标系，为世界坐标系，其中为球心，为抛物折反射摄像机中心，和方向为的方向，和平行，和平行，其成像面是一个椭圆（称为边界椭圆），投影平面垂直于，投影椭圆中心即为图像中心，其坐标为()。成像面不同于一般空间直线的像，成像面边界椭圆是一条较完整的二次曲线，因而能够较好地拟合出它的代数方程。假设边界椭圆表示为，从而得到，。

3.得到空间中一条直线不同方向的三幅图像

假定抛物折反射摄像机固定不动，通过对空间的一条直线进行旋转和平移得到不同方向上的三幅图像。

4.拟合每幅图像的曲线以及求出二个曲线的交点

利用Matlab程序中的Edge函数分别提取出三幅图像中的空间直线像点坐标，并用最小二乘算法拟合出曲线方程。再利用Matlab程序中的Solve函数分别求出每幅图像中二个曲线的交点，为第几幅图像，记为。

5.计算每幅图像中二个曲线交点处的切线方程

    利用曲线的系数方程和交点坐标，分别求出交点关于曲线的切线方程。

6.计算正交方向上的消失点的像

    在抛物折反射成像模型中（如图1），是大圆的圆心，大圆的交点是，则是（是第几幅图像，）的中点，根据调和共轭可求出直线方向上的消失点的像（如图1），关于大圆的切线平行直线（如图2），根据平行直线的像相交于同一点，得到直线的消失点的像（如图1），关于大圆的切线平行直线（如图2），根据平行直线的像相交于同一点，得到直线的消失点的像（如图1）。

7.求解抛物折反射摄像机内参数

使用抛物折反射摄像机拍摄3幅图像，由正交方向上消失点的像对绝对二次曲线的像的约束，线性求解出抛物折反射摄像机的5个内参数，即矩阵，其中为图像的畸变因子，为纵横比，为焦距，为主点坐标，为抛物折反射摄像机的5个内参数。

实施例

本发明提出了利用空间中两条直线作为标定块线性确定抛物折反射摄像机的内参数。本发明采用的实验模块结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中两条直线的抛物折反射摄像机标定方法采用的实验模板是空间中两条直线，如图1所示。具体步骤如下：

1.拟合图像边界曲线方程

本发明采用的图像分辨率为640×480个像素，用抛物折反射摄像机从不同方向上拍摄3幅实验图片，读入图像，利用Matlab中函数Edge提取出图像特征点的坐标，并用最小二乘算法拟合图像中的各条曲线，获取曲线方程。计算成像图上的边界曲线系数矩阵为H：

。

2.计算图像中心的初始值

摄像机的镜面边界在球模型中对应着一个与虚拟针孔相机光轴垂直的圆（如图1），其中为摄像机坐标系，为世界坐标系，其中为球心，为抛物折反射摄像机中心，和方向为的方向，和平行，和平行，其投影是一个椭圆（称为边界椭圆），投影平面垂直于，投影椭圆中心即为图像中心，其坐标为()。成像面不同于一条空间直线的像，成像面边界椭圆是一条较完整的二次曲线，因而能够较好地拟合出它的代数方程。假设边界椭圆表示为：

 ，                       （1）

从而得到，。                        （2）

利用方程（1）拟合成像边界曲线方程的系数矩阵，得，，，，，代入方程（2）得到图像中心的初始值：，，即图像中心齐次坐标。

3. 得到空间中一条直线不同方向的三幅图像

    假定抛物折反射摄像机固定不动，通过对空间的二条直线进行旋转和平移得到不同方向上的三幅图像。所取三幅图像旋转矩阵和平移向量分别为

，

，

；

，，。

4.拟合每幅图像的曲线方程以及求出二个曲线的交点

利用Matlab程序中的Edge函数分别提取出三幅图像中的空间直线像点坐标，并用最小二乘算法拟合出曲线方程。再利用Matlab程序中的Slove函数分别求出每幅图像中二个曲线的交点，为第几幅图像，记为。空间二条相交直线的三幅图像的曲线为，()，其系数矩阵为：，()，系数矩阵如下：

，

；

，

；

，

。

交点齐次坐标分别为：

，

，

；

，

。

5.计算每幅图像中二个曲线交点处的切线方程

利用曲线系数方程和交点坐标，分别求出交点关于曲线的切线方程。如图1所示，切点分别关于的切点，设第幅图像中曲线第条切线方程的方向向量为，第幅图像中曲线第条切线方程的方向向量为切线的切点齐次坐标分别，，则切点关于曲线的切线方程分别为（3），（4）：

             （3）

           （4）

把切点坐标和系数矩阵分别代入（3），（4）式得到切线方向向量分别如下：。

6.计算正交方向上的消失点的像

在抛物折反射成像模型中（如图1），是大圆，的圆心，则是（）的中点，根据调和共轭求出直线方向上的消失点的像，齐次坐标分别为：

。

关于大圆的切线平行直线，关于大圆的切线平行直线（如图2），根据平行直线的像相交于同一点，得到直线消失点的像，记消失点的像为，为第几幅图像，为第几条直线，由交点方程(5)：

   ，        （5）

把切线方程代入（5）式得到直线消失点像的齐次坐标分别为：

，

；

，

。

7.求解抛物折反射摄像机内参数

三幅图像可得到六组正交方向的像坐标，可线性地解出抛物折反射摄像机的内参数矩阵为：，其中焦距，纵横比，故抛物折反射摄像机的五个内参数分别为：，，，，。