首页> 中国专利> 利用正四面体求解圆环点标定摄像机内参数的方法

利用正四面体求解圆环点标定摄像机内参数的方法

摘要

本发明涉及一种利用空间正四面体求解圆环点图像坐标进行摄像机标定的方法,对标定块拍摄一幅包含三个可视面或者两幅包含两个可视面的图像;提取图像中各边顶点及图像上各特征点的图像坐标,确定各个面上三角形的边所在直线上灭点坐标,利用拉盖尔定理逆定理求出各个面上圆环点的图像坐标,建立圆环点图像关于摄像机内参数的约束方程,线性解出摄像机内参数(包括摄像机主点坐标,有效焦距和倾斜因子)。本发明可以根据一幅图片线性求解摄像机的全部内参数。利用本发明中标定块可以实现全自动标定,减少了标定过程中由测量引起的误差。同时,由于三角形的稳定性,在进行摄像机标定过程的时候,提高了标定精度。

著录项

  • 公开/公告号CN102103746A

    专利类型发明专利

  • 公开/公告日2011-06-22

    原文格式PDF

  • 申请/专利权人 云南大学;

    申请/专利号CN200910163204.6

  • 发明设计人 赵越;王慧;胡晓华;

    申请日2009-12-21

  • 分类号G06T7/00(20060101);

  • 代理机构

  • 代理人

  • 地址 650091 云南省昆明市翠湖北路2号

  • 入库时间 2023-12-18 02:30:29

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2015-02-11

    未缴年费专利权终止 IPC(主分类):G06T7/00 授权公告日:20130213 终止日期:20131221 申请日:20091221

    专利权的终止

  • 2013-02-13

    授权

    授权

  • 2011-08-03

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20091221

    实质审查的生效

  • 2011-06-22

    公开

    公开

说明书

技术领域

本发明属于计算机视觉领域,是一种利用正四面体靶标求解圆环点的图像坐标来进行摄像机标定的新方法。

背景技术

三维重建是计算机视觉的主要研究方向之一,它是从摄像机中所获得的二维图像信息出发恢复该物体在三维空间中的几何信息的过程,从而进行识别和重建三维空间中物体的几何形状。在此过程中必须确定空间物体点的三维几何位置和图像中对应点之间的相互关系,而这种相互关系是由摄像机成像的几何模型决定的,这些几何模型的参数就是摄像机参数,大多数条件下这些参数都是通过实验得到的,这个过程就是摄像机标定过程。

在文献“Computer Vision:A Modern Approach”(David A.Forsyth,Jean Ponce Faugeras著,林学闫,王宏等译.电子工业出版社,2004)中给出了一种较为常用的摄像机几何成像模型,该模型一般简单描述为以下公式:

λuv1=fusu00fvv0001RTxwywzw1=KRTxwywzw1---(1)

其中:空间中任一点P在世界坐标系中的齐次坐标为Pw(xw yw zw 1),在图像坐标系中的齐次坐标为p(u v 1),K为摄像机内参数,s为图像畸变因子常数;fu,fv为图像在u方向和v方向上像点的物理坐标到图像像素坐标的比例系数,即有效焦距;(u0,v0)是主光轴与图像平面交点的图像坐标。R是一个3×3单位正交的旋转矩阵,T是一个平移向量,(R,T)是摄像机坐标系相对于世界坐标系的位置。

摄像机标定过程就是确定上述公式中参数的过程,总的来说可以分为传统标定和自标定两种方法。一旦摄像机的内参数在某种焦距下被求解出来,一般情况下是不会再发生变化的,以后就可以直接使用,因此摄像机自标定技术是标定过程中关键的一步。自从1992年Hartly和Faugeras首次提出摄像机自标定的思想后摄像机自标定及相关研究已成为目前计算机视觉领域的研究热点之一。目前大多数自标定方法都是基于绝对二次曲线或绝对二次曲面的,这些方法都必须解一个非线性方程(组)或相应的非线性规划问题,例如文献“A New EasyCamere Calibration Technique Based on Circle Points”(MENG Xiao-qiao,HUZhan-yi.Journal of Software,2000,13(5):957-965)中给出了一种利用绝对二次曲线与平面圆成像的交点,求解摄像机内参数,标定精度较高,鲁棒性较强,适合非视觉专业人员使用。但相对于非线性问题,线性问题较简单且稳定。我们是否可以用线性方法来求解这些参数问题呢?针对这个问题,目前也出现了一些线性的自标定方法,例如文献“一种改进基于圆环点的摄像机自标定方法”(胡培成等.光电工程,2007,34(12):54-60)中提出的利用两对相互垂直直径获得圆环点坐标进行标定,避免了拟合椭圆和灭线过程中产生的误差。

发明内容

本发明提供了一种利用正四面体为靶标,在特定摄影条件下仅需一幅图像,一般情况下两幅图像就可以完成标定出摄像机的全部内参数的方法,该方法具有标定方法简单,所需图片少,全过程线性求解,精度较高等优点。

本发明的技术解决方案

一种利用正四面体模块为靶标标定出摄像机全部内参数的方法,其特征在于它是由四个任意边长的正三角形组成,每个面都被三角形中心与各边中点的连线分为三个相等部分,将这三部分绘上任意三种不同的颜色,根据颜色分界找出各面的特征点坐标,利用各个面相等的三个角度关系线性解出摄像机内参数,具体步骤包括:四面体各棱上灭点坐标求解,各表面圆环点图像坐标求解,摄像机内参数矩阵(5参数)求解。

(1)直线上灭点坐标求解

对平面中任一条直线l上任意三点q1,q2,q3,空间测量出两个点到第三点之间的距离,根据共线四点之间的交比性质,若其中一点为无穷远点,则这四点之间的交比性质等于三个普通点之间的简单比,再由射影变换保持交比不变性,可以求解出这条直线上无穷远点的图像坐标。

(2)求解三角形的各边所在直线的灭点坐标

设空间平面∏中任意三角形ABC,P1∞,P2∞,P3∞分别为AB,AC,BC边所在直线上无穷远点,它们的成像点分别为p1,p2,p3。输入图像,提取图像中各特征点坐标,根据(1)解出各灭点坐标。

(3)平面圆环点图像坐标求解

设平面∏上圆环点I,J的图像坐标是mi(xr+xii,yr+yii,1),mj(xr-xii,yr-yii,1)。利用AB边到AC边之间的角度为60,得到关于圆环点图像坐标的方程:

3(xr2+xi2)-3(up1+up2)xr-(up1-up2)xi+3up1up2=03(yr2+yi2)-3(vp1+vp2)yr-(vp1-vp2)yi+3vp1vp2=0;

重复上述步骤,分别得到另外两组灭点p1,p3和p2,p3关于平面圆环点图像坐标的约束方程:

3(xr2+xi2)-3(up2+up3)xr-(up2-up3)xi+3up2up3=03(yr2+yi2)-3(vp2+vp3)yr-(vp2-vp3)yi+3vp2vp3=0

3(xr2+xi2)-3(up3+up1)xr-(up3-up1)xi+3up3up1=03(yr2+yi2)-3(vp3+vp1)yr-(vp3-vp1)yi+3vp3vp1=0

联立上述三个方程组,求解平面∏上圆环点图像坐标。

(4)重复(3)中步骤,求解正四面体靶标图像所有可视面上的圆环点图像坐标。

(5)利用圆环点性质,建立圆环点图像坐标关于摄像机内参数的约束方程,利用最小二乘法线性解出内参数。

本发明的优点是:

(1)本发明主要适用于拍摄场景中含有正四面体模块,或者拍摄场景中含有等边三角形模板的条件,属于非接触式测量方法,直接提取图像中相关点的信息。

(2)本发明中的算法均是线性运算,避开了非线性问题中大量运算,计算速度快,适用于实时性系统。

(3)本发明的算法标定出的摄像机内参数矩阵是5参数矩阵,包含了光学成像中的所有参数,主要有光学成像中心、倾斜因子和有效焦距的标定。

(4)本发明采用的算法是利用三角形的性质求解平面圆环点图像坐标,利用四面体的性质一次性求解全部内参数,简化了标定过程,三角形的稳定性保证了标定过程中的变形误差。

附图说明

图1本发明利用正四面体靶标求解摄像机内参数方法的流程图。

图2本发明采用的平面圆环点图像坐标求解原理示意图。

图3本发明采用的标定靶标结构示意图。

具体实施方式

下面是对本发明作进一步的详细说明。提出了一种利用正四面体模块为靶标求解圆环点图像标定出摄像机全部内参数的方法,其特征在于它是由4个任意边长的相互全等的正三角形组成,每个面都被该三角形中心与各边中点的连线分为三个部分,将这三部分涂上不同的颜色,根据颜色分界找出各面上特征点坐标,利用各个面上的角度关系线性解出摄像机内参数,具体步骤包括:四面体各棱上灭点坐标求解,正四面体各面圆环点图像坐标求解,摄像机内参数矩阵(5参数)求解。

(1)直线上灭点坐标求解

对平面中任一条直线l上任意三点q1,q2,q3,空间测量出两个点到第三点之间的距离,根据共线四点之间的交比性质,若其中一点为无穷远点,则这四点之间的交比性质等于三个普通点之间的简单比,设l上无穷远点q,则有(q1q2,q3q)=(q1q2q3),通过测量可以得到(q1q2q3)的值,当q3为q1,q2的中点时,有(q1q2,q3q)=-1。由射影变换保持交比不变性,可以求出这条直线上无穷远点的图像坐标。

(2)求解三角形的各边所在直线的灭点坐标

设空间平面∏中任意三角形ABC,P1∞,P2∞,P3∞分别为AB,AC,BC边所在直线上无穷远点,它们的成像点分别为p1,p2,p3。输入图像,用OpenCV中的函数cvGoodFeaturesToTrack提取出A,B,C及任意给定的三点F,E,D在图像平面上的坐标,根据(1)解出p1,p2,p3的坐标。

(3)平面圆环点图像坐标求解

设平面∏上圆环点I,J的图像坐标是mi(xr+xii,yr+yii,1),mj(xr-xii,yr-yii,1)。利用边AB到边AC的角60度,得到关于圆环点图像坐标的方程:

3(xr2+xi2)-3(up1+up2)xr-(up1-up2)xi+3up1up2=03(yr2+yi2)-3(vp1+vp2)yr-(vp1-vp2)yi+3vp1vp2=0;

重复上述步骤,分别得到另外两组灭点p1,p3和p2,p3关于摄像机内参数的约束方程:

3(xr2+xi2)-3(up2+up3)xr-(up2-up3)xi+3up2up3=03(yr2+yi2)-3(vp2+vp3)yr-(vp2-vp3)yi+3vp2vp3=0

3(xr2+xi2)-3(up3+up1)xr-(up3-up1)xi+3up3up1=03(yr2+yi2)-3(vp3+vp1)yr-(vp3-vp1)yi+3vp3vp1=0

联立上述三个方程组,可以得到一下方程组:

3(up1-up3)xr+(up1+up3-2up2)xi=3(up1up2-up2up3)3(up3-up2)xr+(up2+up3-2up1)xi=3(up3up1-up1up2)

3(vp1-vp3)yr+(vp1+vp3-2vp2)yi=3(vp1vp2-vp2vp3)3(vp3-vp2)yr+(vp2+vp3-2vp1)yi=3(vp3vp1-vp1vp2)

解方程组得到平面∏上圆环点I,J的图像坐标。

(4)重复(3)中步骤,求解正四面体靶标图像所有可视面上的圆环点图像坐标。

(5)利用圆环点性质,建立圆环点图像坐标关于摄像机内参数的约束方程,利用最小二乘法线性解出内参数。

实施例

本发明提出了一种利用空间正四面体靶标求解摄像机内参数方法的流程如图1所示,三角形成像图像及求解平面圆环点图像坐标原理如图2所示。

下面以一实例对本发明的实施方案作出更为详细的描述:

用于标定的四面体靶标是一个任意棱长的正四面体,如图3所示。在本发明实例中四面体棱长设置为30cm,取点B为坐标系原点,在三角形BCD所在平面分别取BC所在直线和与其相互垂直直线为x轴和z轴,以通过点B且与xz平面相互垂直直线为y轴,建立右手直角坐标系B-xyz,则估计出各顶点A,B,C,D及可视面上各棱中点E,F,G,P,Q(如图3)的坐标分别为:B(0,0,0),C(30,0,0),

利用本发明中的算法对摄像机内参数进行标定,具体步骤如下:

(1)特征点提取

用CCD对其拍摄一组图像,利用Opencv中函数提取出各幅图像中特征点图像坐标。选择其中两幅图像,且每幅图像均是含有两个可视面的,设两个可视面分别为三角形ABC和三角形ACD。

(2)求解三角形的各边所在直线的灭点坐标

设棱AB、AD、AC、BD、CD所在直线上无穷远点图像分别为p1,p2,p3,p4,p5,其坐标为(up1,vp1),(up2,vp2),(up3,vp3),(up4,vp4),(up5,vp5)。下面以求解(up1,vp1)为例,给出求解过程。

选取的三幅图像其中的一幅,提取出特征点A,B,F的图像坐标分别为:a(518,28),b(138,168),f(364,82),根据交比不变性得到:(ab,fp1)=-1,即

ua-ufub-uf:ua-up1ub-up1=-1va-vfvb-vf:va-vp1vb-vp1=-1.

解以上方程得:up1=uf(ua+ub)-2uaub2uf-ua-ubvp1=vf(va+vb)-2vavb2vf-va-vb

将提取出的各坐标点代入上式得到up1=1330.78,vp1=-208.25。

(3)求解圆环点图像坐标坐标

设三角形ABC和三角形ACD所在面上的圆环点为I1,J1和I2,J2,其图像坐标为mi1(xr1+xi1i,yr1+yi1i,1),mj1(xr1-xi1i,yr1-yi1i,1)和mi2(xr2+xi2i,yr2+yi2i,1),mj2(xr2-xi2i,yr2-yi2i,1)。下面以求解mi1(xr1+xi1i,yr1+yi1i,1)和mj1(xr1-xi1i,yr1-yi1i,1)为例,给出求解过程。

根据Laguerre定理知:平面上任意两条非迷向直线的l1,l2夹角θ(l1到l2)与这两条直线与过他们交点的两条迷向直线li,lj之间的交4比μ(μ=(lilj,l1l2))之间的关系为:μ=e2iθ

由边AB到边AC的角为60°以及交比不变性质,(mi1mj1,p1p2)=e2π3i,

(mi1mj1,p1p2)=e2π3i=cos2π3+isin2π3=-12+32i,则有,

3(xr12+xi12)-3(up1+up2)xr1-(up1-up2)xi1+3up1up2=03(yr12+yi12)-3(vp1+vp2)yr1-(vp1-vp2)yi1+3vp1vp2=0

3(xr12+xi12)-3(up2+up4)xr1-(up2-up4)xi1+3up2up4=03(yr12+yi12)-3(vp2+vp4)yr1-(vp2-vp4)yi1+3vp2vp4=0

3(xr12+xi12)-3(up4+up1)xr1-(up4-up1)xi1+3up4up1=03(yr12+yi12)-3(vp4+vp1)yr1-(vp4-vp1)yi1+3vp4vp1=0

联立以上方程组得到,

3(up1-up4)xr1+(up1+up4-2up2)xi1=3(up1up2-up2up4)3(up4-up2)xr1+(up2+up4-2up1)xi1=3(up4up1-up1up2)

3(vp1-vp4)yr1+(vp1+vp4-2vp2)yi1=3(vp1vp2-vp2vp4)3(vp4-vp2)yr1+(vp2+vp4-2vp1)yi1=3(vp4vp1-vp1vp2)

解方程组得:xr1=1347.16xi1=406.14yr1=-76.45yi1=1100.00

(4)求解摄像机内参数

设二次曲线的像ω=K-TK-1=c1c2c3c2c4c5c3c5c6,它是一个对称矩阵,定义一个6维向量C=(c1,c2,c3,c4,c5,c6)T,根据每对圆环点图像坐标对建立关于摄像机内参数的两个方程:

Re(miTωmi)=0Im(miTωmi)=0,可以得到,

xr2-xi22(xryr-xiyi)2xryr2-yi22yr1xrxixryi+xiyrxiyryiyi0C=0.

利用以上步骤求解出两幅图像上4个面上的圆环点图像坐标,得到4个如上的方程组,将他们组合得到,AC=0,其中A是一个8×6的矩阵,有最小二乘法在相差一个常数因子下可以唯一的确定矩阵

C=(0.00000127119169,-0.00000000856906,-0.00057543961282,0.00000130888977,-0.00033417588742,0.9999997785618)T’得到

ω=-0.00000127119169-0.00000000856906-0.00057543961282-0.000000008569060.00000130888977-0.00033417588742-0.00057543961282-0.000334175887420.99999977859618,

利用Cholesky分解法对ω进行分解得到K-1,求逆得到K,再将K的最后一个元素归一化处理,即得到摄像机的内参数矩阵为K=716.284.76454.390705.91258.29001.

整个过程按照图1所示的流程图进行,依次提取图像特征点坐标、求解各面三角形边所在直线灭点坐标、求解各面圆环点坐标、求解摄像机内参数。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号