首页> 中国专利> 采用两个相同圆进行摄像机标定的方法

采用两个相同圆进行摄像机标定的方法

摘要

本发明涉及一种采用两个相同圆进行摄像机标定的方法,利用两个不相切的相同圆作为标定物,用摄像机从三个不同角度拍摄标定物得到三幅清晰的图像,确定出每幅图中的两个椭圆影像的方程,求出每幅图中的一对圆环点像的坐标。利用三幅图像的圆环点像的坐标和绝对二次曲线的投影方程来确定摄像机的内部参数。对每幅图像,求取两个椭圆影像的内外公切线;恢复并修正世界坐标系中两相同圆的内公切线间的夹角;根据所建立的两个相同圆的内外公切线的世界坐标和其投影的图像坐标,求取摄像机的外部参数。本发明能简便而精确地求取摄像机内外参数,而且能实现全自动标定。本发明能够广泛应用于非接触式工业检测和基于视觉的自主导航系统中。

著录项

  • 公开/公告号CN101621711A

    专利类型发明专利

  • 公开/公告日2010-01-06

    原文格式PDF

  • 申请/专利权人 东南大学;

    申请/专利号CN200910183222.0

  • 发明设计人 达飞鹏;张虎;

    申请日2009-07-23

  • 分类号H04N17/00(20060101);G06T7/00(20060101);

  • 代理机构32200 南京经纬专利商标代理有限公司;

  • 代理人叶连生

  • 地址 210096 江苏省南京市四牌楼2号

  • 入库时间 2023-12-17 23:14:27

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-08-04

    未缴年费专利权终止 IPC(主分类):H04N17/00 专利号:ZL2009101832220 申请日:20090723 授权公告日:20111214

    专利权的终止

  • 2020-06-16

    专利权的转移 IPC(主分类):H04N17/00 登记生效日:20200527 变更前: 变更后: 变更前: 变更后: 申请日:20090723

    专利申请权、专利权的转移

  • 2020-06-16

    专利权人的姓名或者名称、地址的变更 IPC(主分类):H04N17/00 变更前: 变更后: 变更前: 变更后: 申请日:20090723

    专利权人的姓名或者名称、地址的变更

  • 2013-11-13

    专利权的转移 IPC(主分类):H04N17/00 变更前: 变更后: 登记生效日:20131022 申请日:20090723

    专利申请权、专利权的转移

  • 2011-12-14

    授权

    授权

  • 2010-03-03

    实质审查的生效

    实质审查的生效

  • 2010-01-06

    公开

    公开

查看全部

说明书

技术领域

本发明涉及一种采用两个相同圆进行摄像机标定的方法,在所有摄像机参数均未知的情况下能够准确获得摄像机的内部参数和外部参数。本发明属于先进测量技术领域,尤其适用于计算机立体视觉中的摄像机标定、非接触式工业检测和基于视觉的自主导航系统。

背景技术

摄像机标定是计算机视觉的基础,在机器视觉、虚拟现实等计算机图像应用领域有着广泛的应用,其主要目标是求出摄像机的内部参数和外部参数。由于圆形标志物容易获取、对阈值分割的不敏感性、可遮挡性以及亚像素定位精确性,基于圆形标志物的标定方法得到广泛应用。文献(HEIKKILA J.“Geometric camera calibration using circularcontrol points”,IEEE Trans.Pattern Anal.Machine Intell,2000,22(10):1066-1077)是基于圆形标志物的传统标定方法,其标定精度高,抗噪性能好,但是传统标定是利用标准参照物与其对应图像的约束关系来获得摄像机的参数的,而标准参照物的设置给标定带来了许多不便。相对于传统标定而言,自标定是一种灵活、简单的方法,它不需要标定物的实际坐标位置即可求出摄像机参数。近年来,不少学者对多个圆进行自标定进行了广泛研究。

吴毅红利用了圆环点的特性,通过从不同角度拍摄三幅包含两个圆的模板图像,提出了基于两平行圆(WU Y H,ZHU H.“Camera calibration from the quasi-affine invarianceof two parallel circles”,Proceeding of ECCV′04:European Conference on Computer Vision,2004:190-202)和两共面圆(WU Y H,LI X,WU F C,et al.“Coplanar circles,quasi-affineinvariance and calibration”,Image and Vision Computing,2006,24(4):319-326)的摄像机内部参数的求取方法,但并没给出摄像机外部参数的获取方法。Chen等(CHEN Q,WU H,WADA T.“Camera Calibration with two arbitrary coplanar circles”,Proceeding of ECCV′04:European Conference on Computer Vision,2004:521-532)从解析几何的角度利用两个共面圆获取摄像机的内外参数,并给出了迭代优化算法,但是文中推导的解析几何方程比较复杂,并且标定过程需要已知主点坐标和纵横比等内参信息,而且只有当两圆中一圆的半径信息或者两圆圆心间距已知时才能完全恢复摄像机参数中的平移向量信息。Gurdjos等(GURDJOS P,STURM P,WU Y H.“Euclidean structure from N>=2 parallelcircles:theory and algorithms”,ECCV′06:European Conference on Computer Vision,2006:238-252)通过辨别圆环点像分析了平行圆的欧几里得结构,为基于平行圆或共面圆的标定奠定了坚实的基础;受到Gurdjos的启发,Zheng(ZHENG Y,LIU Y.“Camera calibrationusing one perspective view of two arbitrary coplanar circles”,Optical Engineering,2008,47(6):067203)利用圆环点像及射影几何中二次包络线的知识,求取了摄像机的内外参数,避免了Chen采用复杂的解析几何方法,但在求取旋转阵时要利用两圆圆心的真实投影位置,由于透视投影偏差(HEIKKILA J,SILVEN O.“A four-step camera calibrationprocedure with implicit image correction”,Proceeding of IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition,1997:1106-1112),圆心的投影点并非圆所成像的拟合圆心,而文中并没给出解决方法;此外,与Chen方法一样,标定过程仍然需要已知主点坐标和纵横比等内参信息,而且只有当两圆中一圆的半径信息或者两圆圆心间距已知时才能完全恢复摄像机参数中的平移向量信息。

上述所有方法的核心思想都是利用圆环点和绝对二次曲线的不变性。但是由于圆的高度对称性,基于圆标志物的自标定方法往往只能实现摄像机内参的标定,然而计算机的三维重建中,摄像机的外部参数对于三维点云的恢复是至关重要的。目前已有方法不是假定部分内参信息已知,就是必须借助如直线等其他几何辅助物方能同时确定摄像机的内外参数。鉴于两相同圆容易绘制且自然界普遍存在,而透视投影变换保持相切不变,因此,两圆的公切线对于求解摄像机的参数很有意义。

发明内容

技术问题:针对现有技术所存在的缺点和限制,本发明的目的在于提供一种采用两个相同圆进行摄像机标定的方法,能够简便而精确地求取摄像机的内部参数和外部参数,而且整个标定过程无需人工干预。

技术方案:本发明设计一种采用两个相同圆进行摄像机标定的方法,该方法所采用的标定物是两个不相切的相同圆;将此标定物放置于摄像机视域内,用摄像机从三个不同角度拍摄标定物,得到三幅清晰图像;检测每幅图像中两个椭圆影像的边界,利用边界像素点拟合两个椭圆方程;根据每幅图中所拟合出的两个椭圆方程,求取该图像中圆环点像的坐标;根据三组圆环点像的坐标,求取摄像机的内部参数;根据每幅图中的两个椭圆方程,求取这两个椭圆的内公切线和外公切线;利用拉盖尔定理,恢复世界坐标系中两相同圆的内公切线间的夹角;利用射影变换的交比不变性,修正所求的两相同圆的内公切线间的夹角;根据所求夹角建立世界坐标系,获取两个相同圆的内公切线和外公切线的世界坐标;根据两个椭圆的内外公切线和世界坐标系下两个相同圆的内外公切线求取单映射阵;根据已经求取的单映射阵和内部参数矩阵,求取对应于该幅图的摄像机的外部参数,本发明采用如下技术方案:

步骤1:以两个不相切的相同圆作为标定物;

步骤2:用摄像机从三个不同角度拍摄标定物,分别得到三幅具有两个椭圆影像的标定物图像,确保成像清晰;

步骤3:对每幅标定物图像进行以下操作:

步骤3.1:利用经典的边缘检测算子Canny算子,分别检测出图像上每一个椭圆影像的边界,从而得到两组由椭圆影像边界像素点构成的点集,分别利用这两组点集,拟合出两个椭圆影像的方程,两个椭圆影像中左椭圆标记为C′1,右椭圆标记为C′2,左椭圆C′1、右椭圆C′2的方程分别表示为:

>C1:u2+Ae1uv+Be1v2+Ce1u+De1v+Ee1=0C2:u2+Ae2uv+Be2v2+Ce2u+De2v+Ee2=0>

其中,u、v分别为图像中像素点的横纵坐标,Ae1、Be1、Ce1、De1、Ee1为左椭圆C′1方程的系数,Ae2、Be2、Ce2、De2、Ee2为右椭圆C′2方程的系数;同时,根据两椭圆方程系数,可分别求得左椭圆C′1和右椭圆C′2的拟合圆心O′1、O′2的坐标;

步骤3.2:利用两个椭圆影像的方程,在复域内求解两个椭圆的交点坐标,然后提取圆环点像mI,mJ的坐标,其中提取圆环点像mI,mJ的方法为:任意选取两个椭圆的交点中的一对共轭解,如果这对共轭解所组成的直线与两个椭圆拟合圆心O′1、O′2所组成的直线的交点在O′1和点O′2之间,表明这对共轭解为非圆环点对;反之,如果这对共轭解所组成的直线与两个椭圆拟合圆心O′1、O′2所组成的直线的交点不在点O′1和点O′2之间,表明这对共轭解为圆环点对,这对共轭解为圆环点像mI,mJ的坐标;

步骤4:根据三幅图像的圆环点像坐标,求取摄像机的内部参数矩阵K,计算公式为:>m~TK-TK-1m~=0;>其中,是圆环点像的齐次坐标;

步骤5:分别求取三副图像的摄像机的外部参数,具体操作如下:

步骤5.1:根据图像中两个椭圆影像的方程,求取两个椭圆影像的内公切线和外公切线,分别表示为line_in′1、line_in′2、line_out′1、line_out′2

步骤5.2:利用拉盖尔定理,恢复世界坐标系中两相同圆的内公切线间的初始夹角θ,计算方法为:首先求得两个椭圆影像的内公切线的交点坐标,交点标记为O′,然后由点O′分别与圆环点mI,mJ组成直线O′mI,O′mJ,根据直线line_in′1、line_in′2、O′mI、O′mJ求出世界坐标系中两相同圆的内公切线间的初始夹角θ:

>θ=12iln(cross(line_in1,line_in2,OmI,OmJ))>

其中,cross()表示仿射变换中的交比,i表示虚部单位;

步骤5.3:定义两内公切线的不夹两圆的夹角为θ_true,利用射影变换的交比不变性,根据步骤5.2所求的两相同圆的内公切线间的初始夹角θ求取夹角θ_true,具体方法如下:

分别求取两个椭圆影像的两条外公切线line_out′1、line_out′2与椭圆C′1的交点P′3、P′5,分别求取两个椭圆影像的两条外公切线line_out′1、line_out′2与椭圆C′2的交点P′4、P′6,求取两个椭圆影像的两条外公切线line_out′1、line_out′2的交点Pvsp以及两个椭圆影像的两条内公切线line_in′1、line_in′2的交点O′;由点Pvsp和点O′组成直线O′Pvsp,由点P′3和点P′5组成直线P′3P′5,由点P′4和点P′6组成直线P′4P′6;分别求取直线O′Pvsp分别与直线P′3P′5、P′4P′6的交点;由点和点组成直线,分别求取直线与椭圆C′1、C′2的交点P′1、P′2;如果P′1、P′2四点的交比值大于-0.4268,夹角θ_true大于π/2,此时夹角θ_true为π减去步骤5.2所求的角度θ;P′1、P′2四点的交比值不大于-0.4268,夹角θ_true不大于π/2,此时夹角θ_true等于步骤5.2所求的角度θ;

步骤5.4:根据步骤5.3所求夹角θ_true,建立如下世界坐标系:将世界坐标系的原点定为两个相同圆内公切线的交点,x轴定为两个相同圆圆心连线的方向,y轴方向垂直于x轴方向;根据夹角θ_true和所建立的世界坐标系,两个相同圆的两外公切线分别表示为:

line_out1=[0 r 1]T,line_out2=[0 r -1]T

其中,r为两圆的半径,将其作为世界坐标系的物理度量单位;两个相同圆的两内公切线表示为:

line_in1=[-tan((π-θ_true)/2)1 0]T,line_in2=[tan((π-θ_true)/2)1 0]T根据两相同圆内外公切线的齐次坐标line_in1、line_in2、line_out1、line_out2和两椭圆影像的内外公切线的齐次坐标line_in′1、line_in′2、line_out′1、line_out′2,求得单映射矩阵H为:

H=(line_out1,line_out2,line_in1)-T

×diag(e1,e2,e3)

×(line_out′1,line_out′2,line_in′1)T

其中,

>ej=[(line_out1,line_out2,line_in1)-1line_in2]j[(line_out1,line_out2,line_in1)-1line_in2]j>

其中,[vector]j表示向量vector的第j个分量;

步骤5.5:根据已经求取的单映射阵H和内部参数矩阵K,求取摄像机的外部参数,具体方法如下:

求取矩阵B_temp,计算公式为

B_temp=K-1H

令bi,i=1,2,3为矩阵B_temp的列向量,摄像机的外部参数为:

>R=(-b1||b1||,-b2||b2||,-det(b1||b1||,b2||b2||,(b1×b2)||b1|·||b2||)(b1×b2)||b1||·||b2||)t=-b3||b1||>

其中,||·||表示向量的第二范数,det(·)表示矩阵的行列式。

有益效果:与现有技术相比,本发明具有如下优点:

1.本发明在不需要已知任何摄像机参数情况下,利用圆环点像和两相同圆的内外公切线,简单、方便地获得摄像机的内部参数和外部参数;

2.本发明简单、灵活,不需要特制的标定物以及繁琐的图像坐标匹配过程,能够实现全自动标定,无人机交互。

附图说明

图1是采用两个相同圆进行摄像机标定的具体步骤流程图。

图2是圆环点像的获取示意图。

图3(a)是两个相同圆内外公切线示意图;图3(b)是图3(a)经过透视投影变换后的两个椭圆的内外公切线示意图。

图4是两组相同圆示意图。

图5是两椭圆内公切线的正确夹角获取示意图。

图6是关键点获取示意图。

具体实施方式

为了更好地理解本发明,下面结合附图对本发明的具体实施方式作进一步描述,具体步骤的流程图如图1所示,应用本方法进行摄像机标定的具体步骤如下:

步骤1:首先制定标定物。在一个平整的物体上任意绘制两个相同圆或任意放置两个相同圆形物体,注意两个相同圆不能相切。以这两个不相切的相同圆作为标定物。

步骤2:将标定物平整地放置在摄像机的视域范围内,用摄像机从三个不同角度拍摄标定物,分别得到三幅具有两个椭圆影像的标定物图像,确保成像清晰。

步骤3:对每幅标定物图像进行以下操作:

步骤3.1:利用经典的边缘检测算子Canny算子,分别检测出图像上每一个椭圆影像的边界,从而得到两组由椭圆影像边界像素点构成的点集,分别利用这两组点集,拟合出两个椭圆影像的方程,两个椭圆影像中左椭圆标记为C′1,右椭圆标记为C′2,左椭圆C′1、右椭圆C′2的方程分别表示为:

>C1:u2+Ae1uv+Be1v2+Ce1u+De1v+Ee1=0C2:u2+Ae2uv+Be2v2+Ce2u+De2v+Ee2=0---(1)>

其中,u、v分别为图像中像素点的横纵坐标,Ae1、Be1、Ce1、De1、Ee1为左椭圆C′1方程的系数,Ae2、Be2、Ce2、De2、Ee2为右椭圆C′2方程的系数;同时,根据两椭圆方程系数,可分别求得左椭圆C′1和右椭圆C′2的拟合圆心O′1、O′2的坐标。具体的拟合椭圆方法及拟合圆心的求法参见(FITZGIBBON A W,PILU M and FISHER R B,“DirectLeast-Squares Fitting of Ellipses”,IEEE Trans.Pattern Anal.Machine Intell,14(2):239-256)。

步骤3.2:利用两个椭圆影像的方程,在复域内求解出两个椭圆的交点坐标,然后提取圆环点像mI,mJ的坐标,其中提取圆环点像mI,mJ的方法为:根据文献(WU YH,LI X,WU F C,et al.“Coplanar circles,quasi-affine invariance and calibration”,Imageand Vision Computing,2006,24(4):319-326),在复域内两个椭圆的交点有两对共轭解,其中的一对共轭解是圆环点像mI、mJ,并且由这对共轭解所组成的直线不在两个椭圆之间,而由另外一对共轭解所组成的直线在两个椭圆之间。因此,任意选取两个椭圆的交点中的一对共轭解,如果这对共轭解所组成的直线与两个椭圆拟合圆心O′1、O′2所组成的直线的交点在O′1和点O′2之间,表明这对共轭解为非圆环点对;反之,如果这对共轭解所组成的直线与两个椭圆拟合圆心O′1、O′2所组成的直线的交点不在点O′1和点O′2之间,表明这对共轭解为圆环点对,这对共轭解为圆环点像mI,mJ的坐标。如图2所示,L′2为圆环点像mI、mJ所组成的直线,L′1为另外一对共轭解所组成的直线,O′1、O′2分别为两椭圆C′1、C′2的拟合圆心,P′1为直线L′1和两个椭圆拟合圆心O′1、O′2所成直线的交点。

步骤4:根据三幅图像的圆环点像坐标,求取摄像机的内部参数,具体方法为:根据射影几何知识,圆环点的像在绝对二次曲线的投影上,即满足:

>m~TK-TK-1m~=0---(2)>

其中,K为摄像机的内参阵,是圆环点像的齐次坐标。由于内参阵K中包含5个未知参数,通过上述所求的三对圆环点,利用式(2)就可以求出内参阵K。

步骤5:分别求取三副图像的摄像机的外部参数,具体操作如下:

步骤5.1:根据图像中两个椭圆影像的方程,求取两个椭圆影像的两条内公切线和两条外公切线,分别表示为line_in′1、line_in′2、line_out′1、line_out′2,如图3(b)所示;

步骤5.2:利用拉盖尔定理,恢复世界坐标系中两相同圆的内公切线间的初始夹角θ,计算方法为:将世界坐标系的原点定于两圆的两内公切线的交点处,如图3(a)所示的O点。据射影几何知识,图3(b)中的line_in′1、line_in′2为两条非迷向直线的像,O′为两个椭圆影像的两条内公切线的交点,由点O′分别与圆环点mI,mJ组成的直线O′mI、O′mJ为两条迷向直线的像,其中mI,mJ为圆环点的像。根据拉盖尔定理及透视投影变换的交比不变性,可知两内公切线line_in1、line_in2的夹角为:

>θ=12iln(cross(line_in1,line_in2,OmI,OmJ))---(3)>

其中,cross()表示仿射变换中的交比,i表示虚部单位。

因此,首先求得两个椭圆影像的内公切线的交点坐标O′,然后由点O′分别与圆环点mI,mJ组成直线O′mI,O′mJ,将直线line_in′1、line_in′2、O′mI、O′mJ分别代入式(3),就可求出世界坐标系中两相同圆的内公切线间的初始夹角θ。

步骤5.3:定义两内公切线的不夹两圆的夹角为θ_true,利用射影变换的交比不变性,根据步骤5.2所求的两相同圆的内公切线间的初始夹角θ求取夹角θ_true,如图5所示。由于步骤5.2中所求夹角为锐角或直角,对于如图4所示的两组相同圆{Cl,Cr}和{Cu,Cd},这两组圆的内公切线相同,内公切线夹角相同,但是两组相同圆的几何形态不同,因此,为了区分这两种情况,确定夹角θ_true的方法如下:

如图5所示,在世界坐标系下,O1、O2分别为圆C1、圆C2的圆心,P1为线段O1O2与圆C1的交点,P2为线段O1O2与圆C2的交点。不妨设两圆的半径为1,点O与点P2的距离为dis,显然,随着dis的增大,两内公切线间的夹角θ_true也逐渐增大,当θ_true=π/2时,>dis=2-1.>因此,当>dis>2-1>时,θ_true>π/2。此外,根据O1P2P1O2四点的交比,有:>cross(O1P2P1O2)=-14dis(dis+1)---(4)>

由式(4)可知,当dis>0时,cross(O1P2P1O2)是关于dis的递增函数。综上,可以得出结论:

if cross(O1P2P1O2)>-0.4268θ_true>π/2;

else θ_true≤π/2(5)

对两个椭圆影像,分别求取两个椭圆影像的两条外公切线line_out′1、line_out′2与椭圆C′1的交点P′3、P′5,分别求取两个椭圆影像的两条外公切线line_out′1、line_out′2与椭圆C′2的交点P′4、P′6,求取两个椭圆影像的两条外公切线line_out′1、line_out′2的交点Pvsp以及两个椭圆影像的两条内公切线line_in′1、line_in′2的交点O′;由点Pvsp和点O′组成直线O′Pvsp,由点P′3和点P′5组成直线P′3P′5,由点P′4和点P′6组成直线P′4P′6;分别求取直线O′Pvsp分别与直线P′3P′5、P′4P′6的交点,由点和点组成直线,分别求取线与椭圆C′1、C′2的交点P′1、P′2,如图6所示。根据透视投影不变性可知,如图6中所示的点P′1、P′2,分别是图5中所示的点P1、P2、O1、O2经过透视投影变换后的像,根据射影变换中的交比不变性和式(5),有:

>ifcross(O~1P2P1O~2)>-0.4268,θ_true>π/2;>

elseθ_true≤π/2       (6)

将点P′1、P′2、的坐标代入式(6),得到夹角θ_true与π/2的大小关系;然后做出判断,如果θ_true>π/2,夹角θ_true为π减去步骤5.2所求的角度θ;如果θ_true≤π/2时,夹角θ_true等于步骤5.2所求的角度θ。

步骤5.4:根据步骤5.3所求夹角θ_true,建立如下世界坐标系:将世界坐标系的原点定为两个相同圆内公切线的交点,x轴定为两个相同圆圆心连线的方向,y轴方向垂直于x轴方向,如图3(a)所示。根据夹角θ_true和所建立的世界坐标系,两个相同圆的两外公切线分别表示为:

line_out1=[0 r 1]T,line_out2=[0 r -1]T

其中,r为两圆的半径,将其作为世界坐标系的物理度量单位。两个相同圆的两内公切线表示为:

line_in1=[-tan((π-θ_true)/2)1 0]T,line_in2=[tan((π-θ_true)/2)1 0]T而透视投影变换的直线变换公式为:

l′=H-Tl    (7)

其中,H为单映射阵,l为实际直线的齐次坐标,l′为其对应的图像直线的齐次坐标。将两相同圆内外公切线的齐次坐标line_in1、line_in2、line_out1、line_out2和两椭圆影像的内外公切线的齐次坐标line_in′1、line_in′2、line_out′1、line_out′2代入式(7),求得单映射矩阵H为:

H=(line_out1,line_out2,line_in1)-T

×diag(e1,e2,e3)

×(line_out′1,line_out′2,line_in′1)T

(8)

其中,

>ej=[(line_out1,line_out2,line_in1)-1line_in2]j[(line_out1,line_out2,line_in1)-1line_in2]j>

其中,[vector]j表示向量vector的第j个分量。

步骤5.5:根据已经求取的单映射阵H和内部参数矩阵K,求取摄像机的外部参数,具体方法为:令图像平面的世界坐标Z=0,由针孔透视模型可知:

H=sK[r1 r2 t](9)

求取矩阵B_temp,计算公式为

B_temp=K-1H    (10)

令bi,i=1,2,3为矩阵K-1H的列向量,根据式(9)、式(10)及旋转矩阵的特性,可得摄像机的外部参数为:

>R=(-b1||b1||,-b2||b2||,-det(b1||b1||,±b2||b2||,(b1×b2)||b1||·|b2||)(b1×b2)||b1||·||b2||)t=-b3||b1||---(11)>

其中,||·||表示向量的第二范数,det(·)表示矩阵的行列式。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号