首页> 中国专利> 一种多传感器视觉测量系统的刚性杆全局校准方法及装置

一种多传感器视觉测量系统的刚性杆全局校准方法及装置

摘要

本发明公开了一种多传感器视觉测量系统的刚性杆全局校准方法,包括:将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;之后,以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。本发明还同时公开了一种多传感器视觉测量系统的刚性杆全局校准装置,采用本发明,不仅能提高全局校准精度,而且适用于超大工作空间多传感器视觉测量系统的全局校准,适用范围广。

著录项

  • 公开/公告号CN101975588A

    专利类型发明专利

  • 公开/公告日2011-02-16

    原文格式PDF

  • 申请/专利权人 北京航空航天大学;

    申请/专利号CN201010294437.2

  • 申请日2010-09-28

  • 分类号G01C25/00(20060101);G01B11/00(20060101);

  • 代理机构11270 北京派特恩知识产权代理事务所(普通合伙);

  • 代理人张颖玲;王黎延

  • 地址 100083 北京市海淀区学院路37号

  • 入库时间 2023-12-18 01:43:44

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2012-07-11

    授权

    授权

  • 2011-04-20

    实质审查的生效 IPC(主分类):G01C25/00 申请日:20100928

    实质审查的生效

  • 2011-02-16

    公开

    公开

说明书

技术领域

本发明涉及多传感器视觉测量系统中的全局校准技术,具体涉及一种多传感器视觉测量系统的刚性杆全局校准方法及装置。

背景技术

视觉传感器由于具有大量程、非接触、速度快、系统柔性好及测量精度高等优点而得到广泛应用,但是,单个视觉传感器测量范围有限,所以,当测量范围较大时,可以将多个视觉传感器结合起来构成多视觉传感器,以得到较大的测量范围,并保证足够高的测量精度,通常将这种测量系统称为多传感器视觉测量系统。

在多传感器视觉测量系统中,各个视觉传感器之间距离一般相距较远,且没有共同视场。因此,采用多个视觉传感器进行测量时,需要进行全局校准,即:确定各个视觉传感器之间的位置关系,并将它们统一到同一个坐标系下。

目前,常用的多传感器视觉测量系统的全局校准方法主要有:同名坐标统一法、中介坐标统一法和世界坐标唯一法;其中,同名坐标统一法,利用一组同名坐标计算出各个视觉传感器坐标系到全局坐标系的旋转矩阵和平移向量;中介坐标统一法,通过多次中间坐标系转换来完成视觉传感器坐标系到全局坐标系的统一;世界坐标唯一法,直接利用全局坐标系下的特征点对处于测量状态的系统中的各个视觉传感器进行局部标定,从而将局部标定和全局标定统一到一起。但是,上述三种校准方法需要高精度测量设备,如经纬仪、激光跟踪仪等等,存在校准“盲区”和空间受限,且需要进行多次坐标转换,损失了校准精度。

于是,张广军等人在2005年提出了靶标全局校准方法,该全局校准方法是根据靶标特征点之间的位置约束关系,求解无共同视场的多视觉传感器坐标系之间的转换矩阵,从而实现较大工作空间的全局校准。该全局校准方法虽然不需要进行很多次坐标变换,校准精度较高,但是,该全局校准方法需要加工大尺寸靶标,由于超大尺寸靶标加工和使用困难,因此,该全局校准方法不适合用于超大工作空间的多传感器视觉测量系统全局校准。

发明内容

有鉴于此,本发明的主要目的在于提供一种多传感器视觉测量系统的刚性杆全局校准方法及装置,不仅能提高全局校准精度,而且适用于超大工作空间多传感器视觉测量系统的全局校准,适用范围广。

为达到上述目的,本发明的技术方案是这样实现的:

本发明提供了一种多传感器视觉测量系统的刚性杆全局校准方法,包括:

将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;

以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。

上述方案中,所述将刚性杆在两个视觉传感器前摆放之前,该方法还包括:将靶标固定于刚性杆上,调整刚性杆长度和靶标位置,使待校准的两个视觉传感器能清晰的拍摄到对应的靶标图像。

上述方案中,所述视觉传感器多于两个;该方法还包括:每次任意选取两个视觉传感器作为待校准的视觉传感器;每个视觉传感器与一个靶标相对应,拍摄对应靶标清晰的靶标图像。

上述方案中,所述每个视觉传感器分别拍摄对应的靶标图像之后,该方法还包括:每个视觉传感器根据视觉传感器内部参数标定结果,进行图像的畸变校正。

上述方案中,所述计算两个视觉传感器之间转换矩阵为:计算旋转矩阵、平移矢量;建立以重投影误差为最小的目标函数,采用非线性优化方法求解旋转矩阵和平移矢量的非线性优化解,得到两个视觉传感器之间转换矩阵。

上述方案中,所述靶标通过靶标夹持机构、万向连接器、刚性杆转接固定装置固定于刚性杆上。

本发明还提供了一种多传感器视觉测量系统的刚性杆全局校准装置,包括:靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置、可伸缩长度的刚性杆;其中,

刚性杆还包括两个实心杆和一个空心杆,两个实心杆套入在空心杆内,实心杆与空心杆之间通过螺栓固定;

所述靶标夹持在靶标夹持机构上,装有靶标的靶标夹持机构安装在万向连接器上,靶标能在万向连接器上任意旋转;

所述万向连接器通过刚性杆转接固定装置固定于刚性杆的实心杆上。

其中,所述靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置均为两个。

本发明所提供的多传感器视觉测量系统的刚性杆全局校准方法及装置,将靶标固定于刚性杆上,调整刚性杆长度和靶标位置,利用刚性杆上两个靶标位置关系不变为约束条件,求解两个视觉传感器之间的转换矩阵,通过两两校准方式实现多传感器视觉测量系统的全局校准。本发明实际应用时灵活、方便,刚性杆可以根据视觉传感器位置的不同灵活调整,使不同位置的视觉传感器都可以拍摄到清晰的靶标图像,从而可适用于大工作空间多传感器视觉测量系统的全局校准,适用范围广;并且,全局校准精度高。

附图说明

图1为本发明多传感器视觉测量系统的刚性杆全局校准装置结构示意图;

图2为本发明多传感器视觉测量系统的刚性杆全局校准方法实现流程示意图;

图3为本发明多传感器视觉测量系统的刚性杆全局校准方法实现原理示意图;

图4为本发明中刚性杆坐标系示意图;

图5为本发明一实施例中视觉传感器拍摄的一维靶标图像效果图。

具体实施方式

本发明的基本思想是:将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;之后,以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。

这里,由于靶标固定于刚性杆上,所以,将刚性杆摆放在不同位置或移动刚性杆的位置实际就是将靶标摆放于不同位置或移动靶标。

其中,固定于刚性杆上的两个靶标的位置在进行全局校准前完成调整,具体是:先将靶标固定于刚性杆上,再调整刚性杆长度和靶标位置,使待校准的两个视觉传感器能拍摄到清晰的对应靶标图像;之后,在全局校准过程中靶标的位置关系不变,即:靶标在刚性杆上的位置不再移动或转向,仅靠移动刚性杆移动靶标处于相对于视觉传感器的不同位置。

当视觉传感器多于两个时,采用两-两视觉传感器校准的方式,即:每次从多个视觉传感器中任意选取两个视觉传感器作为待校准的视觉传感器,实现多传感器视觉测量系统的全局校准。

本发明多传感器视觉测量系统的刚性杆全局校准装置如图1所示,包括:两个靶标11、两个靶标夹持机构12、两个万向连接器13、两个刚性杆转接固定装置14、一个可伸缩长度的刚性杆,其中,刚性杆包括两个实心杆15和一个空心杆16;该全局校准装置主要用于辅助视觉传感器完成全局校准,该全局校准装置的主要特点包括:

a1)两个靶标11为已知尺寸的靶标,分别夹持在两个靶标夹持机构12上,图1中靶标11上两行黑白相间棋盘格的中心点为靶标特征点;

a2)两个装有靶标11的靶标夹持机构12安装在两个万向连接器13上,靶标11可以在万向连接器13上任意旋转;

a3)刚性杆由空心杆16和两个套入在空心杆内的实心杆15组成,两个实心杆15可以在空心杆16内自由移动,达到伸缩刚性杆、调节刚性杆长度的作用,其中两个实心杆15与空心杆16之间分别通过螺栓固定;

a4)两个万向连接器13通过刚性杆转接固定装置14分别固定在刚性杆的实心杆15的两端;

a5)在进行现场全局校准中,将刚性杆全局校准装置摆放在待校准的两个视觉传感器前,移动刚性杆中套在空心杆16内的两个实心杆15,使视觉传感器可以拍摄到靶标11图像,移动好后通过螺栓将空心杆16和两个实心杆15固定,再调节万向连接器13中的转向头,让视觉传感器可以拍摄到清晰的靶标11图像;其中,所述靶标可采用一维靶标,下文以一维靶标为例。

基于图1所示的刚性杆全局校准装置,本发明还提供了一种刚性杆全局校准方法,该方法的主要特点是:

b1)两个视觉传感器分别拍摄对应的一维靶标图像,提取一维靶标特征点图像坐标,根据事先已经标定获得的视觉传感器内部参数完成特征点图像畸变校正;这里,图像的畸变校正过程是指:根据摄像机内部参数,通过ZHANG ZY.的文章“A flexible new technique for camera calibration[J].IEEE Trans.onPattern Analysis and Machine Intelligence”中提到的方法,校正由于镜头畸变造成的图像变形;

b2)根据一维靶标特征点图像坐标,通过交比不变性,计算一维靶标所在直线上无穷远点的图像坐标,这里称该图像点为消隐点图像坐标。

b3)根据消隐点图像坐标,结合视觉传感器内部参数,计算一维靶标特征点在视觉传感器坐标系下的三维坐标;

b4)将刚性杆全局校准装置在视觉传感器前移动四次以上,以刚性杆中两个一维靶标的位置关系不变为约束条件,求解两个视觉传感器之间的转换矩阵;

b5)通过非线性优化方法,计算两个视觉传感器之间转换矩阵;

b6)通过两-两视觉传感器校准的方式,实现多传感器视觉测量系统的全局校准。

下面具体描述基于多传感器视觉测量系统的刚性杆全局校准装置进行全局校准的实现方法,如图2所述,包括以下步骤:

步骤201:分别标定所有视觉传感器的内部参数;

这里,可采用ZHANG Z Y.在文章“A flexible new technique for cameracalibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法,对视觉传感器的内部参数进行标定。

步骤202:在多个视觉传感器中任意选取两个视觉传感器作为待校准的视觉传感器;

这里,所选取的视觉传感器称为视觉传感器1和视觉传感器2,分别对应预先固定于刚性杆上的两个靶标--一维靶标1和一维靶标2;将靶标固定于刚性杆上具体是:将两个一维靶标通过夹持机构固定在万向连接器上,万向连接器通过刚性杆转接固定装置固定在刚性杆上。

步骤203:调节刚性杆长度和靶标位置,使每个视觉传感器能清晰的拍摄到对应的靶标图像;

具体的,调节刚性杆长度,使两个一维靶标分别落入对应的视觉传感器的视场范围;调节靶标位置,使每个视觉传感器能清晰的拍摄到对应的一维靶标图像。其中,调节好刚性杆长度,还需拧紧刚性杆上固定实心杆和空心杆的螺栓,将刚性杆长度固定;所述使一维靶标落入对应的视觉传感器的视场范围是指:使两个视觉传感器分别能够看到对应的一维靶标;所述调节靶标位置是指:分别调节两个万向连接器上一维靶标的方向。

图3为本发明多传感器视觉测量系统刚性杆全局校准方法的实现原理示意图,从图3可以看出,视觉传感器1、视觉传感器2分别对应一维靶标1、一维靶标2,视觉传感器1可以“看”到一维靶标1的全部,但“看”不到一维靶标2;视觉传感器2可以“看”到一维靶标2的全部,但“看”不到一维靶标1。

设Oc1xc1yc1zc1为视觉传感器1坐标系,Oc2xc2yc2zc2为视觉传感器2坐标系,O1x1y1为视觉传感器1的图像坐标系,O2x2y2为视觉传感器2的图像坐标系,Rc2,c1,tc2,c1为视觉传感器2坐标系到视觉传感器1的旋转矩阵和平移矢量。A1i、B1i、C1i分别为刚性杆第i个摆放位置时,一维靶标1特征点在视觉传感器1坐标系下三维坐标;A2i、B2i、C2i分别为刚性杆第i个摆放位置时,一维靶标2特征点在视觉传感器2坐标系下三维坐标。

上述步骤201~203所述的标定视觉传感器内部参数、选取视觉传感器、以及调节刚性杆长度和靶标位置的操作,均为在进行全局校准之前的预处理操作。

步骤204:两个视觉传感器分别拍摄对应的一维靶标图像,每个视觉传感器根据视觉传感器内部参数标定结果,进行图像的畸变校正。

步骤205:分别求解每个一维靶标特征点在对应视觉传感器坐标系下的三维坐标。

以视觉传感器1的求解过程为例,在视觉传感器1拍摄的靶标图像中,利用一维靶标1上三个或三个以上特征点的图像坐标,求解一维靶标1所在空间直线在视觉传感器1图像中的消隐点v1i

设V∞i为刚性杆第i个摆放位置时,一维靶标1所在直线的无穷远点,由于V∞i为无穷远点,A1i V∞i/B1iV∞i近似为1,则A1i、B1i、C1i和V∞i四点的交比可由公式(1)表示:

CR(A1i,B1i,C1i,V∞i)=

                                                        (1)

A1iC1i/B1iC1i:A1iV∞i/B1iV∞i≈A1iC1i/B1iC1i

根据交比不变性,v1i可以由公式(2)求解得出:

CR(A1i,B1i,C1i,V∞i)=CR(a1i,b1i;c1i,v1i)≈A1iC1i/B1iC1i    (2)

式中a1i,b1i和c1i分别为在刚性杆第i个摆放位置,A1i,B1i和C1i在视觉传感器1上的图像坐标。

根据消隐点性质,空间直线方向与其消隐点v1i的反向投影射线平行,即:

>(C1i-A1i)×K1-1v1i=0---(3)>

公式(3)中K1为视觉传感器1的内部参数,摄像机内部参数的求解过程见文献“A flexible new technique for camera calibration[J].IEEE Trans.on PatternAnalysis and Machine Intelligence”。

已知A1i与C1i的距离为Lac,有公式(4):

               ||C1i-A1i||=Lac                (4)

根据摄像机投影原理有公式(5):

>ρ1a1i=K1A1iρ2c1i=K2C1i---(5)>

式中ρ1和ρ1为比例系数,K2为视觉传感器2的内部参数。

求解公式(4)、(5)组成的方程组即可解得A1i,C1i。根据一维靶标特征点共线的特点求解全部一维靶标1特征点在视觉传感器1坐标系下的三维坐标A1i,B1i和C1i

同理,也可以求解出一维靶标2所有特征点在视觉传感器2坐标下三维坐标A2i,B2i,C2i

步骤206:计算旋转矩阵Rc2,c1

在刚性杆的第i(i=1...n)个摆放位置,分别为一维靶标1和一维靶标2在各自视觉传感器坐标下的方向矢量。根据两个一维靶标之间位置关系不变这一特点,可以得到以下公式(6):

>n1i·(Rc2,c1n2i)=n1j·(Rc2,c1n2j)---(6)>

刚性杆每两个摆放位置即可得到一个如公式(6)的方程,根据公式(6)及旋转矩阵的特性可知,最少三个如公式(6)的方程才可以求解出Rc2,c1,因此,需要将放置有两个一维靶标的刚性杆摆放四次以上。其中,旋转矩阵的特性是指:旋转矩阵的列向量为单位向量,各向量之间正交;旋转矩阵的自由度为3。

步骤207:计算平移矢量tc2,c1

在刚性杆的第i个摆放位置,设为一维靶标2特征点在视觉传感器1坐标下的三维坐标,两者的变换关系如公式(7)所示:

>A~2i=Rc2,c1A2i+tc2,c1B~2i=Rc2,c1B2i+tc2,c1C~2i=Rc2,c1C2i+tc2,c1---(7)>

由于在刚性杆摆放过程中,两个一维靶标位置不发生变化,两个一维靶标特征点之间的距离也不发生变化。因此,可以得到以下变换关系:

>d2(A1i,A~2i)=d2(A1j,A~2j)d2(B1i,B~2i)=d2(B1j,B~2j)d2(C1i,C~2i)=d2(C1j,C~2j)---(8)>

将公式(8)分解可以消除tc2,c1中各分量的二次项可以求解出tc2,c1

步骤208:建立以重投影误差为最小的目标函数,采用非线性优化方法求解Rc2,c1和tc2,c1的非线性优化解,得到两个视觉传感器之间的转换矩阵。

这里,建立目标函数是为了完成非线性优化,换句话说,非线性优化的目的就是使目标函数在非线性优化后的结果最小,即:求解可使目标函数最小的Rc2,c1和tc2,c1

图4中的Ogxgygzg为刚性杆坐标系。刚性杆坐标系的建立过程为:任选一个刚性杆摆放位置,以一维靶标1中A1i为刚性杆坐标系原点,一维靶标1所在直线为坐标系的x轴,A1i,C1i所在平面的法向矢量为z轴。图4中α为一维靶标2在刚性杆坐标系Ogxgyg平面上的投影直线与y轴的夹角,β为一维靶标2与刚性杆坐标系Ogxgyg平面的夹角,d为一维靶标2中到一维靶标1中A1i的距离。

一维靶标2特征点在刚性杆坐标系下的三维坐标可以通过公式(9)表示:

>A^2i=dsin(α)dcos(α)01TB^2i=sin(α)(LA2B2cos(β)+d)cos(α)(LA2B2cos(β)+d)LA2B2sin(β)1TC~2i=sin(α)(LA2C2cos(β)+d)cos(α)(LA2C2cos(β)+d)LA2C2sin(β)1T---(9)>

公式(9)中分别为一维靶标2中A2B2和A2C2之间的距离,其中α,β和d可以根据A1i,B1i,C1i求解得出。

一维靶标1特征点在刚性杆坐标系下的三维坐标为:

>A^1i=0001TB^1i=LA1B1001TC^1i=LA1C1001T---(10)>

公式(10)中,分别为一维靶标1中A1B1和A1C1之间的距离;在刚性杆第i个摆放位置,刚性杆坐标系到视觉传感器1坐标的转换矩阵Tgi,c1可由公式(11)求解:

>A1iC1iA~2i=Tgi,c1A^1iC^1iA^2i---(11)>

分别为在刚性杆第i个摆放位置,一维靶标1特征点在视觉传感器1上图像坐标。具体转换关系为:

>ρ1a^1i=K1I3×103×1Tgi,c1A^1iρ2b^1i=K1I3×103×1Tgi,c1B^1iρ3c^1i=K1I3×103×1Tgi,c1C^1i---(12)>

公式(12)中ρ1,ρ2和ρ3为比例系数,K1为视觉传感器1的内部参数。

分别为一维靶标2特征点在视觉传感器2上图像坐标。具体转换关系为:

>s1a^2i=K2I3×103×1Tc2,c1-1Tgi,c1A^2is2b^2i=K2I3×103×1Tc2,c1-1Tgi,c1B^2is3c^2i=K2I3×103×1Tc2,c1-1Tgi,c1C^2i---(13)>

公式(13)中K2为视觉传感器2的内部参数,s1,s2和s3为比例系数。

建立以重投影图像误差为最小的目标函数,如公式(14):

>f(a)=Σi=1n(d2(a1i,a^1i)+d2(b1i,b^1i)+d2(c1i,c^1i))+Σi=1n(d2(a2i,a^2i)+d2(b2i,b^2i)+d2(c2i,c^2i))---(14)>

式中a=(Tc2,c1,Tgi,c1,d,α,β)。

采用非线性优化方法(例如LM法)求解Rc2,c1和tc2,c1的最优解。

实施例:

本实施例中,试验采用两台配用23mm工业镜头的爱国者数码摄像机,分别称为视觉传感器1和视觉传感器2。两个视觉传感器的分辨率都为1280像素×1024像素,工作距离为750mm左右,视场范围为150mm×120mm。

采用ZHANG Z Y.在文章“A flexible new technique for camera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中介绍的方法,完成视觉传感器1、视觉传感器2的内部参数标定,视觉传感器1、视觉传感器2的内部标定结果如表1所示。

表1

图5为视觉传感器1、视觉传感器2对应拍摄的一维靶标1、一维靶标2的图像;其中,图5(a)为视觉传感器1拍摄的一维靶标1图像,图5(b)为视觉传感器2拍摄的一维靶标2图像。

采用本发明图2所述方法,计算得出的两个视觉传感器坐标系之间的转换矩阵Tc2,c1为:

>Tc2,c1=-0.9289-0.2954-0.2235389.912-0.31500.31220.8963340.585-0.19500.9029-0.3830-354.5470001>

为了评价本发明全局校准方法的全局校准精度,通过双目视觉传感器测量出刚性杆全局校准装置中两个一维靶标特征点之间的距离,将该双目视觉传感器的测量值作为点对距离的真实值。由本发明全局校准方法得出的转换矩阵Tc2,c1,根据公式(5)计算出一维靶标2中特征点在视觉传感器1坐标系下三维坐标,计算任意两个一维靶标特征点之间距离,将该计算值作为点对距离测量值。任选七个点对距离,用七个点对距离的测量值与真实值的均方根误差(RMS,Root Mean Square)来评价全局校准精度,全局校准结果精度评价数据具体如表2所示。

表2

根据表2得出的七个点对距离的RMS误差可以看出,本发明全局校准方法可以达到优于0.1‰的全局校准精度。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号