基于高精度辅助相机和球靶标的多摄像机全局校准方法

摘要

本发明提出一种基于高精度辅助相机和球靶标的多摄像机全局校准方法，针对布局复杂且无公共视场的多摄像机系统，以全局相机坐标系为世界坐标系，待标定相机和全局相机同时重构一组(至少三个)球靶标的球心在自身坐标系下的三维坐标，据此求解两个坐标系之间的转换矩阵。从而得到所有相机坐标系到世界坐标系的转换矩阵。在重构球心三维坐标时，采用单视图的方法，并采用参数方程来表述球投影模型，这可以大大提高球心重构精度。本方法具有操作简便、柔性好等优点，对于布局复杂且无公共视场的多摄像机系统，也能方便地完成校准任务。

说明书

技术领域

本发明涉及摄像机全局校准的技术领域，具体涉及一种基于高精度辅助相机和球靶标的 多摄像机全局校准方法。

背景技术

三维视觉系统具有非接触、可检测对象众多、速度快和测量精度较高等优点，广泛应用 在国民经济和科学研究等领域。对单个视觉传感器，测量的空间范围有限。所以需要多个视 觉传感器协同，组成一个测量范围更大的三维视觉系统。在多传感器视觉系统中，需要将各 个传感器的测量数据统一起来，从整体上一致地描述整个被测对象。因此，需要将各个视觉 传感器的测量结果统一到世界总体坐标系中，即对全部视觉传感器进行全局校准。测量精度 是视觉系统的重要指标，而全局校准的精度直接影响视觉系统的测量精度。在多数视觉系统 的实际应用中，被测对象的结构和所处环境都比较复杂，从而导致视觉传感器的布局复杂， 甚至许多传感器之间并无公共视场。视觉系统的这些特征，要求全局校准方法应该具有精度 高和柔性好的特点，并且能够校准布局复杂且无公共视场的多视觉传感器。

一些传统的全局校准方法[参考文献1-3]依赖于各个传感器视场之中的特征点的相互匹 配，这类方法无法适用于无公共视场的情况。为了克服无公共视场的限制，Luo[参考文献4] 采用双经纬仪进行全局校准，Kitahara等人[参考文献5]用激光跟踪仪来完成全局校准，他 们均利用高精度辅助设备在空间中重建三维特征点，从而建立各个传感器坐标系到世界坐标 系的转换关系。但是当现场空间较小时，外部辅助设备存在观测盲区，甚至无法放置这些辅 助设备。在视频监控和跟踪等领域，Esquivel等人[参考文献6]和Pflugfelder等人[参考文献 7]利用自标定的方法，即视觉传感器通过观测视场内具有特定结构的目标对象来对无公共视 场多视觉传感器进行全局校准。但是在工业测量中，很难获取满足要求的场景信息，而且自 标定方法的精度很难满足视觉测量的要求。Kumar等人[参考文献8]利用平面镜，让无公共 视场的多个视觉传感器观测到同一个靶标，从而实现全局校准。但是在复杂的视觉系统中， 无法确保所有传感器都清晰地观测到靶标。Liu等人[参考文献9]利用双平面靶标的固定约束 关系实现两个视觉传感器的全局校准，此方法能够获得较高的校准精度，但是只能通过两两 校准的方式来对多传感器进行全局校准，这会对最终的校准精度造成影响。Liu等人[参考文 献10]提出了一种基于两组倾斜激光线的全局校准方法，可以校准各种视场角度的传感器， 柔性较好。可是面对布局复杂的多个视觉传感器时，此方法不易于现场操作。

本发明参考文献如下：

[1]ZhangZhengyou.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactions onPatternAnalysisandMachineIntelligence,2000,22(11):1330–1334.

[2]WangL,WuFC.Multi-cameracalibrationbasedon1Dcalibrationobject[J].Acta AutomationSinica,2007,33(3):225–31.

[3]ZhangH,WongKK,ZhangGQ.Cameracalibrationfromimagesofsphere[J].IEEE TransactionsonPatternAnalysisandMachineIntelligence,2007,29(3):499–503.

[4]LuoM.Mutli-sensorsvisionmeasurementsystemandapplications[J].PhDThesis, TianjinUniversity,Tianjin,1996.

[5]KitaharaI,SaitoH,AkimichiS,OnnoT,OhtaY,KanadeT.Large-scalevirtualized reality[J].ProceedingsofIEEEcomputervisionandpatternrecognition(CVPR),technicalsketches, 2001.

[6]EsquivelS,WoelkF,KochR.Calibrationofamulti-camerarigfromnon-overlapping views[J].LectureNotesinComputerScience,2007,4713:82–91.

[7]PflugfelderRoman,BischofHorst.Localizationandtrajectoryreconstructionin surveillancecameraswithnonoverlappingviews[J].IEEETransactionsonPatternAnalysisand MachineIntelligence,2010,32(4):709–21.

[8]KumarRK,IlieA,FrahmJM,PollefeysM.Simplecalibrationofnon-overlapping cameraswithamirror[J].ProceedingsofIEEEconferenceoncomputervisionandpattern recognition(CVPR),2008,p.1–7.

[9]LiuZ,ZhangG,WeiZ,etal.Aglobalcalibrationmethodformultiplevisionsensors basedonmultipletargets[J].MeasurementScienceandTechnology,2011,22(12):125102.

[10]Liu,Qianzhe,etal.Globalcalibrationmethodofmulti-sensorvisionsystemusing skewlaserlines[J].ChineseJournalofMechanicalEngineering,2012,25(2):405-410.

发明内容

本发明的目的为：1)针对复杂环境无公共视场的多摄像机系统，现有的全局校准方法 操作复杂，甚至很难实现。而本方法可以快捷方便地完成工业现场复杂环境下的校准任务。 2)基于球靶标的多摄像机全局校准，目前研究较少。球靶标具有各向同性的特点，便于被 局部摄像机和全局摄像机从不同方向同时观测，相比于其它一维和二维靶标，观测盲区大大 减少。3)现有的多摄像机全局校准方法，大多采用“两两校准”的方法。而本方法可以通过 一次校准操作，实现无公共视场多摄像机的全局校准，避免了“两两校准”所造成的精度损失。 4)针对球心三维坐标的单视图重构，现有方法采用椭圆一般方程来拟合球图像边缘，计算 复杂并且精度不高。本文中建立了三自由度球投影模型，进而采用三自由度的参数方程来拟 合球图像边缘，大大提高球心重构精度，并简化了计算过程。

本发明采用的技术方案为：一种基于高精度辅助相机和球靶标的多摄像机全局校准方 法，该方法的步骤为：

步骤(1)、安装固定内参已提前标定过的多个摄像机，在每个待校准摄像机视场内合适 位置处摆放至少三个球靶标，并避免相互遮挡，在合适位置固定一个高精度全局摄像机，使 所有球靶标都在其视场之内，并以全局摄像机坐标系为世界坐标系；

步骤(2)、将球靶标在合适位置摆放多次，每个摄像机拍摄各自视场内的球靶标，全局 摄像机拍摄所有球靶标；

步骤(3)、对于每一组球靶标，重构它们的球心在摄像机坐标系和世界坐标系中的三 维坐标，并利用非线性优化的方法求解摄像机坐标系和世界坐标系的转换矩阵，从而完成所 有摄像机的全局校准。

其中，所述的高精度全局摄像机采用摄影测量专用相机，分辨率比待校准摄像机高，具 体为4256×2832，配用焦距24mm的光学镜头，视场角是74°×53°，测量距离是 500mm-2000mm。

其中，在建立球投影模型的过程中，首先通过向量数量积的方式得到圆锥曲面方程的向 量形式是(OP·S⁰)/|OP|＝cosθ，再把圆锥曲面方程的向量形式转换为参数方程形式，即转 换为带有三个参数的参数方程并据此得到球投影 椭圆曲线的参数方程使用球图像边缘上的一组采样 点来拟合椭圆曲线的参数方程，从而得到三个参数λ、μ和σ的解析解，进而可以得到球心 三维坐标

其中，在求解摄像机坐标系到世界坐标系的转换矩阵时采用同名坐标统一法，旋转矩阵 通过R＝[Q₁Q₂,Q₂Q₃,Q₁Q₂×Q₂Q₃]·[P₁P₂,P₂P₃,P₁P₂×P₂P₃]^-1来计算，其中Q₁Q₂＝Q₂-Q₁， Q₂Q₃＝Q₃-Q₂，P₁P₂＝P₂-P₁且P₂P₃＝P₃-P₂，平移矢量通过 T＝(Q₁+Q₂+Q₃-RP₁-RP₂-RP₃)/3来计算。

其中，在摆放球靶标时，所有球靶标形成一个空间立体结构，让这个空间立体结构不具 有对称性，那么每个球心到其他球心之间的距离可作为此球心的一个标识向量，通过匹配标 识向量，实现摄像机坐标系和世界坐标系中对应球心之间的匹配。

本发明与现有技术相比的优点在于：

(1)本方法具有操作简便、精度高、柔性好等优点，对于布局复杂且无公共视场的多摄 像机，本方法可以通过一次校准操作实现全局校准，避免了“迁移”操作和“两两校准”所带来 的繁重工作量和精度损失。

(2)球靶标具有各向同性的特点，便于被局部摄像机和全局摄像机从不同方向同时观测， 相比于其它一维或二维靶标，观测盲区大大减少，对复杂的工业现场环境有较强的适应能力。

(3)在重构球心三维坐标时，建立了三自由度的球投影模型，通过拟合参数方程的方式， 提高了投影椭圆的拟合精度，进而提高了全局校准的精度。

附图说明

图1为多摄像机全局校准示意图；

图2为球投影模型；

图3为球心匹配方法；

图4为球靶标位置及编号示意图；

图5为球心距离测量实验图像；

图6为全局校准系统结构示意图；

图7为球靶标位置及编号示意图，其中，(a)左摄像机图像；(b)右摄像机图像；

图8为全局校准实验图像，其中，(a)全局摄像机图像；(b)左摄像机图像；(c)右摄像机 图像；

图9为全局校准精度评定实验图像，其中，(a)系统结构示意图；(b)全局摄像机图像； (c)左摄像机图像；(d)右摄像机图像。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

多摄像机全局校准原理如图1所示，为了讨论方便，在图1中只画出了两组摄像机。两 组待校准摄像机之间没有公共视场，每一个待标定摄像机的视场内至少有三个球靶标，所有 球靶标都在全局摄像机视场之内。

多摄像机全局校准的主要步骤为：

(1)安装固定内参已提前标定过的多个摄像机，在每个待校准摄像机视场内合适位置 处摆放至少三个球靶标，并避免相互遮挡，在合适位置固定一个高精度全局摄像机，使所有 球靶标都在其视场之内，并以全局摄像机坐标系为世界坐标系。

(2)将球靶标在合适位置摆放多次，每个摄像机拍摄各自视场内的球靶标，全局摄像 机拍摄所有球靶标。

(3)对于每一组球靶标，重构它们的球心在摄像机坐标系和世界坐标系中的三维坐标， 并利用非线性优化的方法求解摄像机坐标系和世界坐标系的转换矩阵。从而完成所有摄像机 的全局校准。

本发明的具体原理以及步骤如下：

1.1球心三维坐标重构方法

椭圆的一般方程为Ax²+By²+Cxy+Dx+Ey+F＝0，它包含五个自由度。但是球投影椭 圆带有两个约束条件，实际上只有三个自由度，因而可以用含三个参数的参数方程来表述投 影椭圆曲线。经仿真实验证明，用参数方程拟合椭圆的精度明显高于用一般方程的拟合结果。 选择恰当的参数，可以使得参数方程是这三个参数的线性表达式，所以在拟合时可以直接采 用线性最小二乘法求出三个参数的解析解。本方法具有拟合精度高，计算简洁的优点。

下面首先在摄像机坐标系下，建立带有三个参数λ、μ和σ的投影圆锥曲面方程 F(x,y,z)＝0；然后根据球投影的几何关系，建立投影椭圆曲线的参数方程f(x,y)＝0。以此 为基础，通过拟合投影椭圆曲线上的一组采样点的图像坐标，可以求解三个参数λ、μ和σ， 最后由这三个参数计算出球心在摄像机坐标系中的三维坐标。

1.1.1球投影模型

球投影问题的关键在于求解球投影圆锥曲面的方程，并通过它求解球心的三维坐标。可 以通过三个参数λ、μ和σ建立球投影圆锥曲面的参数方程，这三个参数是投影圆锥的三个 自由度的完备表述，体现了球投影问题的本质。

球投影成像的几何关系如图2所示。O点是摄像机中心，直角坐标系O-xyz是摄像机坐 标系。C点是摄像机主点，以C点为原点建立图像坐标系，其x轴和y轴分别与摄像机坐标 系的x轴和y轴平行。球心是点O_s，OO_s与图像平面相交于点O'_s，点A是投影椭圆曲线上 任意一点，OA延长线与球相切于D点。已知球半径为R，线段OC长为焦距f。

由空间球体与摄像机坐标系原点可以确定一个圆锥曲面，其顶点为摄像机坐标系原点， 每条母线均与球体相切，对称轴为直线OO_s。设∠DOO_s为θ，沿着OO_s方向的单位方向向 量为S⁰＝[cosα,cosβ,cosγ]^T，且满足cos²α+cos²β+cos²γ＝1，设P(x,y,z)是圆锥曲面上 任意一点，圆锥曲面方程的向量形式是：

(OP·S⁰)/|OP|＝cosθ(1)

把式(1)转化为坐标形式，并化简得到：

$\frac{cos\alpha }{cos\gamma }x+\frac{cos\beta }{cos\gamma }y+z-\frac{cos\theta }{cos\gamma }\sqrt{x^2+y^2+z^2}=0.---\left(2\right)$

令三个参数分别为λ＝cosα/cosγ、μ＝cosβ/cosγ、σ＝cosθ/cosγ，由式(2)得到投 影圆锥曲面在摄像机坐标系中的参数方程是：

$F(x,y,z)=\lambda x+\mu y+z-\sigma \sqrt{x^2+y^2+z^2}=0.---\left(3\right)$

1.1.2椭圆曲线拟合

投影椭圆曲线是由投影圆锥曲面与成像平面z＝f相交得到，所以在摄像机坐标系中的椭 圆曲线方程是：

$\left(\begin{array}{c}\lambda x+\mu y+z-\sigma \sqrt{x^2+y^2+z^2}=0\\ z=f\end{array}\right).---\left(4\right)$

并且图像坐标系的原点在主点C，x轴和y轴分别与摄像机坐标系的x轴和y轴平行， 把方程组(4)中的z消去，得到图像坐标系中的投影椭圆曲线方程是：

$f(x,y)=\lambda x+\mu y-\sigma \sqrt{x^2+y^2+f^2}+f=0.---\left(5\right)$

若已知投影椭圆曲线上一组采样点的图像坐标为{(x_i,y_i)|i＝1,2,3…,n}，把这些坐标代 入式(5)可以得到一个线性方程组。直接通过最小二乘法求解线性方程组，即求出参数λ、μ 和σ的解析解。

1.1.3计算球心三维坐标

在直角三角形ODO_s中有|OO_s|＝R/sinθ，且上文定义沿着OO_s方向的单位方向向量为 S⁰＝[cosα,cosβ,cosγ]^T，所以有：

${\mathrm{oo}}_s=|{\mathrm{oo}}_s|s^0=\frac{R}{\sin \theta }{s}^0={[\frac{R\cos \alpha }{\sin \theta },\frac{R\cos \beta }{\sin \theta },\frac{R\cos \gamma }{\sin \theta }]}^T.---\left(6\right)$

又由：

$\left(\begin{array}{c}{\cos }^2\alpha +{\cos }^2\beta +{\cos }^2\gamma \mathrm{=1}\\ \lambda =\cos \alpha /\cos \gamma \\ \mu =\cos \beta /\cos \gamma \\ \sigma =\cos \theta /\cos \gamma \end{array}\right)\Rightarrow \left(\begin{array}{c}\sin \theta =\sqrt{1+{\lambda }^2+{\mu }^2-{\sigma }^2}/\sqrt{1+{\lambda }^2+{\mu }^2}\\ \cos \alpha =\lambda /\sqrt{1+{\lambda }^2+{\mu }^2}\\ \cos \beta =\mu /\sqrt{1+{\lambda }^2+{\mu }^2}\\ \cos \gamma =1/\sqrt{1+{\lambda }^2+{\mu }^2}\end{array}\right).---\left(7\right)$

将式(7)带入式(6)，得到向量 ${\mathrm{oo}}_s={[\frac{R\lambda }{\sqrt{1+{\lambda }^2+{\mu }^2-{\sigma }^2}},\frac{R\mu }{\sqrt{1+{\lambda }^2+{\mu }^2-{\sigma }^2}},\frac{R}{\sqrt{1+{\lambda }^2+{\mu }^2-{\sigma }^2}}]}^T,$所以得到球心三维坐标是

在已知相机内参，已知球形靶标半径的情况下，采用单视图分别重构球心，然后把多幅 图像的重构结果取平均值，可以减小随机误差。

1.2计算转换矩阵

如图3所示，在摆放球靶标时，所有球靶标形成一个空间立体结构。可以让这个空间立 体结构不具有对称性，那么每个球心到其他球心之间的距离可作为此球心的一个标识向量。 通过匹配标识向量，就可以实现摄像机坐标系和世界坐标系中对应球心之间的匹配。

在三维空间中，同一个球心O可以用两个坐标矢量表示，在摄像机坐标系中表示为矢量 P，在世界坐标系中表示为矢量Q，那么P和Q通常称为球心O的同名矢量。对于三个非共 线球心，在摄像机坐标系和世界坐标系中都重构出它们的三维坐标，即可得到三对同名矢量， 进而可以计算出摄像机坐标系和世界坐标系之间的转换矩阵。

若三个球心在摄像机坐标系中的坐标矢量分别是P₁、P₂和P₃，在世界坐标系中的对应 坐标矢量为Q₁、Q₂和Q₃。摄像机坐标系到世界坐标系的转换定义为{Q_i＝R·P_i+T|i＝1,2,3}， 记转换矩阵$H=\left(\begin{array}{cc}R& T\\ 0& 1\end{array}\right).$

则旋转矩阵为：

R＝[Q₁Q₂,Q₂Q₃,Q₁Q₂×Q₂Q₃]·[P₁P₂,P₂P₃,P₁P₂×P₂P₃]^-1(8)

其中Q₁Q₂＝Q₂-Q₁，Q₂Q₃＝Q₃-Q₂，P₁P₂＝P₂-P₁且P₂P₃＝P₃-P₂，平移矢量为：

T＝(Q₁+Q₂+Q₃-RP₁-RP₂-RP₃)/3.(9)

即可得到摄像机坐标系和世界坐标系之间的转换矩阵。

实施例如下：

2.1球心距离测量实验

本实施例实验采用的球靶标的半径和球心三维坐标都已经精确测量过，采用单摄像机拍 摄球靶标的图像，然后计算出球心在摄像机坐标系下的三维坐标，然后计算出两个球心的欧 氏距离，并与已知的球心距离进行比较。然后多次测量，计算相对误差和均方根误差，以此 评价球心重构的精度。

实验中采用的球靶标及其编号如图4所示。经计量院测量，1号球靶标的直径是 40.325mm，三维坐标是(0.010,0.019,0.000)；2号球靶标的直径是40.298mm，三维坐标是 (113.219,0.022,0.000)。可以计算得到1号球靶标和2号球靶标球心之间的距离为113.229mm。

实验中采用的相机是摄影测量专用相机，分辨率为4256×2832，配用焦距24mm的光学 镜头，视场角是74°×53°，测量距离是500mm-2000mm。经标定，相机内参矩阵是：

$K=\left(\begin{array}{ccc}2893.64571& 0& 2135.46395\\ 0& 2900.50269& 1401.48662\\ 0& 0& 1\end{array}\right),---\left(10\right)$

采用“PlumbBob”畸变模型，畸变系数是：

k_c＝[0.09616,-0.07878,-0.00039,0.00006,-0.00896].(11)

在正常光照条件下，用相机拍摄10张球靶标图像，图像如图5所示。10张图像的测量 结果与RMS误差见表1。

表1相机对标准球心距的测量结果

2.2全局校准实验

如图6所示，用两组球靶标，来校准两个无公共视场的摄像机，从而验证本文全局校准 方法的有效性。在两个摄像机的视场内各摆放三个球靶标，在所有球靶标所组成的空间三维 结构中，保证任意两个球靶标相互不对称，从而可实现摄像机坐标系和世界坐标系中对应球 心的匹配。每个摄像机观察自己视场内的三个球靶标，再利用一个全局相机观察所有球靶标， 可实现两个摄像机的全局校准。实验中采用的球靶标是白色亚光陶瓷球靶标，球靶标的编号 如图7所示。经计量院测量，球靶标的直径见表2。

表2球靶标直径

实验采用的全局相机是上文2.1中所用的摄影测量专用相机，其内参如式(10)和(11)所 示。左右局部相机采用AVT工业相机，分辨率为1360×1024。经标定，内参矩阵是 $K_{left}=\left(\begin{array}{ccc}1974.52417& 0& 728.88468\\ 0& 1974.65442& 549.29770\\ 0& 0& 1\end{array}\right)$和$K_{right}=\left(\begin{array}{ccc}1977.18335& 0& 674.41864\\ 0& 1976.94817& 514.46720\\ 0& 0& 1\end{array}\right).$

采用“PlumbBob”畸变模型，畸变系数是k_{c_left}＝[-0.13109,0.25232,-0.00007,0.00018,0.00000] 和k_{c_right}＝[-0.12748,0.21361,0.00000,0.00002,0.00000]。

固定两个摄像机，两组球靶标在各自摄像机视场内自由摆放10次，每摆放一次，两个 局部相机和全局相机各拍摄一次图像，总共拍摄10组图像。每组图像如图8所示。

通过非线性优化的方法分别计算左右摄像机坐标系到世界坐标系的转换矩阵，再计算左 右摄像机坐标系之间的转换矩阵。得到左摄像机坐标系到右摄像机坐标系的转换矩阵为：

$H_{lr}=\left(\begin{array}{cccc}0.7955& 0.6027& 0.0632& -62.51583\\ -0.0120& 0.1200& -0.9927& -252.7238\\ -0.6059& 0.7889& 0.1026& -286.5962\\ 0& 0& 0& 1\end{array}\right).---\left(12\right)$

2.3全局校准精度评定实验

为了进一步验证2.2中全局校准的精度，把左右摄像机组成一个双目视觉系统，如图9(a) 所示，全局校准结果如式(12)所示。将两个球靶标用刚性杆固连在一起，并使两个球靶标分 别出现在左右摄像机视场内。左相机视场内是1号球靶标，右相机视场内是2号球靶标，它 们的半径如表2所示。全局相机多次测量球心距离，并以此作为真值。用双目视觉系统多次 测量球心距离，测量结果与真值比较，计算球心距离测量结果的RMS误差，以此评价全局 校准的精度。

全局相机拍摄的图像如图9(b)所示。全局相机的10次测量结果如表3所示。

表3全局相机测量的球心距离

在合适位置摆放固连在一起的两个球靶标10次，双目视觉系统每次拍摄的图像如图 9(c)～(d)所示。如表4所示，把双目视觉系统的测量结果与真值比较，得到10次测量结果的 距离偏差，并计算出10次测量结果的RMS误差为0.14mm。

表4无公共视场双目视觉系统对球心距的测量结果及精度