一种双目视觉传感器的消隐特征约束标定方法及装置

摘要

本发明公开了一种双目视觉传感器的消隐特征约束标定方法及装置，该方法包括以下步骤：1、根据测量对象，固定左右摄像机的位置并完成左右摄像机内部参数的标定；2、设置平行线靶标，左右摄像机从不同角度拍摄靶标图像；3、根据步骤1中标定出的摄像机畸变系数对图像进行畸变矫正；4、利用从靶标图像上提取的直线方程计算消隐线，采用线性计算方法完成双目视觉传感器结构参数初值的求解；5、以步骤4中线性求解的R、T为初值，利用平行线间距约束和靶标平面法线方向在左右摄像机坐标系下的一致性进行整体优化，得到最终标定结果。本发明提出的双目视觉传感器结构参数标定方法，实现了旋转矩阵参数R和平移向量参数T的分步求解，降低了计算的难度和复杂性。

说明书

技术领域

本发明涉及计算机视觉技术，具体涉及一种双目视觉传感器的消隐特征约束标定方法及 装置。

背景技术

双目视觉传感器主要由两台摄像机组成，以光学三角法为基础，基于立体视差原理，完 成公共视场内的特征点、特征线等的三维测量。由于双目视觉测量具有非接触、速度快、系 统柔性好、测量精度高等优点，广泛应用于三维模型重建、物体表面轮廓三维信息测量以及 物体关键几何参数测量等领域。

双目视觉传感器的测量模型参数的标定是双目视觉传感器能否应用成功的关键，主要包 括摄像机内部参数的标定和传感器结构参数的标定。摄像机内部参数不随两台摄像机之间结 构而改变，可以离线标定，而传感器的结构参数则不同，容易受到安装过程的影响，需要在 线标定。

目前双目视觉传感器模型参数的标定方法主要有：①基于已知三维坐标的三维靶标法， 如马颂德在“计算机视觉——计算理论与算法基础[M].北京：科学出版社，2003”中所述；② 基于未知运动平面圆孔靶标法，见周富强文章“双目视觉传感器的现场标定技术[J].仪器仪表 学报，2000,21(2)：142-145”；③基于未知运动一维靶标法，张广军的“基于标准长度的立 体视觉传感器结构参数标定方法.2001年航空工业测控技术学术交流会：259～263”、周富强 的“基于未知运动一维靶标的双目视觉传感器标定[J].机械工程学报，2006,42(6)：92-96” 和孙军华的“大视场双目视觉传感器的现场标定[J].光学精密工程,2009,17(3):633-640” 均属此类；④基于特征点匹配的双目视觉传感器自标定方法，以R.I.Hartley在文章“Estimation  of relative camera positions for uncalibrated cameras,In Proc.European Conference on Computer  Vision,LNCS 588,pages 579-587.Springer Verlag,1992”中所提出方法为典型代表。三维靶标法 由于不同平面对光照的相互影响，只能在特定位置才能获得高质量标定图像，且三维靶标加 工难度大、制作成本高，所以该方法在工程中的应用受到限制。基于未知运动平面圆孔靶标 法，计算过程为求解非线性方程根的迭代过程，计算量大、计算过程复杂。基于未知运动一 维靶标法，虽然精度较高、实现方便，但是求解过程需多次矩阵变换和非线性方程迭代求根， 使得计算复杂性高、计算误差大。基于特征点匹配的摄像机自标定方法，标定的高精度需以 图像特征点提取的高精度和高匹配率为基础，在复杂的现场环境下这一点是很难保证的。另 外，还有一些其他标定方法，如李明哲在文章“基于计算机视觉的板材曲面3维测量系统”提 出的基于BP神经网络的双目视觉传感器标定方法，但未给出标定精度；马永壮在“一种基于 双目主动视觉的线性自标定算法”提出了基于双目主动视觉的自标定方法，但要求两摄像机 之间存在纯平移关系。

发明内容

文章“Parallel-based calibration method for line-structured light vision sensor[J].Optical  Engineering,2014,53(3):033101-033101.”中利用平行线消隐特征完成了结构光视觉传感器 的标定。在此工作的启发下，本发明提出了一种利用平行线平面靶标(至少3条等间距平行 线)完成双目视觉传感器结构参数标定的新方法，目的在于能够在所需靶标易于加工制造、 操作过程简单有效、计算过程简便快捷且无需辅助设备的前提下完成双目视觉传感器结构参 数的高精度标定。

本发明采用的技术方案为：一种双目视觉传感器的消隐特征约束标定方法，该方法包括 如下步骤：

步骤1、根据测量对象，固定左右摄像机的位置，标定过程中，两摄像机的参数和位置 保持不变，利用张正友标定方法完成左右摄像机内部参数的标定；

步骤2、将平行线靶标放置在左右摄像机的公共视场内，即测量空间内，利用标定好的 左右摄像机获取靶标图像，通过移动靶标得到足够数量的靶标图像，过程中靶标平面与左右 摄像机的图像平面需有一定夹角，以保证消隐线可以精确求解；

步骤3、根据步骤1中标定出的摄像机畸变系数对靶标图像进行畸变矫正；在靶标图像 上利用基于hessian矩阵的子像素级边缘提取算法提取直线上特征点，通过最小二乘拟合得 到直线方程；

步骤4、利用从靶标图像上提取的直线方程计算消隐线，求解靶标平面在摄像机坐标系 下的法线方向，由靶标平面的法线方向在左右摄像机坐标系下的表示完成双目视觉传感器的 结构参数R的计算，利用平行线束共面且间距为D的约束，计算结构参数T；

步骤5、以步骤4中线性求解的R、T为初值，利用平行线间距约束和靶标平面法线方 向在左右摄像机坐标系下的一致性进行整体优化，得到最终标定结果。

本发明另外提供一种双目视觉传感器的消隐特征约束标定装置，该装置包括：平面靶标、 数据采集部分、数据处理部分和稳压电源；其中：

所述的平面靶标包括左右摄像机内部参数标定用棋盘格平面靶标和双目视觉传感器结 构参数标定用平行线靶标；

所述的数据采集部分由左右两台摄像机组成的双目视觉传感器拍摄平面靶标，得到多张 靶标图像；

所述的数据处理部分包括硬件和软件，其中硬件由一套计算机系统组成，软件包括摄像 机内参数标定软件和双目视觉传感器结构参数标定软件，摄像机内参数标定软件完成棋盘格 靶标图像上棋盘格角点的提取和摄像机内参数求解，双目视觉传感器结构参数标定软件完成 平行线靶标图像上直线的提取和结构参数求解；

所述的稳压电源用于给所述的平面靶标、所述的数据采集部分与所述的数据处理部分提 供工作电压，其供电电压由所述的平面靶标、所述的数据采集部分与所述的数据处理部分输 入电压确定。

本发明的有益效果为：

1)、本发明中提出的一种双目视觉传感器的消隐特征约束标定方法及装置，采用带有一 组间距为D的平行线的平面靶标，在测量空间内自由摆放至少两次，由两个摄像机获取多幅 靶标图像。相对已有的标定方法，该方法所需的靶标加工制造容易，标定过程简单有效，适 合线上标定。

2)、此外，本发明提出的双目视觉传感器结构参数标定方法，实现了旋转矩阵参数R和 平移向量参数T的分步求解，降低了计算的难度和复杂性。基于空间直线绝对距离约束和同 一靶标平面的法线方向在左右摄像机坐标系下的一致性建立目标优化函数，以线性方法求出 的参数为初值，采用非线性的方法进行整体优化，保证了求解结果为全局最优。

附图说明

图1为本发明一种双目视觉传感器的消隐特征约束标定方法流程图；

图2为摄像机内参标定用棋盘格靶标；

图3为双目视觉传感器结构参数标定模型示意图；

图4为平行线靶标图像示意图；

图5为景物为一组等间距平行线时消隐线位置示意图；

图6为平面S₁、S₂、S₃、S₄与靶标平面Π_t关系示意图；

图7为具体实施例系统实物图示意图；

图8为平行线靶标；

图9为评价标定精度用测量对象。

具体实施方式

本发明的基本思想是：以平行线靶标为标定物，在双目视觉传感器的测量空间内自由摆 放至少2次，由两个摄像机获得多幅靶标图像。对每幅图像提取至少3条特征直线进行双目 视觉传感器结构参数的标定。

下面结合附图对本发明作进一步说明。

图1为本发明一种双目视觉传感器的消隐特征约束标定方法流程图，如图1所示，本发 明一种双目视觉传感器的消隐特征约束标定方法包括以下步骤：

步骤1：根据测量对象，固定左右摄像机的位置。利用张正友在文章“A flexible new  technique for camera calibration,IEEE Trans.Pattern Anal.Mach.Intell.22(11),1330–1334 (2000)”中所述方法完成左右摄像机内部参数的标定，此步骤可借助J.Bouguet编写的 “Camera calibration toolbox for Matlab,http://www.vision.caltech.edu/bouguetj/calib_doc/ (December 2013)”工具箱完成。标定过程中两摄像机的参数和位置保持不变，所用靶标为 棋盘格靶标，如图2所示。

步骤2：设置平行线靶标，左右摄像机从不同角度拍摄靶标图像。

这里，所述靶标为带有一组等间隔平行线的2D靶标，平行线条数至少为3、间距D精 确已知。如图3所示为标定模型示意图。将世界坐标系O-XYZ建立在左摄像机上，右摄像 机坐标系为左摄像机图像坐标系为o_l-u_lv_l，右摄像机图像坐标系为o_r-u_rv_r。

步骤3：根据步骤1中标定出的摄像机畸变系数对图像进行畸变矫正。利用基于hessian矩 阵的子像素级边缘提取算法提取直线上特征点，通过最小二乘拟合得到直线方程。

如图4所示为拍摄的靶标图像示意图。靶标上直线L₁、L₂、L₃、L₄在左右相机成像分 别为l₁、l₂、l₃、l₄和r₁、r₂、r₃、r₄。在靶标图像中，采用基于Hessian矩阵的子像素级 边缘检测算法提取直线的中心点。利用Peter Kovesi编写的“MATLAB and Octave functions for  computer vision and image processing[J].Online:http://www.csse.uwa.edu.au/～ pk/Research/MatlabFns/#match,2000”中的边缘连接算法完成直线的连接，并基于位置信息完 成直线的自动识别与匹配。在左右摄像机图像坐标系下，利用提取的直线中心点坐标根据最 小二乘原则拟合直线l₁～l₄和r₁～r₄，这里采用齐次坐标表示，即：l_i＝(l_i)_3×1，r_i＝(r_i)_3×1。

步骤4：利用从靶标图像上提取的直线方程计算消隐线，采用线性计算方法完成双目视 觉传感器结构参数初值的求解。

步骤4.1根据提取的直线l₁～l₄和r₁～r₄计算靶标平面在左右摄相机下的消隐线l_l、l_r。

一组共面等间距平行线可用方程ax'+by'+λ＝0表示，这里λ代表整数，其齐次参数形 式可简记为l'_n＝(a,b,n)^T＝(a,b,0)^T+n(0,0,1)^T，这里(0,0,1)^T代表平面上的无穷远直线。靶标 平面上点和图像平面上点之间的摄影变换为x＝Hx'，那么直线之间的摄影变换则是 l_n＝H^-Tl'_n＝l₀+nl，这里H为靶标平面和图像平面之间的单应矩阵、l为直线(0,0,1)^T所成的 像即消隐线，l₀为平行线组中第1条直线所成的像，如图5所示为景物为一组等间距平行线 时消隐线位置示意图。

利用像直线l₀、l₁……l_n求解消隐线l的过程如下：

若$l_n=\left(\begin{array}{c}{a}_n\\ -1\\ b_n\end{array}\right),l_0=\left(\begin{array}{c}{a}_0\\ -1\\ b_0\end{array}\right),l=\left(\begin{array}{c}\alpha \\ -1\\ \beta \end{array}\right),$则有：

$l_n=l_0+\mathrm{nl}\Rightarrow {\rho }_n\left(\begin{array}{c}{a}_n\\ -1\\ b_n\end{array}\right)={\rho }_0\left(\begin{array}{c}{a}_0\\ -1\\ b_0\end{array}\right)+n\left(\begin{array}{c}\alpha \\ -1\\ \beta \end{array}\right),---\left(1\right)$

这里ρ_n、ρ₀为一非零比例系数。从而可得l_n与l的约束方程：

$\left(\begin{array}{ccc}n& 0& a_0-a_n\\ 0& n& b_0-b_n\end{array}\right)\left(\begin{array}{c}\alpha \\ \beta \\ {\rho }_0\end{array}\right)=n\left(\begin{array}{c}{a}_n\\ b_n\end{array}\right),---\left(2\right)$

从而有如下方程组：

$\left(\begin{array}{ccc}1& 0& a_0-a_1\\ 0& 1& b_0-b_1\\ 2& 0& a_0-a_2\\ 0& 2& b_0-b_2\\ .& .& .\\ .& .& .\\ .& .& .\\ n& 0& a_0-a_n\\ 0& n& b_0-b_n\end{array}\right)\left(\begin{array}{c}\alpha \\ \beta \\ {\rho }_0\end{array}\right)=\left(\begin{array}{c}{a}_1\\ b_1\\ 2a_2\\ 2b_2\\ .\\ .\\ .\\ {\mathrm{na}}_n\\ {\mathrm{nb}}_n\end{array}\right),---\left(3\right)$

通过式(3)即可求得消隐线l。

利用上述消隐线计算方法，靶标平面在左右摄相机下的消隐线l_l、l_r可通过l_i、r_i(i＝1、 2、3、4)求得。

步骤4.2：计算旋转矩阵R

A_l、A_r表示左右摄相机内参矩阵，已在步骤1中标定出。靶标平面在左右摄像机坐标 系下的单位法向量n_l、n_r可由如下公式得到：

$n_l=A_l^T{l}_l/\left|\right|A_l^T{l}_l\left|\right|,n_r=A_r^T{l}_l/\left|\right|A_r^T{l}_r\left|\right|.---\left(4\right)$

由于n_l、n_r为同一靶标平面在左右摄相机坐标系下的单位法向量，有：

n_r＝Rn_l。    (5)

当靶标自由摆放n次，可以得到n组如式(5)所示关系。由于旋转矩阵R满足正交约 束，只有3个独立变量，所以n≥2时即求解出旋转矩阵R。

步骤4.3：计算平移向量T

设π_li、π_ri为靶标上直线L_i在左右摄相机图像平面上成像直线l_i、r_i的反投影平面在世 界坐标系下的齐次表示(i＝1、2、3、4)。

π_li＝P_l^Tl_i，π_ri＝P_r^Tr_i。    (6)

其中：

P_l＝A_l[I|0]——左摄像机投影矩阵；

P_r＝A_r[R|T]——右摄像机投影矩阵。

我们用L^*_i表示直线L_i在世界坐标系下的对偶Plüker矩阵，有如下方程：

$L_i^{*}={\pi }_{\mathrm{li}}{\pi }_{\mathrm{ri}}^T-{\pi }_{\mathrm{ri}}{\pi }_{\mathrm{li}}^T=\left(\begin{array}{cc}{(A_l^T{l}_i{r_i}^T{A}_{r}R-R^T{A}_r^T{r}_i{l}_i^T{A}_l)}_{3\times 3}& {\left(A_l^T{l}_i{r_i}^T{A}_{r}T\right)}_{3\times 1}\\ {(-T^T{A}_r^T{r}_i{l}_i^T{A}_l)}_{1\times 3}& 0_{1\times 1}\end{array}\right)---\left(7\right)$

将记为$L_i^{*}=\left(\begin{array}{cc}{A}_i& B_{i}T\\ -T^T{B}_i^T& 0\end{array}\right),$其中$A_i=A_l^T{l}_i{r_i}^{T}R-R^T{A}_r^T{r}_i{l}_i^T{A}_l,B_i=A_l^T{l}_i{r_i}^T{A}_r,$A_i、B_i均与参数T无关，i＝1、2、3、4。由于即为反对称矩阵，则A_i与一个3×1向量 对应，这里用a_i表示，即A_i＝[a_i]_×，$a_i=\left(\begin{array}{c}-a_{23}\\ a_{13}\\ -a_{12}\end{array}\right),$a_mn为矩阵A_i的第m行n列上的元素。

由于直线L₁、L₂、L₃、L₄彼此平行，它们有共同的无穷远点，这里采用$v=\left(\begin{array}{c}{\bar{v}}_{3\times 1}\\ 0\end{array}\right)$表 示该点在世界坐标系下的齐次坐标且满足约束由于无穷远点在直线L₁、L₂、L₃、L₄上，有如下方程：

$L_i^{*}v=0,---\left(8\right)$

即：$\left(\begin{array}{cc}{A}_i& B_i\\ -B_i^T& 0\end{array}\right)v=0\Rightarrow \left(\begin{array}{c}{A}_i\bar{v}=0\\ B_i\bar{v}=0\end{array}\right)(i=\mathrm{1,2,3,4}).$

根据$\left(\begin{array}{c}{A}_1\\ A_2\\ A_3\\ A_4\end{array}\right)\bar{v}=0,$解方程并单位化求得由摄影几何知识得同时为直线L₁、L₂、L₃、 L₄在世界坐标系下的方向矢量。

设平面S_i为过靶标上直线L_i并垂直于靶标平面Π_t的平面，则S_i在世界坐标系下可表示 为$S_i=\left(\begin{array}{c}{n}_s\\ d_i\end{array}\right),$其中靶标平面${\Pi }_t=\left(\begin{array}{c}{n}_t\\ k\end{array}\right),n_s=\bar{v}\times n_t,$n_t为步骤4.2中求解旋转矩阵R时已计 算出的靶标平面的单位法向量，如图6所示。由对偶Plüker矩阵根据重写规则得到Plüker 矩阵L_i，$L_i=\left(\begin{array}{cc}{[-B_{i}T]}_{\times }& -a_i\\ a_i^T& 0\end{array}\right)(i=\mathrm{1,2,3,4}).$由于直线L_i同时在平面S_i和平面Π_t上，有 如下方程成立：

$\left(\begin{array}{c}{L}_i{\Pi }_t=0\\ L_i{S}_i=0\end{array}\right),---\left(9\right)$

带入整理可得：

$\left(\begin{array}{c}{n}_s\times B_{i}T-d_i{a}_i=0\\ n_t\times B_{i}T-k{a}_i=0\end{array}\right).---\left(10\right)$

由于L₁、L₂、L₃、L₄为间距为D的一组平行线，有d_i＝d₁-(i-1)×D，其中i＝1、2、 3、4。上述方程中有T_3×1、d₁、k共5个未知数，方程提供的约束个数为4，所以若靶标移 动一次可增加4个约束，而方程未知数个数只增加2个(新的d₁和k)。那么，当靶标独立 摆放n次时，方程约束个数P＝4n，未知数个数为Q＝2n+3。当n≥2时，P≥Q可求解出T_3×1。

步骤5：以步骤4中线性求解的R、T为初值，利用平行线间距约束和靶标平面法线方向 在左右摄像机坐标系下的一致性进行整体优化，得到最终标定结果。

设平面π为与靶标上直线L₁、L₂、L₃、L₄垂直的平面，则π在世界坐标系下可表示为 $\pi =\left(\begin{array}{c}\bar{v}\\ a\end{array}\right)$(a为一任意常数，为计算简便这里取0)。将空间直线L_i与平面π的交点在世界坐 标系下表示为X_i，则有：X_i＝L_iπ。由于平行线间距为D，则||x_i+1-x_i||₂＝D，其中x_i为X_i的 非齐次坐标表示(i＝1、2、3、4……)。

假设靶标上间距为D的平行线条数为m，靶标自由摆放n次，我们建立如下目标优化函 数：

$\min F(R,T)={\rho }_1\underset{i=1}{\overset{n}{\Sigma }}\underset{j=1}{\overset{m-1}{\Sigma }}|D-d_j(x_{j+1}^i,x_j^i)|+{\rho }_2\underset{i=1}{\overset{n}{\Sigma }}|n_r^i-R{n}_l^i|---\left(11\right)$

其中为靶标第i次摆放时，交点与交点之间的空间距离；为靶标 第i次摆放时，靶标平面分别在左右摄相机坐标系下的法线方向；ρ₁、ρ₂为权重系数。

式(11)中考虑到误差分配原则，我们取ρ₁＝0.1、ρ₂＝10。为了保证R的正交约束， 并给出比较稳定的数值解，将旋转矩阵以罗德里格斯参数的形式表示为Φ＝(φ₁,φ₂,φ₃)^T，这 样需要求解的系统参数为6。采用Levenberg-Marquardt方法对式(11)表示的目标函数进行 非线性优化，由初值比较接近最优参数，经过较少迭代即可收敛到全局最小，从而既保证了 计算结果的准确性又提高了计算速度。

下面为按照具体实施方式完成的一个具体实施例：

双目视觉系统采用两台AVT-F504B相机搭建，分辨率为1600×1200，左右摄像机的工作 距离为700mm～900mm，公共视场大小为300×300mm，系统实物如图7所示。左右摄相机 的内部参数由张正友的基于平面靶标的摄像机标定方法标定出：

左摄像机：${\alpha }_x^l=5095.65,{\alpha }_y^l=5095.39,u_0^l=825.08,v_0^l=599.19,k_1^l=-0.24,k_2^l=0.81$

右摄像机：${\alpha }_x^r=5097.66,{\alpha }_y^r=5097.83,u_0^r=801.88,v_0^r=590.56,k_1^r=-0.22,k_2^r=-0.58$

其中，和表示左右摄像机的有效焦距，和表示左右摄像 机的主点坐标，和表示左右摄像机的一、二阶径向畸变系数。

靶标为一组共面的间距为10mm的平行线，平行线的位置精度为0.1mm，如图8所示。 靶标自由摆放了9次，靶标平面法线方向与摄像机光轴夹角变化范围为0°～35°，共获得左 右摄像机拍摄图像各9幅。

采用本发明标定的结果如下：

$R=\left(\begin{array}{ccc}0.8117& -0.0491& 0.5820\\ 0.0357& 0.9988& 0.0344\\ -0.5829& -0.0072& 0.8125\end{array}\right),T=\left(\begin{array}{c}-477.9386\\ -24.5363\\ 122.1292\end{array}\right).$

我们使用一个平面棋盘格靶标来评定标定结果的精度。靶标上小正方格个数为10×10， 小正方格边长为10mm，精度为0.05mm，把此作为真值。利用标定好的双目视觉系统测量 小正方格的边长得到测量值，我们选取了其中5个小正方格进行测量，如图9所示。我们将 棋盘格靶标自由摆放了4次，通过计算边长测量结果的RMS误差来衡量标定结果的精度， 结果如表1所示。

表1测量结果

测量结果如表1所示，10×10mm的小正方格边长测量结果的RMS误差为0.103mm，这 与标定用靶标上平行线0.1mm的位置精度为同一水平。考虑到视场大小为300×300mm，测 量结果的相对RMS误差为0.34‰。

本发明中涉及到的本领域公知技术未详细阐述。