一种全景结构光视觉测量系统及通用畸变模型参数标定方法

摘要

本发明公开了一种全景结构光视觉测量系统及通用畸变模型参数标定方法，全景结构光视觉测量系统由相机、结构光投射器、玻璃管和计算机构成。利用光条点同时位于成像光路和结构光上，建立全景结构光视觉测量模型。针对玻璃管折射畸变，建立通用畸变模型，并基于此模型重建出靶标特征点空间坐标，由x

说明书

技术领域

本发明涉及视觉测量领域，特别涉及全景结构光视觉测量系统及通用畸变模型参数标定方法。

背景技术

全景结构光视觉测量技术是将特定模式的结构光投射到被测场景，实现对被测场景全景的测量。该测量技术不仅具有传统结构光视觉测量的优势，如大量程、非接触、柔性好等，而且在工业管道等内壁的三维形貌检测领域优势显著。

基于结构光视觉实现全景测量时，传感器主要分为带有多个线结构光视觉传感器的组合式传感器和圆结构光视觉传感器两种。在基于组合式传感器的系统中，多个线结构光投射器共同投射出一个完整的光平面，该光平面投射到被测场景形成整周的测量光条，多个相机从不同位置同时拍摄测量光条，共同实现被测场景360°测量。但这种组合式传感器成本较高，标定较为复杂。针对基于圆结构光视觉传感器的系统，投射器发出锥角极小的细圆锥形光曲面，经过锥面镜反射后形成圆结构光，继而投射到被测场景形成整周的测量光条，最后测量光条投射到相机图像平面，如汪连坡等在专利号为201711099593.1的发明专利“一种圆结构光的标定方法”中采用锥面镜形成圆结构光，能够应用于全景测量。上述两种传感器均能实现被测场景的全景测量，但圆结构光视觉传感器避免了多个视觉传感器装调和全局标定的问题。

采用圆结构光视觉传感器的全景测量系统，通常由透明的玻璃管将结构光投射器、锥面镜和相机连接为整体，玻璃管起到连接并支撑结构光投射器和相机的作用。光线经过玻璃管投射到相机图像平面的过程中，依次在玻璃管外表面和内表面发生折射并带来畸变，在一定程度上降低了系统测量精度。

针对上述畸变，目前有建立畸变校正模型映射表和基于平面几何关系建立畸变校正模型两种方法。建立玻璃管畸变校正模型的映射表时，张广军等(参见张广军,贺俊吉.基于圆结构光的内表面三维视觉检测模型[J].仪器仪表学报,2004,04):481-4.)分别在光线经过玻璃管成像和不经过玻璃管成像的两种情况下，分别获取靶标上角点的图像坐标，进而将这两种图像坐标映射起来。但这种方式仅能建立映射表，并未建立通用的玻璃管畸变模型。基于平面几何关系建立畸变校正模型时，WAKAYAMA T等(参见WAKAYAMA T,MACHI K,YOSHIZAWA T.Small size probe for inner profile measurement of pipes using optical fiber ring beam device；proceedings of the Proc SPIE,F,2012[C].)要求两次折射过程中的所有光路位于同一平面。当光线在圆管内外表面发生折射时，法线是圆管的径向方向。在实际应用中，两次折射过程的法线为空间异面直线，两次折射过程并不在同一平面。因此上述模型仅适用于相机光轴与玻璃管轴向方向重合的情况，要求系统各组件精密对准，难以获得实际应用。现有的对安装位置不加限制的通用畸变模型，仅适用于平面玻璃板产生的畸变，如吴高峰等在专利号为201810041002.3的发明专利“基于最小光程原理和透明玻璃标定板的多相机标定方法”中基于折射原理重建折射畸变光路，为后续标定做准备，但并不适用于全景结构光视觉测量系统中的玻璃管畸变。

综上所述，现阶段全景结构光视觉测量系统中的畸变问题尚未获得较好的解决，其主要难点在于两次折射过程不在同一平面，在空间中建立通用畸变模型较为复杂。

发明内容

本发明技术解决问题：由于光线透过玻璃管投射到相机成像平面时，在玻璃管外表面和内表面发生两次折射现象，两次折射过程中的法线是空间异面直线，因此两次折射过程不在同一平面，通用畸变模型应在三维空间中建立。现有方法并未考虑到这一问题，本发明提供一种全景结构光视觉测量系统及通用畸变模型参数标定方法，在空间中建立通用畸变模型，能够实现畸变校正并对被测场景全景测量，且具有稳定性好、精度较高等特点。

为达到上述目的，本发明的技术方案是这样实现的：

一种全景结构光视觉测量系统及通用畸变模型参数标定方法，全景结构光视觉测量系统由相机、结构光投射器、玻璃管和计算机构成。其中，结构光投射器在被测物表面投射出360°闭合光条，相机透过玻璃管拍摄该光条以实现对被测场景的全景测量；玻璃管起到连接并支撑相机和结构光投射器的作用，但光线经过玻璃管投射到成像平面时，将发生折射现象并带来畸变。利用空间中的光条点同时位于光条成像光路和结构光上，建立全景结构光视觉测量模型。针对玻璃管折射产生的畸变，在空间中建立通用畸变模型，获取畸变的图像坐标所对应的出射光线、折射光线、入射光线以及玻璃管内外表面方程。标定通用畸变模型参数时，采用视觉传感器相机拍摄平面靶标，获取畸变的角点图像坐标，再基于通用畸变模型，重建相应的靶标角点空间坐标，所述空间坐标由x_r表示；同时将辅助相机放置在玻璃管外部，拍摄上述平面靶标并获取相应的未畸变的角点图像坐标，再利用相机透视投影模型和坐标系转换关系，重建出相应的靶标角点空间坐标，所述空间坐标由x_c表示；基于一一对应的x_r和x_c，建立目标函数并进行优化，获取通用畸变模型参数。标定结构光视觉模型参数时，由视觉传感器相机获取光条点的图像坐标，基于通用畸变模型，获取光条点的空间坐标，进而拟合出结构光方程。全景结构光视觉测量系统及通用畸变模型参数标定方法具体包括以下步骤：

a、全景结构光视觉测量系统由相机、结构光投射器、玻璃管和计算机组成。玻璃管起到连接并支撑相机和结构光投射器的作用；计算机通过数据线与相机相连。建立全景结构光视觉测量模型，联立空间中光条点的成像光路方程和结构光方程，重建出光条点的空间坐标。针对玻璃管产生的折射畸变，在三维空间中建立通用畸变模型，获取空间点所对应的入射光线方程。具体方法为：基于空间点所对应的畸变的图像坐标，采用相机透视投影模型，获取空间点所对应的出射光线方程；利用玻璃管内表面点的位置特征，获取玻璃管内表面方程；利用折射定律获得折射光线方程；类似地，利用玻璃管外表面点的位置特征，获取玻璃管外表面方程；利用折射定律获取空间点所对应的入射光线方程。

b、固定视觉传感器相机和辅助相机，借助在两相机公共视场内多次摆放的平面靶标，标定两相机的内参，即两相机分别在u轴和v轴上的尺度因子、两相机的主点坐标以及两相机的畸变系数，同时获取两相机之间的外参，即两相机之间的旋转矩阵和平移矢量；

c、固定玻璃管和结构光投射器，视觉传感器相机透过玻璃管拍摄平面靶标，获得靶标上角点的畸变的图像坐标后，基于所述步骤a所述的通用畸变模型，重建入射光线方程，再计算并联立靶标平面方程，重建出基于通用畸变模型的靶标角点空间坐标，所述空间坐标由x_r表示；同时放置在玻璃管外部的辅助相机拍摄相同位置的平面靶标，获得相应的未畸变的角点图像坐标后，基于相机透视投影模型和坐标系转换关系，重建出相应的靶标角点空间坐标，所述空间坐标由x_c表示；

d、基于所述步骤c所述一一对应的空间坐标x_r和x_c，建立目标函数并采用优化算法进行优化，获取所述步骤a所述通用畸变模型的参数；

e、结构光投射器向平面靶标投射结构光，视觉传感器相机拍摄平面靶标及其上的结构光光条，计算机通过图像处理方法获得光条点的图像坐标，基于所述步骤a所述通用畸变模型，获取结构光光条点的图像坐标所对应的入射光线方程，再计算并联立靶标平面方程，从而重建结构光光条点的空间坐标，拟合出结构光方程；

f、通过图像处理方法获得测量光条上点的图像坐标后，基于所述步骤a所述通用畸变模型，获取对应的入射光线方程，再基于所述步骤a所述全景结构光视觉测量模型，联立步骤e所述结构光方程，重建出测量光条上点的空间坐标，以实现对被测场景的全景测量。

所述步骤a，所述出射光线方程，如下面所示：

设图像坐标为(u v)^T，则所对应的出射光线的反方向可由相机透视投影模型表示为：

式中α、β分别为相机在x、y方向上的尺度因子，(u₀>0)^T为相机的主点坐标。

设出射光线的反方向的单位矢量为(x_e'>e'>e')^T，有：

上述两式采用的是未考虑镜头畸变的理想像素坐标，实际上由于摄像机镜头存在不同程度的径向畸变和切向畸变，需对图像中的像素坐标进行镜头畸变校正，考虑到切向畸变极小，故只采用径向畸变，镜头畸变校正关系表示为：

式中(u v)^T为理想的像素坐标，(u'>T为对应的实际获得的像素坐标，(x>T为理想的以毫米为单位的坐标，k₁和k₂为径向畸变系数的前两项。

所述步骤d，目标函数如下：

其中，x_rj表示由视觉传感器相机得到畸变的角点图像坐标后，基于权利要求1所述通用畸变模型，重建出的第j个角点的空间坐标，x_rj带有通用畸变模型参数，包括：rv表示玻璃管轴向方向的单位矢量，M表示玻璃管轴向方向上的点，d和D分别表示玻璃管内外表面圆柱的半径。x_cj表示由辅助相机得到相应的未畸变的角点图像坐标后，重建出的第j个角点的空间坐标。

全景结构光视觉测量系统仅包括相机、结构光投射器、玻璃管和计算机，结构光投射器向被测场景投射测量光条，相机透过玻璃管拍摄该光条，在实现对被测场景全景测量的同时，避免了多传感器装调和全局标定的问题，简化了系统结构和标定过程。

光线经过玻璃管投射到图像平面的过程中，发生两次折射现象。由于圆管折射时法线位于圆管的径向方向，两次折射过程中的法线位于不同平面，因此两次折射过程也不发生在同一平面。基于三维空间关系建立的通用畸变模型，对相机在玻璃管内部的安装位置无限制，适用于实际应用。

本发明提供的全景结构光视觉测量系统及通用畸变模型参数标定方法，包括建立全景结构光视觉测量模型阶段、建立通用畸变模型阶段和模型参数标定阶段。建立全景结构光视觉测量模型阶段，利用空间中的光条点同时位于光条成像光路和结构光上，联立方程重建光条点的空间坐标。建立通用畸变模型阶段，基于畸变的图像坐标，获得对应的出射光线、折射光线、入射光线以及玻璃管内外表面方程。模型参数标定阶段，标定通用畸变模型参数时，采用视觉传感器相机拍摄平面靶标，获取畸变的角点图像坐标，再基于通用畸变模型，重建相应的靶标角点空间坐标，所述空间坐标由x_r表示；同时将辅助相机放置在玻璃管外部，拍摄上述平面靶标并获取相应的未畸变的角点图像坐标，再利用相机透视投影模型和坐标系转换关系，重建出相应的靶标角点空间坐标，所述空间坐标由x_c表示；基于一一对应的x_r和x_c，建立目标函数并进行优化，获取通用畸变模型参数。标定结构光视觉模型参数时，由视觉传感器相机获取光条点的图像坐标，基于通用畸变模型，获取光条点的空间坐标，进而拟合出结构光方程。

本发明与现有技术相比的优点在于：

(1)本发明提供的系统仅包括相机、结构光投射器、玻璃管和计算机，与基于组合式传感器的系统相比，避免了多传感器装调和全局标定的问题，简化了系统结构，降低了标定难度。

(2)本发明提出的通用畸变模型基于空间关系建立而成，利用图像坐标获得其对应的出射光线方程、折射光线方程、入射光线方程和玻璃管内外表面方程，与现有的基于平面几何关系建立的畸变模型相比，本发明不限制相机在玻璃管内部的位置，不要求系统各组件的精确对准，适用于实际应用。

(3)标定通用畸变模型参数时，本发明使用了辅助相机。视觉传感器相机拍摄平面靶标后，获得靶标上角点的畸变的图像坐标，基于通用畸变模型，重建入射光线方程，再计算并联立靶标平面方程，重建出基于通用畸变模型的靶标角点空间坐标，所述空间坐标由x_r表示；同时放置在玻璃管外部的辅助相机拍摄相同位置的平面靶标，获得相应的未畸变的角点图像坐标后，基于相机透视投影模型和坐标系转换关系，重建出相应的靶标角点空间坐标，所述空间坐标由x_c表示。通过多次摆放平面靶标的位置，获取足够多的一一对应的空间坐标x_r和x_c。

附图说明

图1为本发明全景结构光视觉测量系统及通用畸变模型参数标定方法的总体实现流程图；

图2为本发明建立的全景结构光视觉测量系统；

图3为本发明建立的通用畸变模型；

图4为靶标分别在视觉传感器相机(左图)和辅助相机(右图)下的成像；

图5为采用本发明建立的全景结构光视觉测量系统对铝管内径进行测量；

图6为全景结构光视觉测量系统样机方框图。

具体实施方式

以下结合附图及具体实施例对本发明再作进一步详细的说明。

如图1所示，本发明全景结构光视觉测量系统及通用畸变模型参数标定方法的总体实现流程图，具体包括以下步骤：

步骤8：建立全景结构光视觉测量模型。建立通用畸变模型。

图2所示为本发明建立的全景结构光视觉测量系统，由1结构光投射器、2玻璃管、3相机和4计算机组成。结构光投射器向被测场景投射出整周的测量光条后，光条透过玻璃管在相机图像平面成像。建立全景结构光视觉测量模型，利用空间中的光条点同时位于光条成像光路和结构光上，联立方程重建光条点的空间坐标。

光线经过玻璃管投射到图像平面的过程中，发生两次折射现象。由于圆管折射时法线位于圆管的径向方向，两次折射过程中的法线位于不同平面，因此两次折射过程也不发生在同一平面，故在空间中建立通用畸变模型。

基于三维空间关系建立的通用畸变模型的光路图，如图3所示。其中6为玻璃管，5为玻璃管轴向方向，4为相机光心，d和D分别为玻璃管内外表面圆柱的半径。空间点P透过玻璃管投射到相机图像平面的过程中，发生两次折射现象，图3中1为入射光线，2为折射光线，3为出射光线。玻璃管外表面上的折射点为Q₀，在Q₀处的法线方向为玻璃管内表面上的折射点为Q₁，在Q₁处的法线方向为由于圆管折射时法线位于圆管的径向方向，两次折射过程中的法线位于不同平面，设和分别位于法线平面1和法线平面2上，图3中7为法线平面1，8为法线平面2，两法线平面的夹角为ε，因此和是空间异面的，两次折射过程也不发生在同一平面。

建立通用畸变模型包括建立空间中出射光线、折射光线、入射光线以及玻璃管内外表面的方程。

平面靶标经过玻璃管投射到相机的图像平面时，依次在玻璃管外表面和内表面发生折射。基于相机透视投影模型，获得图像点对应的出射光线的方程。利用玻璃管轴向方向上一点M、玻璃管轴向方向的单位矢量以及玻璃管内表面圆柱的半径d，获得玻璃管内表面方程。联立出射光线和玻璃管内表面方程，获得玻璃管内表面上折射点Q₁以及在点Q₁处的法线方向根据折射定律，出射光线、法线和折射光线位于同一平面，建立折射坐标系，并基于坐标系转换关系，获取折射光线的空间方程。

类似地，玻璃管外表面方程可由M、以及玻璃管外表面圆柱的半径D表示，联立折射光线和玻璃管外表面方程，获得玻璃管外表面上折射点Q₀以及在Q₀处的法线方向再次根据折射定律，折射光线、法线和入射光线位于同一平面，建立新的折射坐标系，进而基于坐标系转换关系，获取入射光线的空间方程。

步骤9：固定视觉传感器相机和辅助相机，利用平面靶标标定两相机的内参和外参。

固定视觉传感器相机和辅助相机。视觉传感器相机采用大恒MER-504-10GM-P型号工业相机和Schneider Cinegon 1.4/8型号镜头，工业相机的图像分辨率为2448pixel×2048pixel，镜头焦距为8mm。辅助相机与视觉传感器相机的配置完全相同。

在视觉传感器相机和辅助相机的公共视场内，多次摆放平面靶标，标定两相机的内参和外参。平面靶标采用17×17棋盘玻璃靶标，相邻特征点间距为10mm。两相机参数的标定结果见表1。其中A_l和A_r分别为视觉传感器相机和辅助相机的内参矩阵，k_l1、k_l2、k_l3、k_l4为视觉传感器相机的畸变系数，k_r1、k_r2、k_r3、k_r4为辅助相机的畸变系数，R₀和T₀分别为视觉传感器相机和辅助相机之间的旋转矩阵和平移矢量。

表1

步骤10：固定视觉传感器相机和结构光投射器，视觉传感器相机和辅助相机拍摄平面靶标，获得空间坐标x_r和x_c。

采用玻璃管固定视觉传感器相机和结构光投射器。结构光投射器为360°激光投射器，型号为HB365050X，所投射激光的波长为650nm。圆柱型玻璃管的长度约为700mm，内径约为60mm，壁厚约为2mm。

在视觉传感器相机和辅助相机的公共视场内，多次摆放平面陶瓷靶标，平面陶瓷靶标上具有4×5个特征点，相邻特征点间距为37mm。视觉传感器相机透过玻璃管拍摄平面靶标，获得靶标上角点的畸变的图像坐标后，基于所述步骤a所述的通用畸变模型，获取入射光线方程，再计算并联立靶标平面方程，重建出基于通用畸变模型的靶标角点空间坐标，所述空间坐标由x_r表示；同时放置在玻璃管外部的辅助相机拍摄相同位置的平面靶标，获得相应的未畸变的角点图像坐标后，基于相机透视投影模型和坐标系转换关系，重建出相应的靶标角点空间坐标，所述空间坐标由x_c表示。图4所示为靶标分别在视觉传感器相机(左图)和辅助相机(右图)下的成像；

步骤11：基于一一对应的x_r和x_c，建立目标函数并进行优化，获取通用畸变模型参数。

基于一一对应的x_r和x_c，建立目标函数如下：

其中，x_rj表示由视觉传感器相机得到畸变的角点图像坐标后，基于权利要求1所述通用畸变模型，重建出的第j个角点的空间坐标，x_rj带有通用畸变模型参数，包括：rv表示玻璃管轴向方向的单位矢量，M表示玻璃管轴向方向上的点，d和D分别表示玻璃管内外表面圆柱的半径。x_cj表示由辅助相机得到相应的未畸变的角点图像坐标后，重建出的第j个角点的空间坐标。

采用优化算法对上述目标函数进行优化，通用畸变模型各个参数的初始值和优化值的结果见表2。

表2

步骤12：视觉传感器相机拍摄结构光，获得光条点的图像坐标后，基于通用畸变模型，重建对应的空间坐标，再拟合出结构光方程。

将平面陶瓷靶标多次摆放在不同位置，同时保证结构光投射到靶标平面。视觉传感器相机透过玻璃管拍摄靶标平面及结构光，采用Steger光条提取的方法获得光条点的图像坐标后，基于通用畸变模型，重建对应的空间坐标，再拟合出结构光方程，如下所示：

Π＝[-2.2580e-005 -7.0373e-006 -0.0016 633.8265]^T。

步骤13：联立结构光方程和测量光条点所对应的入射光线方程，重建光条点的空间坐标，实现全景测量。

图5所示为采用本发明建立的全景结构光视觉测量系统对铝管内径进行测量。其中1为待测铝管，2为玻璃管，3为相机，4为计算机，结构光投射器位于铝管内部，向铝管内表面投射整周的结构光。相机拍摄测量光条图像后，计算机采用图像处理的方法获取测量光条上点的图像坐标，基于通用畸变模型获取每个光条点所对应的入射光线方程，分别与结构光方程联立，重建各光条点的空间坐标，进而拟合为椭圆，椭圆短轴长度即为测得的铝管内径。

综上所述，本发明提供了一种全景结构光视觉测量系统及通用畸变模型参数标定方法，包括：建立全景结构光视觉测量模型、建立通用畸变模型、标定模型参数等内容。图6所示为全景结构光视觉测量系统样机方框图，其中，玻璃管起到连接并支撑相机和结构光投射器的作用；结构光投射器投射出测量光条；相机透过玻璃管拍摄该光条；计算机与相机相连，完成相机的采集控制，实现靶标上角点的提取、结构光光条提取以及全景测量的解算。对于内径为288.5mm的圆柱形铝管，本发明建立的测量系统的精度为0.23mm，与忽视了畸变的系统相比，所述系统的精度提高了7.9倍。实验结果表明本发明能够校正畸变，具有稳定性好、精度较高等优点。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。