一种消除防护玻璃折射影响的平面尺寸单目测量方法

摘要

本发明涉及一种消除防护玻璃折射影响的平面尺寸单目测量方法，所述方法在分析玻璃折射现象的基础上，通过标定相机的内部参数和相机相对于测量平面的外部参数、计算每个平面形状特征点的玻璃折射影响矩阵和坐标转换矩阵，建立基于小孔成像的非线性相机成像模型，进而根据所述基于小孔成像的非线性相机成像模型建立平面尺寸检测模型，最终利用所述平面尺寸检测模型计算得到消除防护玻璃折射影响的测量平面内平面形状特征点的世界坐标。本发明的一种消除防护玻璃折射影响的平面尺寸单目测量方法，计算简单、容易实现，属于轧钢自动控制领域。

说明书

技术领域

本发明属于轧钢自动控制领域，特别涉及一种消除防护玻璃折射影响的平面尺寸单目测量方法。

背景技术

视觉测量是将计算机视觉应用于几何尺寸的测量和定位，把图像作为获取信息的手段，不仅具有非接触式测量的优点，还具有成本低、操作简便、机动灵活、实时性强等独特优点，因而被广泛应用于工业现场。

尤其是在锻造、轧制等工业领域，加热后的金属再加工过程中需要对其尺寸进行测量，以保证产品尺寸质量，由于这些加工方式条件极为恶劣，导致在线测量热态几何参数十分困难。视觉测量具有非接触、速度快、精度高的特点，因此广泛应用于这些领域。在锻造领域，文献1(毕超，高温锻件视觉测量技术研究，天津大学硕士论文，2012)围绕高温锻件尺寸视觉测量技术进行了提高图像质量、像素尺寸当量标定、亚像素级边缘提取以及相机标定等的研究工作。基于视觉测量原理搭建了对称双目视觉系统，通过建立系统的数学模型，求得相应的三维世界坐标，进而得到锻件的三维尺寸。在轧制领域，为了能够测量中间坯全长的侧弯信息，文献2(AVH Ollikkala，TP Kananen，AJM Holappa，Camera-basedCurvature Measurement of a Large Incandescent Object，Optical MeasurementSystems for Industrial Inspection VIII,2013,8788(1):87883D)采用一个面阵CCD相机倾斜安装在热卷箱上方，通过一次拍摄对粗轧后的中间坯全长进行成像，并通过辅助激光线将图相中的中间坯平面图像转化为实际尺寸。但由于高温、灰尘、蒸汽等恶劣生产条件的存在，为保护工业相机，对工业相机采用壳体保护装置，同时为了保证工业CCD相机的拍摄条件，在相机前端会安装防护玻璃，以达到保护相机和拍摄的目的。

在应用机器视觉技术对物体几何尺寸进行测量的过程中，采用相机标定技术可以得到相机系统的内外参数，进而通过小孔成像模型就能建立图像坐标与实际坐标的转换关系，完成几何尺寸的测量。但是由于防护玻璃的存在，会导致光线的折射，在这种情况下，再使用简单的小孔成像模型表征坐标的转换关系会产生非线性误差，增大后续测量的不准确性，为生产带来误差较大甚至错误的测量结果。

发明内容

为解决上述问题，本发明提供一种消除防护玻璃折射影响的平面尺寸单目测量方法。本发明是通过以下技术方案实现的：

一种消除防护玻璃折射影响的平面尺寸单目测量方法，所述方法根据无玻璃条件下标定得到的相机内部参数和相机相对测量平面的外部参数、有无玻璃时每个平面形状特征点的世界坐标间距、每个平面形状特征点的玻璃折射影响矩阵计算得到每个平面形状特征点的坐标转换矩阵；

根据所述每个平面形状特征点的坐标转换矩阵建立基于小孔成像的非线性相机成像模型；

进而根据所述基于小孔成像的非线性相机成像模型建立平面尺寸检测模型，最终利用所述平面尺寸检测模型计算得到消除防护玻璃折射影响的测量平面内平面形状特征点的世界坐标。

进一步地，所述方法包括以下步骤：

步骤S1，安装防护玻璃前，对相机进行标定，以获取相机的内部参数M_in和相机相对于测量平面的外部参数M_ex；

步骤S1标定过程的具体步骤为：

步骤S1.1，图像获取：获取多张棋盘格标定板不同位姿的图像以及测量平面内的棋盘格标定板图像；

步骤S1.2，计算角点的亚像素坐标：采用Harris角点检测算法提取所述棋盘格标定板不同位姿的图像以及测量平面内的棋盘格标定板图像中的角点，并采用灰度梯度特征法进行亚像素计算，得到精确的角点的亚像素坐标(u_M,v_N)：

Harris角点检测算法通过Harris响应函数值来判断一个点是否为角点，所述Harris响应函数公式为：

R(u_M,v_N)＝Det(M)-k*Trace²(M)(1)

其中，R(u_M,v_N)为响应函数值；Det(M)为矩阵M的行列式值，M为一个二维矩阵，可表示为I_u为图像像素坐标系上U轴方向的一阶灰度梯度，I_v为图像像素坐标系上V轴方向的一阶灰度梯度；Trace(M)为矩阵M的迹；k为一个经验常数，取值为0.05；

利用公式(2)，使用灰度梯度特征法进行计算，经过多次迭代，最终得到较为精确的角点亚像素坐标(u_M,v_N)，所述公式(2)为：

其中，为计算点处的灰度梯度值；为矩阵的转置矩阵；为图像原点O到角点的矢量；为图像原点O到计算点的矢量；

步骤S1.3，计算相机的内部参数M_in和相机相对于测量平面的外部参数M_ex：根据步骤S1.2所得的角点亚像素坐标，采用张正友相机标定法计算得到相机的内部参数M_in和相机相对于测量平面的外部参数M_ex：

相机内部参数M_in：

其中，O_c点为镜头光学中心，过O_c点的像平面法线与像平面交点为O，O_cO为焦距f，单位mm；O_f-UV为图像像素坐标系，它以像素平面左上角的点为坐标系原点O_f，每一像素的坐标(u,v)分别是该像素在数组中的列数与行数，O点图像像素坐标为(u₀,v₀)；O-XY为图像物理坐标系，它以O为原点，X,Y轴平行于图像像素坐标系U,V轴，单位mm；dx,dy为每一个像素在X轴与Y轴方向上的物理尺寸，单位mm/像素；O_c-X_cY_cZ_c为相机坐标系，它以O_c为原点，X_c,Y_c轴分别平行于相应的图像物理坐标系X,Y轴，相机的光学轴为Z_c轴，单位mm；

以测量平面内棋盘格标定板左上角的角点O_w为原点，建立世界坐标系O_w-X_wY_wZ_w，X_w,Y_w轴分别平行于所述标定板棋盘格角点横向连线和纵向连线，Z_w垂直于标定平面向上，则相机相对于测量平面的外部参数M_ex：

其中，旋转矩阵平移向量T＝[t_x>y>z]^T，旋转矩阵R内元素r₁,r₂,r₃,r₄,r₅,r₆,r₇,r₈,r₉无量纲，平移向量T内元素t_x,t_y,t_z单位mm；

步骤S2，安装防护玻璃后，当被测平面形状处于测量区域时，相机拍摄图像，使用角点检测算法或轮廓检测算法提取平面形状特征点，记录所述平面形状特征点的像素坐标(u,v)数据；

O_f-UV为图像像素坐标系，它以像素平面左上角的点为坐标系原点O_f，每一像素的坐标(u,v)分别是该像素在数组中的列数与行数；

步骤S3，针对步骤S2获取的所述平面形状特征点的像素坐标(u,v)数据，计算有、无玻璃影响下的平面形状特征点的世界坐标间距Δ₂，Δ₂计算如下式(5)所示：

其中，d为玻璃厚度，单位mm；α为相应的所述平面形状特征点的入射角，则f为镜头的焦距，单位mm；dx,dy为每一个像素在X轴与Y轴方向上的物理尺寸，单位mm/像素；n为玻璃折射率，无量纲。

步骤S4，根据步骤S2获取的所述平面形状特征点的像素坐标(u,v)数据，及步骤S3计算得到的有、无玻璃影响下平面形状特征点的世界坐标间距Δ₂，采用公式(6)计算玻璃折射影响矩阵

其中，平面形状特征点在图像物理坐标系中与X轴的夹角(u₀,v₀)为图像物理坐标系原点像素坐标，(u,v)为平面形状特征点的像素坐标；u≥u₀时，取+Δ₂cosγ；u＜u₀时，取-Δ₂cosγ；v≥v₀时，取+Δ₂sinγ；v＜v₀时，取-Δ₂sinγ；

步骤S5，根据所述相机内部参数M_in、所述相机相对测量平面的外部参数M_ex和所述每个平面形状特征点的玻璃折射影响矩阵计算得到的每个平面形状特征点的坐标转换矩阵建立基于小孔成像的非线性相机成像模型；

所述基于小孔成像的非线性相机成像模型为世界坐标系中测量平面内的平面形状特征点的世界坐标(x_w,y_w,z_w)与其投射形成相应的平面形状特征点的像素坐标(u,v)的转换关系，如下式(7)所示：

其中，世界坐标系O_w-X_wY_wZ_w以测量平面内棋盘格标定板左上角的角点O_w为原点，X_w,Y_w轴分别平行于所述标定板棋盘格角点横向连线和纵向连线，Z_w垂直于标定平面向上；为每个平面形状特征点的坐标转换矩阵；z_c为缩放因子，单位mm；

所述每个平面形状特征点的坐标转换矩阵的计算如下式(8)所示：

其中，转换矩阵元素无量纲；元素单位mm；

步骤S6，所述基于小孔成像的非线性相机成像模型中z_w＝0时，建立平面尺寸检测模型，所述平面尺寸检测模型计算所述平面形状特征点像素坐标(u,v)对应的世界坐标系中测量平面内的平面形状特征点的世界坐标(x_w,y_w)，如下式(9)所示：

其中，均为所述每个平面形状特征点的坐标转换矩阵中的元素；元素无量纲；元素单位mm。

本发明的有益效果在于：在获取无防护玻璃的标定图像的基础上，通过本发明建立的基于小孔成像的非线性相机成像模型与提出的平面尺寸检测模型。本发明通过计算平面形状特征点的像素坐标与图像像素坐标对应的世界坐标的转换矩阵，求得特征点在消除光线折射影响下的世界坐标，达到消除防护玻璃对平面尺寸视觉测量产生影响的目的，为后续的测量提供精确的平面尺寸数据。

附图说明

图1为本发明实施例中棋盘格角点的示意图。

图2为本发明实施例中基于灰度梯度特征法的亚像素精确示意图。

图3为本发明实施例中世界坐标系、相机坐标系、图像像素坐标系和图像物理坐标系的坐标关系示意图。

图4为本发明实施例中安装玻璃后对成像关系影响的示意图。

图5为本发明实施例消除防护玻璃折射影响的平面尺寸单目测量方法的流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

本实施例提供一种消除防护玻璃折射影响的平面尺寸单目测量方法，如图1-图5所示，所述方法包括以下步骤：

步骤S1，安装防护玻璃前，对相机进行标定，以获取相机的内部参数M_in和相机相对于测量平面的外部参数M_ex；

步骤S1标定过程的具体分步骤为：

S1.1，图像获取：获取多张棋盘格标定板不同位姿的图像以及标定平面的棋盘格标定板图像；

在本实施例中，获取20张棋盘格标定板不同位姿的图像及1张位于测量平面内的棋盘格标定板图像；

S1.2，计算角点的亚像素坐标：采用Harris角点检测算法提取所述棋盘格标定板不同位姿的图像以及测量平面内的棋盘格标定板图像中的角点，并采用灰度梯度特征法进行亚像素计算，得到精确的角点的亚像素坐标(u_M,v_N)：

如图1所示，角点判断采用公式(1)为Harris响应函数：

R(u_M,v_N)＝Det(M)-k*Trace²(M)(1)

其中，R(u_M,v_N)为响应函数值；Det(M)为矩阵M的行列式值，M为一个二维矩阵，可表示为I_u为图像像素坐标系上U轴方向的一阶灰度梯度，I_v为图像像素坐标系上V轴方向的一阶灰度梯度；Trace(M)为矩阵M的迹；k为一个经验常数，取值为0.05；

在本实施例中，其中一张棋盘格标定板上角点的坐标为：

(2007,820)(2064,996)(2122,1174)(2180,1355)(2239,1537)(1830,866)(1886,1044)(1943,1223)(2002,1405)(2060,1588)(1650,913)(1706,1092)(1762,1273)(1820,1456)(1878,1642)(1467,961)(1522,1141)(1578,1323)(1635,1509)(1692,1696)(1283,1008)(1337,1190)(1392,1374)(1448,1561)(1505,1750)(1094,1058)(1148,1241)(1202,1426)(1258,1615)(1314,1805)(904,1107)(957,1291)(1010,1479)(1065,1668)(1120,1861)

如图2所示，基于灰度梯度特征法的亚像素精确算法采用公式(2)进行迭代，最终得到较为精确的角点亚像素坐标(u_M,v_N)：

其中，为计算点处的灰度梯度值；为矩阵的转置矩阵；为图像原点O到角点的矢量；为图像原点O到计算点的矢量；

在本实施例中，其中一张棋盘格标定板上角点的亚像素级坐标为：

S1.3，计算相机的内部参数M_in和相机相对于测量平面的外部参数M_ex：根据步骤S1.2所得的角点亚像素坐标，采用张正友相机标定法计算相机的内部参数M_in和相机相对于测量平面的外部参数M_ex；

相机内部参数M_in：

其中，O_c点为镜头光学中心，过O_c点的像平面法线与像平面交点为O，O_cO为焦距f，单位mm；O_f-UV为图像像素坐标系，它以像素平面左上角的点为坐标系原点O_f，每一像素的坐标(u,v)分别是该像素在数组中的列数与行数，O点图像像素坐标为(u₀,v₀)；O-XY为图像物理坐标系，它以O为原点，X,Y轴平行于图像像素坐标系U,V轴，单位mm；dx,dy为每一个像素在X轴与Y轴方向上的物理尺寸，单位mm/像素；O_c-X_cY_cZ_c为相机坐标系，它以O_c为原点，X_c,Y_c轴平行于相应的图像物理坐标系X,Y轴，相机的光学轴为Z_c轴，单位mm；

以测量平面内棋盘格标定板左上角的角点O_w为原点，建立世界坐标系O_w-X_wY_wZ_w，X_w,Y_w轴分别平行于所述标定板棋盘格角点横向连线和纵向连线，Z_w垂直于标定平面向上，则相机相对于测量平面的外部参数M_ex：

其中，旋转矩阵平移向量T＝[t_x>y>z]^T，旋转矩阵R内元素r₁,r₂,r₃,r₄,r₅,r₆,r₇,r₈,r₉无量纲，平移向量T内元素t_x,t_y,t_z单位mm；

在本实施例中，如图3所示，通过张正友标定法，可以求得相机的内部参数为相机相对于测量平面的外部参数为

步骤S2，安装防护玻璃后，当被测平面形状处于测量区域时，相机拍摄图像，使用角点检测算法或轮廓检测算法提取平面形状特征点，记录在像素坐标系中所述平面形状特征点的像素坐标(u,v)数据；

在本实施例中，从所拍摄图像中提取35个平面形状特征点，其像素坐标为：

步骤S3，针对步骤S2获取的所述平面形状特征点的像素坐标(u,v)数据，采用公式(5)计算有、无玻璃影响下平面形状特征点的世界坐标间距Δ₂，Δ₂计算如下式(5)所示：

其中，d为玻璃厚度，单位mm；α为相应的所述平面形状特征点的入射角，则f为镜头的焦距，单位mm；dx,dy为每一个像素在X轴与Y轴方向上的物理尺寸，单位mm/像素；n为玻璃折射率，无量纲。

本实施例中，玻璃厚度d＝4mm，玻璃折射率n＝1.61，平面形状特征点对应的入射角α为：

编号α编号α15.2408192.284624.0201203.466532.9105215.053942.2709226.409952.6332235.408063.8187244.595475.3755254.158484.9349264.302693.5230275.0619102.0394286.2858110.4916297.8037121.1707307.0557132.8961316.5066144.7097326.2628155.3640336.4172164.0951347.0050172.8936357.9824182.0670

由此可得，平面形状特征点对应的有、无玻璃影响下的世界坐标间距Δ₂为：

编号Δ₂编号Δ₂10.1396190.060520.1068200.092030.0772210.134640.0601220.171350.0698230.144160.1014240.122270.1432250.110580.1313260.114390.0935270.1348100.0540280.1679110.0130290.2096120.0310300.1890130.0768310.1740140.1253320.1673150.1429330.1715160.1088340.1876170.0767350.2146180.0547

步骤S4，根据步骤S2获取的所述平面形状特征点的像素坐标(u,v)数据，及步骤S3计算的有、无玻璃影响下平面形状特征点的世界坐标间距Δ₂，采用公式(6)计算玻璃折射影响矩阵

其中，平面形状特征点在图像物理坐标系中与X轴的夹角(u₀,v₀)为图像物理坐标系原点像素坐标，(u,v)为平面形状特征点的像素坐标；u≥u₀时，取+Δ₂cosγ；u＜u₀时，取-Δ₂cosγ；v≥v₀时，取+Δ₂sinγ；v＜v₀时，取-Δ₂sinγ；

本实施例中，平面形状特征点对应的γ为：

步骤S5，根据所述相机内部参数M_in、所述相机相对测量平面的外部参数M_ex和所述每个平面形状特征点的玻璃折射影响矩阵计算得到的每个平面形状特征点的坐标转换矩阵建立基于小孔成像的非线性相机成像模型；

所述基于小孔成像的非线性相机成像模型为世界坐标系中测量平面内的平面形状特征点的世界坐标(x_w,y_w,z_w)与其投射形成相应的平面形状特征点的像素坐标(u,v)的转换关系，如下式(7)所示：

其中，世界坐标系O_w-X_wY_wZ_w以测量平面内棋盘格标定板左上角的角点O_w为原点，X_w,Y_w轴分别平行于所述标定板棋盘格角点横向连线和纵向连线，Z_w垂直于标定平面向上；为每个平面形状特征点的坐标转换矩阵；z_c为缩放因子，单位mm；

所述每个平面形状特征点的坐标转换矩阵的计算如下式(8)所示：

其中，转换矩阵元素无量纲；元素单位mm；

步骤S6：所述基于小孔成像的非线性相机成像模型中z_w＝0时，建立平面尺寸检测模型，所述平面尺寸检测模型计算所述平面形状特征点像素坐标(u,v)对应的世界坐标系中测量平面内的平面形状特征点的世界坐标(x_w,y_w)，如下式(9)所示：

其中，均为所述每个平面形状特征点的坐标转换矩阵中的元素；元素无量纲；元素单位mm。

本实施例中，根据所述平面尺寸检测模型计算得到的平面形状特征点在世界坐标系中测量平面上的世界坐标为：

本实施例在获取无防护玻璃的标定图像的基础上，通过本发明建立的基于小孔成像的非线性相机成像模型与提出的平面尺寸检测模型。本发明通过计算平面形状特征点的像素坐标与图像像素坐标对应的世界坐标的转换矩阵，求得特征点在消除光线折射影响下的世界坐标，达到消除防护玻璃对平面尺寸视觉测量产生影响的目的，为后续的测量提供精确的平面尺寸数据。在本实施例中，通过本发明提供的技术方法求得的特征点世界坐标的平均误差为0.02613mm，与传统方法的平均误差0.15027mm相比，提高了检测精度。