一种基于3D数据的飞行器表面制造质量检测方法

摘要

本发明涉及一种基于3D数据的飞行器表面制造质量检测方法，包括：向飞行器表面蒙皮投射一系列正弦条纹；左右相机采集经表面调制后的条纹图像；对条纹图像进行相位展开；根据相位和对极几何约束进行左右图像匹配；重建飞行器表面的三维点云模型；提取铆钉兴趣区域，根据图像区域与三维模型对应关系，在点云模型中对铆钉进行定位；采用曲面拟合方法获得铆钉的飞行器表面基准构形；计算铆钉的点到基准构形的距离，获得铆钉凹凸的铆钉兴趣区域；进行伪彩色图像编码并投影到飞行器表面，形成直观结果。本发明可实现铆钉兴趣区域深度信息的检测，鲁棒性强，精度高，可以给出量化、直观检测结果，提供了一种适用于飞行器表面铆钉兴趣区域的新途径。

说明书

技术领域

本发明涉及自动化检测领域，具体地说是一种基于3D数据的飞行器表面制造质量检测方法。

背景技术

飞行器的表面是包围在机翼骨架外围的蒙皮构件，用铆钉固定于骨架上，形成机翼的气动力外形，其表面质量对飞行器的气动特性、飞行安全性、飞行成本以及隐身性能等都具有重大影响。出厂交付前，需要对其表面质量进行严格检测，主要检测内容包括铆钉凹凸等铆钉兴趣区域。由于飞行器属于高价值产品，其设计和制造精确较高，上述铆钉兴趣区域的深度误差通常要求控制在几十微米左右。

目前，国内航空企业主要是借助检测塞尺、样板、模胎、专用检验工装、量具以及人工观测等手段对蒙皮表面质量进行检测。这种方法的精度难以保证、可重复性差、效率低，严重制约了飞行器的出厂交付周期，已不能满足飞行器数字化快速制造的需求。目前，工业中出现了许多无损检测方法，比如射线检测、超声波检测、渗透检测、机器视觉检测、激光全息检测以及红外检测等方法。其中，机器视觉检测方法由于具有效率高、重复性好、客观性强等优势，在表面铆钉兴趣区域检测领域得到了深入发展和广泛应用。但这类方法处理和输出的信息以2D居多，主要用于实现有/无判断、面积测量、数量测量以及方向测量等功能，不能给出铆钉兴趣区域的深度、体积等立体信息。实际应用中，立体信息往往才是决定表面制造质量是否达标的关键指标。近年来，在飞机、汽车零部件制造行业，出现了一些通过比较扫描模型和设计模型之间差异的3D表面铆钉兴趣区域检测方法。若将这种方法用于飞行器表面铆钉兴趣区域检测，需要知道飞行器的数字设计模型，同时必须获取完整的飞行器扫描模型。由于飞行器尺度较大，目前还没有一种有效的方法能够对整个飞行器外形进行高精度、大范围的测量建模，即使具备这样的条件，两个大规模模型之间的配准和比对也需要海量运算，普通计算机根本难以完成。再则，3D设计模型细微的偏差，对检测结果具有巨大影响。如果进一步考虑到飞行器蒙皮表面具有较大的形位公差，设计模型与扫描模型之间存在的差异可能远远大于表面铆钉兴趣区域的尺度，导致铆钉兴趣区域信息被误差淹没。

因此，已有的3D铆钉兴趣区域检测方法并不适合飞行器表面制造质量检测。此外，在表面铆钉兴趣区域的实际检测与维修过程中，测量结果一般显示在计算机屏幕上，操作人员在标记和维修铆钉兴趣区域时，需要在屏幕与目标之间来回查看和走动，或者是通过其他人建立中继通讯，既浪费时间，还容易引入过程误差。上述实际问题，对飞行器表面质量检测技术提出了新的需求。

发明内容

针对现有技术存在上述不足之处，本发明要解决的技术问题是提供一种基于3D数据的飞行器表面制造质量检测方法，并采用光学打标技术，将检测结果投影在物体铆钉兴趣区域位置，形成直观的视觉效果。

本发明为实现上述目的所采用的技术方案是：一种基于3D数据的飞行器表面制造质量检测方法，包括以下步骤：

S1：采用投影仪向飞行器蒙皮表面投射三组共12幅条纹图像；

S2：采用左右相机同时采集投射在飞行器表面的三组共12幅条纹图像、以及2幅飞行器蒙皮表面无条纹图像；

S3：对左右相机采集的条纹图像分别进行相位开展，获得绝对相位Φ₁₂₃(x,y)；

S4：根据绝对相位和对极几何约束，进行左右相机图像匹配；

S5：根据图像匹配结果和双目视觉原理，重建飞行器表面的3D点云数据模型；

S6：对左相机采集的2幅无条纹图像，识别出铆钉兴趣区域；

S7：利用铆钉兴趣区域图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位；

S8：采用曲面拟合方法，重建飞行器表面铆钉兴趣区域基准构形S_n；

S9：计算铆钉兴趣区域内的点到飞行器表面铆钉兴趣区域基准构形S_n的距离，获得距离残差曲面Rc；

S10：将距离残差曲面Rc的结果编码成铆钉兴趣区域伪彩色图像；

S11：采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果。

所述投射三组共12幅条纹图像，包括：

a.按下列公式生成3组12幅标准正弦分布的条纹图像

其中，m＝1,2,3，i＝1,2,3,4，I′(x,y)图像的平均灰度图像，I″(x,y)为图像的灰度调制，δ_mi分别为图像相位移，为相对相位；和对应的波长分别为λ₁、λ₂和λ₃；

b.用投影仪将上述3组共12幅条纹图像投射到飞行器蒙皮表面。

所述对左右相机采集的条纹图像分别进行相位开展，获得绝对相位Φ₁₂₃(x,y)，包括：

a.采用四步相移法，运用公式(1)分别计算出3组条纹图像的相对相位和即

其中，被反正切函数截断在[-π,π]内，在测量空间不连续；

b.采用双频叠加法运用公式(2)对和进行叠加得到

对应的波长为

c.同理，运用公式(3)对和进行叠加得到

对应的波长为

d.同理，运用公式(4)，对和进行叠加得到

e.对进行展开，得到绝对相位

其中，INT表示取整。

所述根据绝对相位和对极几何约束，进行左右相机图像匹配，包括：

设P₂为右图像中的任一点，绝对相位值为Φ_P2，L_left为P₂在左图像中对应的对极线，则P₂在左图像中的匹配点P₁应位于L_left上，且该匹配点P₁的相位值Φ_P1与P₂的相位值Φ_P2的差值的绝对值最小，则P₂和P₁是匹配点；其中，Φ_P1和Φ_P2为按照绝对相位Φ₁₂₃(x,y)的计算得到。

5.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述根据图像匹配结果和双目视觉原理，重建飞行器表面的3D点云数据模型，包括：

设b为左右相机的投影中心连线距离，(u₀,v₀)为图像的主点，a_x和a_y为相机等效焦距，u₀、v₀、a_x、a_y称为相机的内参数，(u₁,v₁)和(u₂,v₂)分别为P₁和P₂的图像坐标，则与P₁和P₂对应的空间点P_c(x₁,y₁,z₁)三维坐标可表示为：

所述对左右相机采集的2幅无条纹图像，识别出铆钉兴趣区域，包括：对左右相机采集的2幅无条纹图像均进行以下a、b、c、d步骤处理：

a.采用Canny算子提出图像边缘；

b.采用Hough变换对边缘图像进行椭圆检测；

c.采用最小二乘方法对椭圆进行拟合；

d.求取满足如下条件的椭圆区域，即为疑似铆钉兴趣区域；

椭圆边缘L长度满足：L_down≤L≤L_up，L_down为阈值下限，L_up为阈值上限；椭圆长短半轴比满足：(a/b)≤r_axis，r_axis为长轴与短轴的比值阈值，其中，a为长半轴，b为短半轴；

e.设从左相机图像中检测到疑似兴趣区域为ROI_left，从右相机图像中检测到疑似兴趣区域为ROI_right，根据公式(5)中获得的绝对相位，比较ROI_left和ROI_right的绝对相位值之差是否小于阈值Th_ROI，如果小于Th_ROI，则选择ROI_left为铆钉兴趣区域。

所述采用曲面拟合方法，重建飞行器表面铆钉兴趣区域基准构形，包括：

设单个铆钉区域对应的点云数据为P_ROI，以P_ROI为基准，在径向方向外沿15个像素，得到铆钉环形邻域的点云数据为P_RING；

采用NURBS曲面拟合方法，对P_RING进行拟合，得到曲面S_n，则S_n为铆钉铆钉兴趣区域的基准构型。

所述计算铆钉兴趣区域内的点到飞行器表面铆钉兴趣区域基准构形的距离，获得距离残差曲面Rc，包括：

设P是铆钉兴趣区域点云模型P_ROI内的任意一点，曲面S_n与任意点P之间的向量可以表示为参数曲面的一个函数：r(u,v)＝S_n(u,v)-P；

r(u,v)与切面垂直的前提是：r(u,v)必须在每个方向上垂直于偏微分S_u(u,v)和S_v(u,v)，即：f(u,v)＝r(u,v)·S_u(u,v)＝0,g(u,v)＝r(u,v)·S_v(u,v)＝0；那么通过求解上述方程式，采用牛顿迭代法，可以在曲面S_n上找到P的最近点P_sn-colsest；u和v为曲面的参数；

计算铆钉兴趣区域点云模型P_RoI中所有的点到铆钉铆钉兴趣区域的基本构型曲面S_n上对应最近点的距离，即距离残差曲面Rc。

所述将距离残差曲面Rc的结果编码成铆钉兴趣区域伪彩色图像，包括：

将Rc的值按降序排列，让最高值对应红色，最低值对应蓝色；其它值的颜色由线性插值方法获得，编码后每个像素点对应一个颜色值,Rc上所有的点及颜色值构成一副图像，即为铆钉兴趣区域伪彩色图像。

所述采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果，包括：

a.采用绝对相位值对投影仪的DMD芯片和相机CCD芯片进行标定:

将标定板放置在测量范围内的某一位置，使用投影仪向标定板分别投射一组水平光栅图像和一组垂直光栅图像，并使用相机同步拍摄光栅图像和标定板图像，然后采用公式(5)的相位展开方法得到绝对相位；

对于标定板图像中的某个特征点p_i，该点的水平相位值对应于DMD芯片中的一水平条线h_i，同理，垂直相位对应DMD中的一垂直条线v_i，于是，利用水平条线h_i和垂直条线v_i的交点，可以确定p_i在DMD中对应点，依次处理，建立投影仪DMD与相机CCD特征像素点之间的对应关系；

利用上述对应关系，可求出单应矩阵H，采用反投影误差最小化方法，对H进行优化，最后得到DMD与相机CCD所有像素点之间对应关系；

b.采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果。

本发明具有以下有益效果及优点：

1.本发明方法为飞行器表面制造质量检测提供了一种新的技术手段，具有精度高、数据量化和结果直观等优点，有利于促进我国航空工业产品表面制造智能化、自动化水平的提升。

2.该方法也可用于发动机叶片、汽车面板、活塞等产品的表面铆钉兴趣区域精确检测，具有较好的普适性和推广价值。

附图说明

图1本发明方法流程图；

图2本发明方法采用的硬件系统构成图；

图3本发明方法中的相位展开方法示意图；

图4本发明方法中的双目视觉重建原理图；

图5本发明方法中的点到曲面距离计算示意图；

图6本发明方法中的伪彩色图像。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明一种基于3D数据的飞行器表面制造质量检测方法包括如下步骤：

采用投影仪向飞行器蒙皮表面投射3组共12幅正弦条纹图像；

左右相机采集经飞行器表面调制后的12幅条纹图像；

利用上述采集的图像进行相位开展，获得绝对相位；

根据绝对相位和对极几何约束，进行左右相机图像匹配；

根据图像匹配结果和双目视觉原理，重建出飞行器表面的3D点云数据模型；

利用左右相机采集的2幅无条纹图像，采用图像处理方法识别出铆钉区域；

利用铆钉兴趣区域图像图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位；

采用曲面拟合方法，重建出铆钉兴趣区域的飞行器表面基准构形；

计算铆钉兴趣区域内点到基准构形的距离，获得铆钉兴趣区域的几何信息；

将铆钉兴趣区域检测结果编码成伪彩色图像；

采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果指示。

以下就图1中的几个关键步骤作详细说明：

1.正条纹图像的生成与投影：

按下列公式生成3组12幅标准正弦分布的条纹图像

其中，m＝1,2,3，i＝1,2,3,4，I′(x,y)图像的平均灰度图像，I″(x,y)为图像的灰度调制，δ_mi分别为图像相位移，为相对相位，和对应的波长分别为λ₁、λ₂和λ₃。

用投影仪将12幅条纹图像投射到飞行器表面；

2.采集图像：

如图2所示，本发明方法采用的硬件系统包括组成双目视觉的相机、正弦条纹投影单元以及图像处理器；利用上述系统检测飞行器表面铆钉凹凸铆钉兴趣区域。本发明方法对工业相机的分辨率不做严格要求，目前市场上150万像素以上的相机，完全可以满足要求。拍摄时，物距不能太大，光轴与飞行器表面法向的夹角不易过大，否则铆钉图像中椭圆太小太扁，影响检测效果。除了拍摄12幅条纹图像之外，再拍摄2幅没有条纹的飞行器表面图像，用于铆钉识别。拍摄完成后，自动将照片导入计算机。

3.相位展开及图像匹配：

a.采用四步相移法，运用下列公式分别计算出3组条纹图像的相对相位和即

其中，被反正切函数截断在[-π,π]内，在测量空间不连续；

b.采用双频叠加法用下列公式对和进行叠加得到

对应的波长为

c.同理，用下列公式对和进行叠加得到

对应的波长为

d.同理，运用公式(4)，对和进行叠加得到

e.对进行展开，得到绝对相位Φ₁₂₃(x,y)

其中，INT表示取整。

4根据相位值和对极线约束，实现图像匹配：

设P₂为右图像中的任一点，绝对相位值为Φ_P2，L_left为P₂在左图像中对应的对极线，则P₂在左图像中的匹配点P₁应位于L_left上，且该匹配点P₁的相位值Φ_P1与P₂的相位值Φ_P2的差值绝对值最小，则P₂和P₁是匹配点。

5.基于双目视觉的三维点云重建：

设b为左右相机的投影中心连线距离，(u₀,v₀)为图像的主点，a_x和a_y为相机等效焦距，u₀、v₀、a_x、a_y称为相机的内参数，(u₁,v₁)和(u₂,v₂)分别为P₁和P₂的图像坐标，则与P₁和P₂对应的空间点P_c(x₁,y₁,z₁)三维坐标可表示为：

6.铆钉区域识别：

(1)对左右相机采集的2幅无条纹图像，均进行：

a.采用Canny算子提出图像边缘；

b.采用Hough变换对边缘图像进行椭圆检测；

c.采用最小二乘方法对椭圆进行拟合；

d.根据椭圆的先验知识，删除太大、太小、太扁的椭圆，即合格的椭圆应满足如下条件：

椭圆边缘长度满足：L_down≤L≤L_up，L_down为阈值下限，L_up为阈值上限；

椭圆长短半轴比满足：(a/b)≤r_axis，r_axis为长轴与短轴的比值阈值。

最后剩下的椭圆区域，即为疑似铆钉兴趣区域。

(2)设从左相机图像中检测到疑似兴趣区域为ROI_left，从右相机图像中检测到疑似兴趣区域为ROI_right，根据权利4中获得的绝对相位，比较ROI_left和ROI_right的绝对相位值之差是否小于阈值Th_ROI，如果小于Th_ROI，则ROI_left和ROI_right是合格区域，并选择ROI_left为最终的铆钉兴趣区域ROI。

7.利用铆钉兴趣区域图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位：

在基于双目视觉的三维点云重建步骤中，飞行器表面重建时，获得了图像中所有像素点对应的3D点云数据；在铆钉区域识别步骤中，检测出铆钉在图像中的兴趣区域ROI后，该兴趣区域对应的像素点也就确定了，因此该兴趣区域对应的3D点云数据直接可以确定，到此已实现在点云数据中对铆钉兴趣区域的定位。

8.铆钉兴趣区域的基准构形重建：

设单个铆钉区域对应的点云数据为P_ROI，以P_ROI为基准，在径向方向外沿15个像素，得到铆钉环形邻域的点云数据为P_RING；

采用NURBS曲面拟合方法，对P_RING进行拟合，得到曲面S_n，则S_n为铆钉缺陷的基准构型；

NURBS曲面是从四维空间中非均匀B样条多项式曲面中得到的，控制点为多项式曲面为

其中，权重和为同名多项式。NURBS曲面可以通过如下方法获得，即将(S_n(s,t),w(s,t))作为齐次向量，并除以最后一个分量，以得到三维空间上的一个投影

其中，

9.铆钉铆钉兴趣区域的几何信息计算：

如图5所示，设P是铆钉兴趣区域点云模型P_ROI内的任意一点，曲面S_n与任意点P之间的向量可以表示为参数曲面的一个函数：r(u,v)＝S_n(u,v)-P；

r(u,v)与切面垂直的前提是：r(u,v)必须在每个方向上垂直于偏微分S_u(u,v)和S_v(u,v)，即：f(u,v)＝r(u,v)·S_u(u,v)＝0,g(u,v)＝r(u,v)·S_v(u,v)＝0；那么通过求解上述方程式，采用牛顿迭代法，可以在曲面S_n上找到P的最近点P_sn-colses；所述u和v为曲面参数；

计算铆钉兴趣区域点云模型P_ROI中所有的点到铆钉缺陷的基本构型曲面S_n上对应最近点的距离，得到距离残差曲面Rc。

10.铆钉兴趣区域数据的伪彩色图像编码：

将Rc的值按降序排列，让最高值对应红色，最低值对应蓝色；其它值的颜色由线性插值方法获得，编码后每个像素点对应一个颜色值,Rc上所有的点及颜色值构成一副图像，即为缺陷伪彩色图像。

11.基于光学打标的铆钉兴趣区域投影显示：

投影仪与相机芯片对应关系标定：

采用绝对相位值对投影仪DMD与相机CCD像素点进行标定：

将标定板放置在测量范围内的某一位置，使用投影仪向标定板分别投射一组水平光栅图像和一组垂直光栅图像，并使用相机同步拍摄光栅图像和标定板图像。然后采用公式(5)中的相位展开方法得到绝对相位；

对于标定板图像中的某个特征点p_i，该点的水平相位值对应于DMD中的一水平条线h_i，同理，垂直相位对应DMD中的一垂直条线v_i，于是，利用水平条线h_i和垂直条线v_i的交点，可以确定p_i在DMD中对应点，依次处理，即可建立投影仪DMD与相机CCD特征像素点之间的对应关系。

利用上述对应关系，可求出单应矩阵H，采用反投影误差最小化方法，对H进行优化，最后得到DMD与相机CCD所有像素点之间对应关系。

采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果指示。

综上所述，本发明方法及系统提供了一种新的飞行器表面制造质量检测手段，具有精度高、可量化、直观的特点，具有广泛的应用前景。