一种基于人工智能的气密性检测气泡定位方法及系统

摘要

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的气密性检测气泡定位方法及系统。该方法包括采集检测缸的RGB图像；在RGB图像上寻找最优水平面直线划分第一感兴趣区域；在第一感兴趣区域中进行语义分割和边缘提取获得缸体边缘二值图；缸体边缘二值图进行拟合，获得缸体直线，根据缸体直线划分第二感兴趣区域；在第二感兴趣区域中进行语义分割和边缘提取获得气泡边缘二值图；气泡边缘二值图拟合得到气泡椭圆曲线；对缸体直线划分平行线组进行灭点估计，输出灭点；判断灭点与椭圆曲线是否共面，若共面则进行气泡定位，否则调整平行线组直至共面。本发明通过灭点估计以及相关性的判断实现了单视角相机在气密性检测中对气泡的定位。

说明书

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的气密性检测气泡定位方法及系统。

背景技术

在工业生产中，要对有气密性要求的工件进行气密性检测。对于一些防水的工件或者设备，传统的气密性测试方法有间接泡水法，将需要检测的工件或者设备通入一定压力的气体并放入盛水的检测缸内，观测产品内部有无气泡产生，可以通过气泡检测该工件气孔信息。

当有气孔存在时需要通过对气孔进行定位来确认气孔的位置，人为判定气泡产生和及其位置缺乏严谨性。可以使用图像处理方法对检测缸实时监测，通过检测缸体的实时信息获得气泡信息。在现有技术中通常采用多视角相机或者深度相机通过三维空间的信息确定气孔的位置，单视角相机采集的RGB图像仅为二维平面，难以定位三维平面中气孔的位置。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的设备气密性检测气泡定位方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于人工智能的气密性检测气泡定位方法，所述方法包括：

采集检测缸的RGB图像；

通过寻找最优水平面直线，以所述最优水平面直线以下的缸体区域作为第一感兴趣区域；

对所述第一感兴趣区域进行图像处理获得缸体边缘二值图；

对所述缸体边缘二值图进行拟合获得缸体直线；所述缸体直线包括至少两条高边棱线、至少四条宽边棱线和至少两条长边棱线；

通过所述缸体直线划分第二感兴趣区域；

对所述第二感兴趣区域进行图像处理获得气泡边缘二值图；

根据所述气泡边缘二值图拟合得到表示气泡的椭圆曲线；

根据所述缸体直线划分平行线组进行灭点估计输出灭点；所述长边棱线作为第一平行线组；根据所述宽边棱线确定第二平行线组；

判断所述灭点和所述椭圆曲线是否共面；若是则进行气泡定位，否则调整所述第二平行线组再次判断，直至共面；

所述气泡定位包括确定所述气泡与所述长边棱线的最小横坐标之间的横向距离和确定所述气泡与所述缸体背面的纵向距离；所述横向距离为：

其中，L为所述长边棱线所对应的工件的实际长度，x

所述纵向距离为：

其中，D为所述宽边棱线所对应的缸体的实际宽度，d为所述宽边棱线的长度，

进一步地，所述寻找最优水平面直线具体方法包括：

以所述RGB图像的左下角为原点设置坐标系，在所述坐标系上预设多个水平面直线，所述水平面直线用y＝b表示；构建镜像评估模型筛选出最优水平面直线；所述镜像评估模型包括

其中α表示评估指数，b′为像素点纵坐标，x为像素点的横坐标，p(x,y)代表像素坐标为(x,y)的像素点的像素值；

设置第一阈值m

进一步地，所述以所述最优水平面直线以下的检测缸的缸体区域作为第一感兴趣区域具体方法为：

设所述最优水平面为y＝d，所述RGB图像内所有纵坐标小于或等于d的像素点集合为所述第一感兴趣区域。

进一步地，所述缸体直线的具体获取方法为：

将所述缸体边缘二值图变换至霍夫空间，任选霍夫空间中两条直线作为集合，所述两条直线的交点为条件点，空间内其余任一直线判断所述条件点是否在直线上，若在直线上则将所述直线加入集合，统计集合内直线条数，经过重复此步骤选出直线条数最多的N个集合，以各集合的交点坐标(k,c)作为缸体直线的斜率和截距，得到N条缸体直线,所述N条缸体直线包括至少两条高边棱线和至少四条宽边棱线和至少两条长边棱线。

进一步地，所述根据所述宽边棱线确定第二平行线组的方法具体包括：

计算四条所述宽边棱线的截距均值，截距大于所述截距均值的所述宽边棱线为第一宽边棱线组，截距小于所述截距均值的所述宽边棱线为第二宽边棱线组；

选择所述第一宽边棱线组的一条直线

将所述侧边直线组内直线转换至像素坐标系，每条直线获得相应的像素点集，所述像素点集根据行坐标大小一一对应；

在所述第一侧边直线组内两条直线所对应的像素点集各自任选一个像素点进行连线，所述第二侧边直线组根据对应关系得到相应连线，两条连线组成所述第二平行线组。

进一步地，所述通过所述缸体直线划分第二感兴趣区域具体方法为：

选择所述斜率k最大的两条所述缸体直线作为第二感兴趣区域的边界。

进一步地，所述根据所述气泡边缘二值图拟合得到表示气泡的椭圆曲线具体方法为：

采用均值漂移聚类算法处理所述气泡边缘二值图获得气泡的像素点集合，根据所述气泡像素点集合采用最小二乘法确定所述椭圆曲线。

进一步地，所述根据所述缸体直线进行灭点估计的具体方法包括：

以所述缸体直线在所述缸体边缘二值图上的交点作为灭点，统计所述灭点坐标信息。

进一步地，所述判断所述灭点和所述的椭圆曲线是否共面的具体方法包括：

设某两个灭点为p

其中dis代表计算两点间距离，pro表示相关度；

设置第二阈值m

本发明还提出了一种基于人工智能的气密性检测气泡定位系统，所述系统包括：图像获取模块、第一感兴趣区域划分模块、第一图像处理模块、缸体直线获取模块、第二感兴趣区域模块、第二图像处理模块、气泡椭圆信息获取模块、灭点获取模块、共面判断模块和定位模块；

所述图像获取模块用于采集检测缸的RGB图像；

所述第一感兴趣区域划分模块用于通过寻找所述最优水平面直线，，以水平面直线以下的检测缸的缸体区域作为第一感兴趣区域；

所述第一图像处理模块包括第一语义分割模块和第一边缘提取模块；所述第一语义分割模块用于对所述第一感兴趣区域进行语义分割，输出所述检测缸的缸体语义分割图；所述第一边缘提取模块用于对所述缸体语义分割图进行边缘提取，获得缸体边缘二值图；

所述缸体直线获取模块用于对所述缸体边缘二值图进行缸体直线拟合，获得缸体直线；所述缸体直线包括至少两条高边棱线和至少四条宽边棱线和至少两条长边棱线；

所述第二感兴趣区域获取模块用于通过所述缸体直线划分第二感兴趣区域，通过所述缸体直线确定水体区域作为第二感兴趣区域；

所述第二图像处理模块包括第二语义分割模块和第二边缘提取模块；所述第二语义分割模块用于对所述第二感兴趣区域进行语义分割，输出气泡语义分割图；所述第二边缘获取模块用于对所述气泡语义分割图进行边缘提取，获得气泡边缘二值图；

所述气泡椭圆信息获取模块用于根据所述气泡边缘二值图拟合获得气泡椭圆曲线；

所述灭点获取模块用于根据根据所述缸体直线划分平行线组进行灭点估计输出灭点；所述长边棱线作为第一平行线组；根据所述宽边棱线确定第二平行线组；

所述共面判断模块用于判断所述灭点和所述椭圆曲线是否共面，若是则命令所述定位模块执行气泡定位操作，否则调整所述第二平行线组再次判断，直至共面；

所述定位模块用于定位气泡位置。

本发明具有如下有益效果：

1.本发明通过灭点估计寻找图像中的灭点，与表示气泡的椭圆曲线进行相关性判断，实现了较为准确的气泡定位，实现了单视角相机拍摄RGB图像进行气泡定位，确定气孔位置，节省了相机使用资源。

2.本发明通过构建镜像评价模型确定水平面直线，克服了因为水面存在镜面反射现象难以寻找水平面的问题。

4.本发明划分感兴趣区域并通过所获得的缸体直线细化感兴趣区域以隔离无关信息，使检测结果噪声变小，图像处理更为准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的气密性检测气泡定位方法流程图；

图2为本发明一个实施例所提供的一种基于人工智能的气密性检测气泡定位系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的气密性检测气泡定位方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的气密性检测气泡定位方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的气密性检测气泡定位方法流程图。

步骤S1：采集检测缸的RGB图像。

将待检测的工件放入水体清晰的检测缸中，相机水平放置且位置固定便于后续信息采集及处理。水体清晰的情况应满足水平面在相机视角中存在镜面反射的现象，以用于后续第一感兴趣区域的划分。在本发明实施例中相机选用高速相机以确保当气泡产生时采集图像中的气泡无粘连且拖影长度较小。

步骤S2：通过寻找最优水平面直线，划分第一感兴趣区域。

以RGB图像左下角像素点作为原点构建直角坐标系，(x,y)表示坐标系中像素的坐标点，x和y的取值应不超过图像的长度和宽度。因为相机位姿水平，在图像中水平面直线应为斜率为0的直线，所以预设y＝b，b为直线的截距。为了寻找最优水平面直线首先在图像中预设若干条水平面直线，清晰水体的水面会发生镜面反射现象所以构建镜像评价模型：

其中α表示评估指数，b′为像素点纵坐标，x为像素点的横坐标，p(x,y)代表像素坐标为(x,y)的像素点的像素值。在本发明实施例中，为了防止误检b′取值范围设为[1,3]中的整数，实施者可根据实际情况自行调整取值范围。该模型判断某一直线两侧对应的位置点是否相同，判断该直线是否是水平线。设置第一阈值m

优选的，最优水平面直线为y＝b，图像内所有纵坐标小于或等于b的像素点集合为第一感兴趣区域。

步骤S3：在第一感兴趣区域进行图像处理获得缸体边缘二值图。

将所划分的第一感兴趣区域内的图像经过插值变换为与原图像等大的规则图像输入预先训练好的语义分割网络。语义分割网络的具体包括：

1)采集包含缸体的气密性检测图像，对图像上每个像素点标注类别。所标注的类别分为两类，缸体和无关项。将图像和标注数据作为训练集输入。

2)图像经过第一语义分割编码器进行特征提取，输出特征图。第一语义分割解码器在特征图上进行采样，输出缸体语义分割图。

3)采用交叉熵损失函数对网络进行训练。

缸体语义分割图为二值图像，将缸体语义分割图经过边缘检测算法提取缸体边缘，输出缸体边缘二值图。

常见的边缘提取网络例如整体嵌套边缘检测(Holistically-Nested EdgeDetection，HED)、类别感知的语义边缘检测算法(Category-Aware Semantic Edge，CASNet)和全卷积编码器-解码器网络(CEDN)、Sobel算子等已经广泛使用，在此不多赘述。在本发明实施例中利用基于Sobel算子的边缘检测算法进行边缘特征提取。

步骤S4:缸体边缘二值图进行拟合，获得缸体直线，根据缸体直线划分第二感兴趣区域。

优选的，将得到的缸体边缘二值图变换到霍夫空间，任选霍夫空间中两条直线作为集合，两条直线的交点为条件点，空间内其余任一直线判断条件点是否在直线上，若在直线上则将直线加入集合，统计集合内直线条数，经过重复此步骤选出直线条数最多的N个集合，以各集合的交点坐标(k,c)作为缸体直线的斜率和截距，得到N条缸体直线。N为经验值，包括至少两条高边棱线和至少四条宽边棱线和至少两条长边棱线。需要说明的是，此处宽边棱线实际为工件宽边棱线，由于工件限制为水平放置，因此以工件宽边棱线代替难以采集到的缸体宽边棱线。在本发明实施例中N选择为8，在后续说明中都以8条缸体直线做说明，即两条高边棱线和四条宽边棱线和两条长边棱线。实施者可根据实际情况自行调整。需要说明的是，此处两组宽边棱线实际为工件与框体相接直线和水体与框体相接直线，由于工件限制为水平放置，因此以上述直线代替难以采集到的缸体宽边棱线。

因为缸体为规则长方体，则在图像中缸体直线中斜率最大的两条缸体直线应为其高边的棱线，因此选择斜率最大的两条直线作为第二感兴趣区域的边界对第一感兴趣区域进行细化，隔离无关工况。此处无关工况主要指缸体侧面附着的气泡对气孔产生的气泡造成的影响。

步骤S5：在第二感兴趣区域进行图像处理获得气泡边缘二值图。

与上述语义分割操作相似，训练集采用气密性测试中的若干张气泡图像，标注类别为气泡和无关项。输出为气泡语义分割图。

气泡语义分割图通过边缘提取输出气泡边缘二值图。

步骤S6：根据气泡边缘二值图拟合得到表示气泡的椭圆曲线。

本发明实施例采用高速相机，由于气孔原因产生的气泡直线上升不会出现较大偏移。

优选的，可以根据均值漂移聚类算法得到单个气泡像素点的集合，利用最小二乘法拟合得到椭圆曲线。均值漂移聚类算法具体包括：

首先随机选择二值图像中任意若干个点作为中心点，根据经验设置半径为r，将与中心点距离小于半径的点划分到中心点的集合中去，若存在中心点所划区域重合的情况，保留区域内点较多的中心点集合；计算集合内各点到中心点的偏移向量之和，并将中心点按偏移向量之和移动，重新划分集合；重复上述步骤，直至中心点稳定完成聚类。即获得了单个气泡像素点的集合。

步骤S7：根据缸体直线划分平行线组进行灭点估计，输出灭点。

优选的，设置两条或多条代表平行线线条向远处地平线伸展直至聚合的那一点为灭点。

将两条长边棱线作为第一平行线组。根据宽边棱线确定两组侧边直线组，根据侧边直线组确定第二平行线组。第二平行线组确定的具体方法为：

计算四条宽边棱线的截距均值，截距大于截距均值的宽边棱线为第一宽边棱线组，截距小于截距均值的宽边棱线为第二宽边棱线组；

选择第一宽边棱线组的一条直线

将侧边直线组内直线转换至像素坐标系，每条直线获得相应的像素点集，像素点集根据行坐标大小一一对应；

在第一侧边直线组内两条直线所对应的像素点集各自任选一个像素点进行连线，第二侧边直线组根据对应关系得到相应连线，两条连线组成第二平行线组。

在本发明实施例中第一平行线组和第二平行线组在现实世界中两组直线组内平行，因为相机将三维物体拍摄至二维图片，因此在二维图片中一组直线的斜率并不相同，以其交点作为灭点输出。

步骤S8：判断灭点与椭圆曲线是否共面，若共面则进行气泡定位，若不共面则调整平行线组再次判断是否共面，直至满足共面条件。

设上述获得的两个灭点为p

设椭圆曲线为e，根据像心计算公式p

像心pc与某一灭点连线为l，例如像心pc与p

设l

因此设置评价模型：

其中dis代表计算两点间距离，pro表示相关度。该模型计算共面情况下所求得的灭点与原灭点之间差值的均值与原灭点之间距离的比值，比值越小代表椭圆与灭点越可能共面。设置第二阈值m

满足共面条件后进行气泡定位，具体操作为：确定气泡与长边棱线的最小横坐标之间的横向距离和确定气泡与缸体背面的纵向距离。

横向距离为：

其中，L为所述长边棱线所对应的工件的实际长度，x

纵向距离为：

其中，D为宽边棱线所对应的缸体的实际宽度，d为宽边棱线的长度，

若不满足共面条件则调整第二平行线组再次判断是否共面，直至满足共面条件

请参阅图2，其示出了本发明一个实施例提供的一种基于人工智能的气密性检测气泡定位系统框图。本系统包括：图像获取模块101、第一感兴趣区域划分模块102、第一图像处理模块103、缸体直线获取模块104、第二感兴趣区域模块105、第二图像处理模块106、气泡椭圆信息获取模块107、灭点获取模块108、共面判断模块109和定位模块110。

图像获取模块101用于采集检测缸的RGB图像。

第一感兴趣区域102划分模块用于通过寻找最优水平面直线划分第一感兴趣区域。

第一图像处理模块103包括第一语义分割模块201和第一边缘提取模块202。第一语义分割模块201用于对第一感兴趣区域进行语义分割，输出缸体语义分割图。第一边缘提取模块202用于对缸体语义分割图进行边缘提取，输出缸体边缘二值图。

缸体直线获取模块104用于对缸体边缘二值图进行缸体直线拟合，获得缸体直线；缸体直线包括至少两条高边棱线和至少四条宽边棱线和至少两条长边棱线。

第二感兴趣区域获取模块105用于通过缸体直线划分第二感兴趣区域，通过缸体直线确定水体区域作为第二感兴趣区域。

第二图像处理模块106包括第二语义分割模块301和第二边缘提取模块302。第二语义分割模块301用于对第二感兴趣区域进行语义分割，输出气泡语义分割图。第二边缘获取模块302用于对气泡语义分割图进行边缘提取，输出气泡边缘二值图。

气泡椭圆信息获取模块107用于对所述气泡边缘二值图进行拟合得到表示气泡的椭圆曲线。

灭点获取模块108用于根据缸体直线划分平行线组进行灭点估计输出灭点；长边棱线作为第一平行线组；根据宽边棱线确定第二平行线组。

共面判断模块109用于判断灭点和椭圆曲线是否共面，若是则定位模块112执行气泡定位操作，否则调整所述缸体直线再次判断，直至共面。

定位模块110用于定位气泡位置。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。