堆叠生产过程中的异物检测方法、系统、设备及介质

摘要

本发明公开了一种堆叠生产过程中的异物检测方法、系统、设备及介质，堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；异物检测方法包括：针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，参考图像为上一层的堆叠目标对应的图像。本发明通过直接利用上一层的堆叠目标对应的图像作为参考图像，与该层堆叠目标的检测图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效。

说明书

技术领域

本发明涉及图像处理领域，尤其涉及一种堆叠生产过程中的异物检测方法、系统、设备及介质。

背景技术

在工业生产过程中，经常涉及堆叠生产过程。堆叠生产过程是指将预备的固定样式或尺寸的原材料或者半成品按照设计规则逐层完成堆放或拼接，以实现设计方案或者生产工艺的应用。在堆叠生产过程中通常要求零异物参与生产过程，即不属于堆叠过程的材料或者硬件不允许参与堆叠，尤其是拒绝外来物件出现在关键接触面。

目前针对堆叠过程的异物检测方法主要包括传感器设备方法和智能图像处理方法。传感器设备方法是指在堆叠生产过程的产线周边布置诸如激光传感、接近传感等各类传感器并配合逻辑控制器以实现对堆叠过程的异物检测。智能图像处理方法则通过采图相机和机器学习算法结合对堆叠过程的每一个关键接触面进行拍照和检测。

传感器设备方法检测用时较低，可以实现实时检测，但是该方法针对性比较局限，在复杂工艺、复杂环境、大尺寸堆叠生产过程的异物检测上应用困难，且一次性投入成本较高。智能图像处理方法需要根据检测需求配置相应尺寸和精度的采图相机并开发满足目标的异物检测算法，以适应各种复杂异物检测需求，虽然硬件投入相对较小，但是需结合机器学习等高级算法，导致软件开发成本较高，开发周期较长，效率偏低。

发明内容

本发明要解决的技术问题是为了克服现有技术中智能图像处理方法需要结合机器学习等高级算法导致软件开发成本较高，开发周期较长，效率偏低的缺陷，提供一种堆叠生产过程中的异物检测方法、系统、设备及介质。

本发明是通过下述技术方案来解决上述技术问题：

一种堆叠生产过程中的异物检测方法，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；

所述异物检测方法包括：

针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；

将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像。

较佳地，所述将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：

使用包围盒算法获取所述检测图像的包围盒数据；

判断所述包围盒数据是否满足第一预设条件；

若是，则将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；

若否，则将所述检测图像与所述参考图像进行位置配准；

将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述判断所述包围盒数据是否满足第一预设条件的步骤具体包括：

预存包围盒-第一转置矩阵的关系表，所述关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；

判断所述包围盒数据与所述关系表中对应的包围盒标准数据的差值是否小于阈值；

若是，则使用所述关系表中的所述第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像；

所述将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：

将所述第一校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：

将所述检测图像与所述参考图像进行位置配准；

将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述将所述检测图像与所述参考图像进行位置配准的步骤具体包括：

获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；

将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；

根据所述特征点对得到图像空间坐标变换参数；

根据所述图像空间坐标变换参数生成第二转置矩阵；

根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准。

较佳地，所述将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：

若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；

将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

一种堆叠生产过程中的异物检测系统，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；

所述异物检测系统包括：

检测图像获取模块，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；

特征对比模块，用于将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像。

较佳地，所述特征对比模块具体包括：数据获取单元、判断单元、第一特征对比单元、第二特征对比单元和第一配准单元；

所述数据获取单元，用于使用包围盒算法获取所述检测图像的包围盒数据；

所述判断单元，用于判断所述包围盒数据是否满足第一预设条件；

若是，则调用所述第一特征对比单元；若否，则调用所述第一配准单元；

所述第一特征对比单元，用于将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；

所述第一配准单元，用于将所述检测图像与所述参考图像进行位置配准；

所述第二特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述判断单元具体还用于：

预存包围盒-第一转置矩阵的关系表，所述关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；

判断所述包围盒数据与所述关系表中对应的包围盒标准数据的差值是否小于阈值；

若是，则使用所述关系表中的所述第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像；

所述第一特征对比单元具体还用于：

将所述第一校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述特征对比模块具体还包括：第二配准单元和第三特征对比单元；

所述第二配准单元，用于将所述检测图像与所述参考图像进行位置配准；

所述第三特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述第一配准单元具体用于：

获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；

将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；

根据所述特征点对得到图像空间坐标变换参数；

根据所述图像空间坐标变换参数生成第二转置矩阵；

根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准；

和/或，

所述第二特征对比单元具体用于：

若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；

将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

较佳地，所述第二配准单元具体用于：

获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；

将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；

根据所述特征点对得到图像空间坐标变换参数；

根据所述图像空间坐标变换参数生成第二转置矩阵；

根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准；

和/或，

所述第三特征对比单元具体用于：

若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；

将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述中任意一项所述的堆叠生产过程中的异物检测方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述中任意一项所述的堆叠生产过程中的异物检测方法的步骤。

本发明的积极进步效果在于：本发明针对从第二层开始的每一层，通过直接利用上一层的堆叠目标对应的图像作为参考图像，将该层堆叠目标堆放完成时的检测图像与参考图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效；基于图像处理方法，具有更好的场景适配性。

附图说明

图1为本发明实施例1的堆叠生产过程中的异物检测方法的流程示意图。

图2为本发明实施例2的堆叠生产过程中的异物检测方法的流程示意图。

图3为本发明实施例2的另一实施方式的堆叠生产过程中的异物检测方法的部分流程示意图。

图4为本发明实施例3的堆叠生产过程中的异物检测系统的结构示意图。

图5为本发明实施例4的堆叠生产过程中的异物检测系统的结构示意图。

图6为本发明实施例5的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种堆叠生产过程中的异物检测方法，堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；理论上，在堆叠生产过程中每一层的堆叠目标堆叠好之后的布局都是相同的。

如图1所示，异物检测方法包括以下步骤：

101、针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像。需要说明的是，堆叠生产过程中，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物。如果第一层的堆叠目标的表面实际出现了异物，该异物会在下一层的异物检测中被检测出来。

102、将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，参考图像为上一层的堆叠目标对应的图像。

本实施例的堆叠生产过程中的异物检测方法，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物，针对从第二层开始的每一层，通过直接利用上一层的堆叠目标对应的图像作为参考图像，将该层堆叠目标堆放完成时的检测图像与参考图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效；基于图像处理方法，具有更好的场景适配性。

实施例2

本实施例提供一种堆叠生产过程中的异物检测方法是对实施例1的进一步改进，具体的，如图2所示，步骤102具体包括：

1021、使用包围盒算法获取检测图像的包围盒数据。需要说明的是，包围盒(BoundBox)是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体来近似地代替复杂的几何对象，通过包围盒可快速获取检测图像的边框和顶点信息，比如，堆叠目标是一个长方形板子，包围盒数据包括该长方形板子的顶点信息。

1022、判断包围盒数据是否满足第一预设条件，若是，则执行步骤1023，若否，则执行步骤1024；

1023、将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

在可选的一种实施方式中，第一预设条件包括第一阈值，通过将包围盒数据与第一阈值进行比较，当包围盒数据小于第一阈值时，说明检测图像与参考图像的位置差异较小，可直接将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，以节省检测用时。

在可选的另一种实施方式中，第一预设条件包括预存的每层标准的堆叠平台上平台与工件的包围盒数据，通过比较相同堆叠方案中经相同堆叠步骤后获取的堆叠平台上平台与工件的包围盒数据和预存的对应的包围盒数据，可以判断相机镜头与堆叠产线是否具有严格刚性关系，如果相机镜头与堆叠产线存在严格或者基本严格的刚性关系，则堆叠生产过程中的位置配准信息可以在后续批量生产环节复用，需要说明的是，包围盒数据判断比位置配准用时少很多，通过包围盒数据判断，在包围盒数据满足预设条件时可以省略位置配准步骤，从而实现省略位置配准步骤的长时间消耗，实现了既能匹配各种自动化堆叠产线又能实现实时异物检测的功能。

在可选的另一种实施方式中，步骤102具体还包括：

1024、将检测图像与参考图像进行位置配准。

1025、将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

需要说明的是，若包围盒数据不符合第一预设条件，说明检测用相机镜头与堆叠产线不再具有严格的刚性关系，或堆叠的层数较多、厚度较大导致相机镜头与堆叠产线不再具有严格的刚性关系。此时，需要将检测图像与参考图像进行位置配准，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。

在可选的另一种实施方式中，步骤1022具体包括：

预存包围盒-第一转置矩阵的关系表，关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；

判断包围盒数据与关系表中对应的包围盒标准数据的差值是否小于阈值；

若是，则使用关系表中的第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像。

如下表1所示为本实施例的BT(包围盒-第一转置矩阵)关系表的示意图。

表1

表1中，包括每一层对应的堆叠层参数1、2、或3、检测图像对应的包围盒标准数据Mat1、Mat2、Mat3和检测图像与参考图像对应的第一转置矩阵T1、T2和T3。

步骤1023具体包括：

将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

本方案中，当包围盒数据偏差较小或者在误差范围内时，若检测图像位置角度发生倾斜，通过使用关系表中的第一转置矩阵对检测图像进行空间转置进行位置正以得到第一校准检测图像，并将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。

在可选的另一种实施方式中，堆叠生产过程中的异物检测方法还包括以下步骤：

103、若该层堆叠目标存在异物，则发送报警信息。通过在检测出堆叠目标存在异物时发送报警信息，可以方便定位异物出现的位置，及时进行异常处理，保证堆叠产线的安全操作。

在可选的另一种实施方式中，如图3所示，步骤102具体包括：

1026、将检测图像与参考图像进行位置配准；

1027、将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

本方案中，通过将从第二层开始的每一层的检测图像与参考图像进行位置配准，省去了包围盒判断步骤，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。虽然每一层都进行位置配准，但是与现有的机器学习算法比较，软件开发成本依然很低，适用范围也更广。位置配准的转置矩阵结果较小或者是在堆叠产线可接受误差范围内时还可以忽略异物检测的空间转置步骤进一步减少检测用时。

在可选的另一种实施方式中，步骤1024或步骤1026具体包括：

获取检测图像的第一图像特征和参考图像的第二图像特征；

将第一图像特征和第二图像特征进行相似性计算以找到匹配的特征点对；

根据特征点对得到图像空间坐标变换参数；

根据图像空间坐标变换参数生成第二转置矩阵；

根据第二转置矩阵完成检测图像与参考图像的位置配准。

本方案中图像的位置配准方法在图像特征提取的基础上，通过进行相似性度量找到匹配的特征点对后依据特征点对得到图像空间坐标变换参数，该图像空间坐标变换参数在算法中表现为第一转置矩阵，利用该第一转置矩阵可完成检测图像与参考图像的位置配准，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。

在可选的另一种实施方式中，步骤1027具体包括：

若第二转置矩阵不满足第二预设条件，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像。具体的，第二预设条件包括堆叠产线可接受的误差阈值，该误差阈值为角度值。比如，随着堆叠操作的进行，检测图像会产生倾斜，若检测图像与参考图像对比，其倾斜角度较大，比如倾斜5度，此时倾斜角度大于堆叠产线可接受的误差阈值1度，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像，该第二校准检测图像与参考图像比较不存在角度倾斜。

将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

本方案中，位置配准得到的第二转置矩阵结果较大，不符合在堆叠产线可接受误差范围内时，通过使用位置配准得到的第二转置矩阵对检测图像进行空间转置进行位置正以得到第二校准检测图像，并将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。

本实施例的堆叠生产过程中的异物检测方法的实施步骤包括：准备部分步骤和实施部分步骤。

其中，准备部分步骤如下：

1)默认第一层异物检测的结果为无异物。

2)为第二层及以后各层异物检测准备配准参考信息。具体的，建立BT(包围盒-第一转置矩阵)关系表，填充用于引用的索引编号后，并补充堆叠层参数，需要进行异物检测的堆叠层需要在BT关系表中存储包围盒数据和转置矩阵。在堆叠产线调试过程中，在每一个堆叠层进行图像采集并计算堆叠平台的包围盒数据。使用上一层的堆叠目标对应的图像作为参考图像进行当前堆叠层位置配准计算，并完成BT关系表。

实施部分步骤如下：

1)进行第一堆叠层(0x01)的异物检测。默认该层无异物。

2)进行下一堆叠层(0x02)的异物检测。获取该堆叠层图像采集结果作为检测图像，使用检测无异物的第一堆叠层数采图像作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。

3)进行第N堆叠层(0xN)的异物检测。获取第N堆叠层图像采集结果作为检测图像，使用检测无异物的第(N-1)堆叠层结果作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对堆叠结果的检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。根据BT关系表的实际使用情况更新或不更新表中数据。

下面通过举例说明本实施的堆叠生产过程中的异物检测方法的具体应用：某发电机厂的硅钢片堆叠产线使用机器人进行自动化硅钢片堆叠，总堆叠面积8平方米左右，硅钢片平均厚度2毫米，单次堆叠高度约50厘米。堆叠过程严格要求无异物介入。

该堆叠产线异物检测过程中，使用高清相机在机器人每一次堆叠操作后进行异物入侵检测。堆叠工作台紧固于地面，高清相机紧固于墙面，即相机与堆叠作业区域具有严格的刚性关系，不会在正常工作期间发生变化。

(1)产线调试期间，捕捉并存储了无异物的第一层堆叠效果，计算并存储了完整堆叠过程中每一堆叠步骤执行后的包围盒、配准信息以及它们的对应关系，即包围盒-第一转置矩阵的关系表。

(2)产线生产期间，异物检测流程配合机器人堆叠作业，工艺机器人完后第一层堆叠后，异物检测流程使用预存的检测参考进行异物检测，之后每一层使用前一次检测无异物的堆叠目标对应的图像作为参考图像。异物检测时，首先进行包围盒关系判断，在包围盒数据变化较小时，使用预存的包围盒-第一转置矩阵的关系表选择对应的转置矩阵对检测图像进行空间转置后进行特征对比以判断该层堆叠目标是否存在异物。

(3)检测用相机和堆叠作业台的刚性关系基本保证了包围盒-第一转置矩阵的关系表的可用性，包围盒的使用极大的缩减了异物判断流程的用时。

本实施例的堆叠生产过程中的异物检测方法，较传统传感器方法具有更好的适配性，满足更多场景的异物检测需求；较智能图像处理方法具有更低的开发成本，可以实现实时检测。

实施例3

本实施例提供一种堆叠生产过程中的异物检测系统，堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；理论上，在堆叠生产过程中每一层的堆叠目标堆叠好之后的布局都是相同的。

如图4所示，异物检测系统包括以下模块：

检测图像获取模块1，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像。需要说明的是，堆叠生产过程中，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物。如果第一层的堆叠目标的表面实际出现了异物，该异物会在下一层的异物检测中被检测出来。

特征对比模块2，用于将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，参考图像为上一层的堆叠目标对应的图像。

本实施例的堆叠生产过程中的异物检测系针，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物，对从第二层开始的每一层，通过直接利用上一层的堆叠目标对应的图像作为参考图像，将该层堆叠目标堆放完成时的检测图像与参考图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效；基于图像处理方法，具有更好的场景适配性。

实施例4

本实施例提供一种堆叠生产过程中的异物检测系统是对实施例3的进一步改进，具体的，如图5所示，特征对比模块2具体包括：数据获取单元21、判断单元22、第一特征对比单元23、第一配准单元24和第二特征对比单元25；

数据获取单元21，用于使用包围盒算法获取检测图像的包围盒数据。需要说明的是，包围盒(Bound Box)是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体来近似地代替复杂的几何对象，通过包围盒可快速获取检测图像的边框和顶点信息，比如，堆叠目标是一个长方形板子，包围盒数据包括该长方形板子的顶点信息。

判断单元22，用于判断包围盒数据是否满足第一预设条件，若是，则调用第一特征对比单元23；若否，则调用第一配准单元24；

第一特征对比单元23，用于将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

在可选的一种实施方式中，第一预设条件包括第一阈值，通过将包围盒数据与第一阈值进行比较，当包围盒数据小于第一阈值时，说明检测图像与参考图像的位置差异较小，可直接将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，以节省检测用时。

在可选的另一种实施方式中，第一预设条件包括预存的每层标准的堆叠平台上平台与工件的包围盒数据，通过比较相同堆叠方案中经相同堆叠步骤后获取的堆叠平台上平台与工件的包围盒数据和预存的对应的包围盒数据，可以判断相机镜头与堆叠产线是否具有严格刚性关系，如果相机镜头与堆叠产线存在严格或者基本严格的刚性关系，则堆叠生产过程中的位置配准信息可以在后续批量生产环节复用，需要说明的是，包围盒数据判断比位置配准用时少很多，通过包围盒数据判断，在包围盒数据满足预设条件时可以省略位置配准步骤，从而实现省略位置配准步骤的长时间消耗，实现了既能匹配各种自动化堆叠产线又能实现实时异物检测的功能。

在可选的另一种实施方式中，特征对比模块2具体还包括：

若包围盒数据不符合第一预设条件，则调用第一配准单元24；

第一配准单元24，用于将检测图像与参考图像进行位置配准。

第二特征对比单元25，用于将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

需要说明的是，若包围盒数据不符合第一预设条件，说明检测用相机镜头与堆叠产线不再具有严格的刚性关系，或堆叠的层数较多、厚度较大导致相机镜头与堆叠产线不再具有严格的刚性关系。此时，需要将检测图像与参考图像进行位置配准，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。

在可选的另一种实施方式中，判断单元22具体还用于：

预存包围盒-第一转置矩阵的关系表，关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；

判断包围盒数据与关系表中对应的包围盒标准数据的差值是否小于阈值；

若是，则使用关系表中的第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像。

如下表1所示为本实施例的BT(包围盒-第一转置矩阵)关系表的示意图。

表1

表1中，包括每一层对应的堆叠层参数1、2、或3、检测图像对应的包围盒标准数据Mat1、Mat2、Mat3和检测图像与参考图像对应的第一转置矩阵T1、T2和T3。

第一特征对比单元23具体还用于：

将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

本方案中，当包围盒数据偏差较小或者在误差范围内时，若检测图像位置角度发生倾斜，通过使用关系表中的第一转置矩阵对检测图像进行空间转置进行位置正以得到第一校准检测图像，并将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。

在可选的另一种实施方式中，堆叠生产过程中的异物检测系统还包括以下模块：

报警模块3，用于若该层堆叠目标存在异物，则发送报警信息。通过在检测出堆叠目标存在异物时发送报警信息，可以方便定位异物出现的位置，及时进行异常处理，保证堆叠产线的安全操作。

在可选的另一种实施方式中，特征对比模块2具体还包括：

第二配准单元，用于将检测图像与参考图像进行位置配准；

第三特征对比单元，用于将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

本方案中，通过将从第二层开始的每一层的检测图像与参考图像进行位置配准，省去了包围盒判断步骤，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。虽然每一层都进行位置配准，但是与现有的机器学习算法比较，软件开发成本依然很低，适用范围也更广。位置配准的转置矩阵结果较小或者是在堆叠产线可接受误差范围内时还可以忽略异物检测的空间转置步骤进一步减少检测用时。

在可选的另一种实施方式中，第一配准单元24具体用于：

获取检测图像的第一图像特征和参考图像的第二图像特征；

将第一图像特征和第二图像特征进行相似性计算以找到匹配的特征点对；

根据特征点对得到图像空间坐标变换参数；

根据图像空间坐标变换参数生成第二转置矩阵；

根据第二转置矩阵完成检测图像与参考图像的位置配准。

本方案中图像的位置配准方法在图像特征提取的基础上，通过进行相似性度量找到匹配的特征点对后依据特征点对得到图像空间坐标变换参数，该图像空间坐标变换参数在算法中表现为第一转置矩阵，利用该第一转置矩阵可完成检测图像与参考图像的位置配准，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。

在可选的另一种实施方式中，第二配准单元具体用于：

获取检测图像的第一图像特征和参考图像的第二图像特征；

将第一图像特征和第二图像特征进行相似性计算以找到匹配的特征点对；

根据特征点对得到图像空间坐标变换参数；

根据图像空间坐标变换参数生成第二转置矩阵；

根据第二转置矩阵完成检测图像与参考图像的位置配准。

本方案中图像的位置配准方法在图像特征提取的基础上，通过进行相似性度量找到匹配的特征点对后依据特征点对得到图像空间坐标变换参数，该图像空间坐标变换参数在算法中表现为第一转置矩阵，利用该第一转置矩阵可完成检测图像与参考图像的位置配准，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。

在可选的另一种实施方式中，第二特征对比单元25具体用于：

若第二转置矩阵不满足第二预设条件，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像。具体的，第二预设条件包括堆叠产线可接受的误差阈值，该误差阈值为角度值。比如，随着堆叠操作的进行，检测图像会产生倾斜，若检测图像与参考图像对比，其倾斜角度较大，比如倾斜5度，此时倾斜角度大于堆叠产线可接受的误差阈值1度，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像，该第二校准检测图像与参考图像比较不存在角度倾斜。

在可选的另一种实施方式中，第三特征对比单元具体用于：

若第二转置矩阵不满足第二预设条件，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像。具体的，第二预设条件包括堆叠产线可接受的误差阈值，该误差阈值为角度值。比如，随着堆叠操作的进行，检测图像会产生倾斜，若检测图像与参考图像对比，其倾斜角度较大，比如倾斜5度，此时倾斜角度大于堆叠产线可接受的误差阈值1度，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像，该第二校准检测图像与参考图像比较不存在角度倾斜。

将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。

本方案中，位置配准得到的第二转置矩阵结果较大，不符合在堆叠产线可接受误差范围内时，通过使用位置配准得到的第二转置矩阵对检测图像进行空间转置进行位置正以得到第二校准检测图像，并将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。

本实施例的堆叠生产过程中的异物检测系统的实施过程包括：准备部分和实施部分。

其中，准备部分如下：

1)默认第一层异物检测的结果为无异物。

2)为第二层及以后各层异物检测准备配准参考信息。具体的，建立BT(包围盒-第一转置矩阵)关系表，填充用于引用的索引编号后，并补充堆叠层参数，需要进行异物检测的堆叠层需要在BT关系表中存储包围盒数据和转置矩阵。在堆叠产线调试过程中，在每一个堆叠层进行图像采集并计算堆叠平台的包围盒数据。使用上一层的堆叠目标对应的图像作为参考图像进行当前堆叠层位置配准计算，并完成BT关系表。

实施部分如下：

4)进行第一堆叠层(0x01)的异物检测。默认该层无异物。

5)进行下一堆叠层(0x02)的异物检测。获取该堆叠层图像采集结果作为检测图像，使用检测无异物的第一堆叠层数采图像作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。

6)进行第N堆叠层(0xN)的异物检测。获取第N堆叠层图像采集结果作为检测图像，使用检测无异物的第(N-1)堆叠层结果作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对堆叠结果的检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。根据BT关系表的实际使用情况更新或不更新表中数据。

下面通过举例说明本实施的堆叠生产过程中的异物检测系统的具体应用：某发电机厂的硅钢片堆叠产线使用机器人进行自动化硅钢片堆叠，总堆叠面积8平方米左右，硅钢片平均厚度2毫米，单次堆叠高度约50厘米。堆叠过程严格要求无异物介入。

该堆叠产线异物检测过程中，使用高清相机在机器人每一次堆叠操作后进行异物入侵检测。堆叠工作台紧固于地面，高清相机紧固于墙面，即相机与堆叠作业区域具有严格的刚性关系，不会在正常工作期间发生变化。

(1)产线调试期间，捕捉并存储了无异物的第一层堆叠效果，计算并存储了完整堆叠过程中每一堆叠步骤执行后的包围盒、配准信息以及它们的对应关系，即包围盒-第一转置矩阵的关系表。

(2)产线生产期间，异物检测流程配合机器人堆叠作业，工艺机器人完后第一层堆叠后，异物检测流程使用预存的检测参考进行异物检测，之后每一层使用前一次检测无异物的堆叠目标对应的图像作为参考图像。异物检测时，首先进行包围盒关系判断，在包围盒数据变化较小时，使用预存的包围盒-第一转置矩阵的关系表选择对应的转置矩阵对检测图像进行空间转置后进行特征对比以判断该层堆叠目标是否存在异物。

(3)检测用相机和堆叠作业台的刚性关系基本保证了包围盒-第一转置矩阵的关系表的可用性，包围盒的使用极大的缩减了异物判断流程的用时。

本实施例的堆叠生产过程中的异物检测系统，较传统传感器系统具有更好的适配性，满足更多场景的异物检测需求；较智能图像处理系统具有更低的开发成本，可以实现实时检测。

实施例5

图6为本发明实施例5提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1或2的堆叠生产过程中的异物检测方法。图6显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。

总线33包括数据总线、地址总线和控制总线。

存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。

存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2的堆叠生产过程中的异物检测方法。

电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例6

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或2的堆叠生产过程中的异物检测方法步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或2的堆叠生产过程中的异物检测方法中的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。