一种用于工件安装关键工序视觉检测与定位的方法及装置

摘要

本申请公开了一种用于工件安装关键工序视觉检测与定位的方法及装置，属于视频行为识别领域。在进行工件安装工序检测和定位时，首先采集工件安装过程视频图像，提取图像特征用于待检测工序的粗定位；根据粗定位的结果以及工件整个安装工序所需的时间，截取工件安装中待检测工序的视频；将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征，并进行分类，根据分类结果判断工件安装工序是否合格。本申请的装置能够实现本申请的相应方法步骤。本申请能够对工件安装工序视频进行有效的检测和定位，解决了现有技术对工厂中工件安装工序检测效果不佳的问题。

说明书

技术领域

本发明属于视频行为识别领域，具体涉及一种用于工件安装关键工序视觉检测与定位的方法及装置。

背景技术

在生产批量大，技术密集的机械工业部门，如地铁、高铁、船舶等关键零部件的安装中，很多工序中微小的动作差异将会对整个生产的质量有巨大的影响，工序不仅是产品零部件制造过程的基本环节，也是形成产品质量的基本环节，因此工序质量是企业现场质量控制的主要对象，也是生产现场质量保证体系中的关键。

一些重要部件的安装工序由于工作量大、重复性高、对动作规范的要求严格，容易产生疲劳，造成各类人为质量问题(如螺丝松弛、脱落等)以及关键工序的动作是否准确有序完成等这些问题尤为重要。目前，对于多数工厂，多通过视频监控，采集工件安装过程的视频，然后将视频回传到后台服务器，然后通过人工查看视频的方式，对工件的安装过程进行目检，但是单纯依靠人工目检的方式进行检查，效率低下，管控效果差，不能很好的保证产品过程质量。

为了更高效的对安装工序进行检测，现有技术中提出了利用深度学习进行工序检测的技术，例如申请号为201810137318.2的中国专利公开了一种基于深度学习的工序检测装置及其工序检测方法，但是这类方法需要大量的工厂数据支撑，然而对于大多数工厂，往往难以满足数据的需要，因此这类方法目前依然难以获得有效的效果，对于工件安装工序不能很好的进行检测。

发明内容

技术问题：针对现有技术对工件的安装工序检测及定位效果不佳的问题，提出了一种用于工件安装关键工序视觉检测与定位方法及装置，从而能够对工件安装工序进行有效的检测和定位。

技术方案：一方面，本申请提供一种用于工件安装关键工序视觉检测与定位的方法，包括：

采集工件安装过程视频图像，提取必要参照的图像特征并进行定位；

根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频；

将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征；

对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。

进一步地，所述提取必要参照的图像特征并进行定位的方法包括：

以工件安装过程中必经步骤或必需工具作为必要参照，通过必要参照的颜色、轮廓及纹理中的一种或多种，提取出必要参照的图像特征；

将必要参照的图像特征框出定位。

进一步地，所述根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频的方法包括：

将所定位的必要参照的图像特征所在的视频帧作为起始关键帧；

确定工件整个安装工序所需时间；

以起始关键帧为节点，分别向前和向后截取若干分钟长视频，所述长视频覆盖工件整个安装工序。

进一步地，所述将所截取的工件安装工序视频进行特征提取，获得工件安装过程关键视频序列的动作特征的方法包括：

将所截取的工件安装工序视频分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征；

将所述动作边界信息和动作行为特征进行特征融合；

将融合后的特征送入特征提取网络中进行识别，得到工件安装过程的动作特征。

进一步地，将所截取的工件安装工序视频进行特征提取，获得工件安装过程关键视频序列的动作特征的方法还包括：对特征提取网络进行训练；训练方法包括

收集工件安装工序的视频样本；

根据工件安装工序，对感兴趣的视频样本进行分割；

对分割后的视频段进行标注，并作为用于训练特征提取网络的训练样本；

利用训练样本对特征提取网络进行训练。

进一步地，所述特征提取网络为C3D网络，所述C3D网络中的池化层Pool5的池化核大小为7×7，步长为7。

进一步地，所述对动作特征进行分类的方法包括：

利用Softmax分类器对动作特征进行分类，并进行回归优化。

进一步地，所述根据分类结果判断操作工人是否按工序要求安装工件的方法包括：

通过Softmax分类器，获得每个操作工序的得分；

根据每个工序的得分与相应工序的分数阈值，判断该工序是否合格。

进一步地，还包括：在根据分类结果进行判断后，若合格，则将检测完成的视频归档；若不合格，则进行预警提示，并提示对相应工序进行复检。

另一方面，本申请提供一种用于工件安装关键工序视觉检测与定位的装置，包括：

视频图像采集模块，用于采集工件安装过程视频图像；

参照定位模块，用于提取必要参照的图像特征并进行定位；

工序视频截取模块，用于根据所定位的必要参照的图像特征以及工件整个安装工序所需时间，截取工件安装工序视频；

特征提取模块，用于将所截取的工件安装进行特征提取，获得工件安装过程关键视频序列的动作特征；

评估模块，用于对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。

有益效果：本申请的技术方案与现有的技术相比，在进行工件安装工序检测前，首先对必要参照进行特征提取和定位，根据必要参照对工件安装过程中的视频进行截取，从而提高了整个工件安装工序检测的效率。然后将所截取的工件安装工序视频分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征，并将动作边界信息和动作行为特征进行特征融合，将融合后的特征送入特征提取网络中进行识别，得到工件安装过程的动作特征，通过传统方法与神经网络进行结合，完成特征的提取，具有较高的精度和速度，从而对工件安装工序进行有效的检测和定位。最后对动作特征进行分类，根据分类结果判断工件安装工序是否合格，从而判断出工件安装工序是否合格，并做出相应的操作，因此，本申请的技术方案能够有效地对工件安装工序进行检测。

附图说明

图1本申请的实施例中的方法流程图；

图2为本申请的实施例中通过提取扳手进行定位的示意图；

图3为本申请的实施例中进行特征提取及分类的流程图；

图4为本申请的实施例中采用的C3D网络结构图；

图5为本申请的实施例中进行工件安装工序检测的流程图；

图6为本申请的实施例中检测的使用扳手错误的示范图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。为了进行更清楚的说明，本申请的实施例中结合一个具体的应用场景进行说明。该场景为某工厂中给某种设备安装螺栓的工序，在安装螺栓时，总共包括三个关键工序：旋转扳手固定螺栓、安装完成后打标记、给安装好的螺栓刷漆。图1示出了本申请的实施例的方法的流程图，结合图1，对本申请的方法进行说明，进行工件安装工序视觉检测的方法包括：

步骤S100：采集工件安装过程视频图像，提取必要参照的图像特征并进行定位。

工厂中安装有视频监控系统，通过视频监控系统采集工件安装过程中的视频图像，然后回传到计算机终端设备，然而，对于采集到的视频图像，图像中很长一部分是并不存在操作人员进行工件安装，如果对采集的视频直接进行检测，则会导致对很多无动作的视频片段进行检测，从而浪费了很多时间，因此必须要对监控视频进行截取，将存在工件安装工序的视频截取出来，以便于提高检测效率。然而，对于大量的监控视频，如果通过人工方式进行截取，则会进一步的增加工作量，因此需要对监控视频进行自动化的截取。

从长时间的监控视频中，如何快速的找到安装工序特征，就需要确定一个必要参照。在本申请的实施例中，所谓必要参照，是指在工件安装过程中，必须经过的步骤或者必须用到的工具，然后通过必要参照的颜色、轮廓及纹理中的一种或多种，提取出必要参照的图像特征；并将必要参照的图像特征框出定位。定位到必要参照的位置后，即可通过必要参照找到视频截取的参照点，根据参照点快速的完成监控视频的截取，从而提高工件安装工序的检测与定位的效率。

在螺栓安装的应用实例中，扳手是进行螺栓安装的必备工具，因此在该实例中，以扳手作为必要参照。在具体操作时，通过扳手颜色对扳手进行图像特征提取，在该场景中采用YCbCr颜色变换空间方法，通过提取视频数据中扳手的颜色的RGB值，然后代入如下变换矩阵：

其中，Y表示颜色的亮度成分，CB和CR分别为蓝色和红色的浓度偏移量成份，R、G、B分别表示RGB三个通道，遍历视频图像的每个像素点，并对三个通道分别进行矩阵计算，将有颜色的部分区别出来，并框出颜色特征区域，即可定位得到必要参照，具体参照2所示。从图2中可以看出，通过扳手的颜色特征，定位到了扳手的位置，从而可以得到扳手出现的视频位置。

在其他的应用场景中，可能必要参照的颜色与背景的颜色类似，或者必要参照的尺寸较小，此时可以通过必要参照的颜色、轮廓及纹理等的一种或多种进行图像特征识别。在通过轮廓进行识别时，可以基于OpenCV进行轮廓识别；在通过纹理进行识别时，可以采用统计方法、结构方法、基于变换的方法、基于模型的方法、基于图的方法、基于学习的方法和基于熵的方法等等，上述方法均为现有技术，这里就不一一详述。

步骤S200：根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频。

该步骤主要通过步骤S100中定位出的必要参照，具体的，将视频监控拍摄记录下的长视频整段进行读取，并设置开始时间和结束时间，将所定位的必要参照的图像特征所在的视频帧作为起始关键帧；然后确定工件整个安装工序所需时间，并以起始关键帧为节点，分别向前和向后截取若干分钟长视频，所述长视频覆盖工件整个安装工序。实际上，只要截取到整个安装工序的长视频段就满足需求了，然而，因为要实现自动截取，为了保证整个安装工序被全部覆盖，假定整个工件安装工序所需的时间为n分钟，只需要以起始关键帧帧为节点，向前截取n分钟，向后截取n分钟，那就可以保证完整工序的视频被截取出来，将截取出的视频片段保存到文件夹中等待检测。

步骤S300：将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征。

在本申请的实施例中，首先将所截取的工件安装工序视频分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征，然后将动作边界信息和动作行为特征进行特征融合；最后将融合后的特征送入特征提取网络中进行识别，得到工件安装过程的动作特征。

更具体的，结合图3所示，在本申请的实施例中，可具体分为两个操作过程，一个是将工件安装工序视频的RGB图像利用背景剪除法，从视频中获得前景的轮廓特征，然后将所有图像帧的轮廓特征叠加以获取帧间差，利用操作工人与固定背景的区别，得到操作人员在进行工序安装时的动作边界信息，有效的将工作环境的干扰区分开，便于提取操作人员的动作特征。但是，此时提取的是视频帧中的静态特征，获得操作工人的动作轨迹，因此，在本申请的实施例中，另一个过程将工件安装工序视频的光流图像利用稠密轨迹法，通过追踪工人工作状态中动作的运动轨迹来提取整个工序的动作特征，利用光流场获取视频帧序列的密集采样点的运动轨迹，对工人的运动轨迹进行实时采样，得到操作工人的动作行为特征。

说明的是，对于两个过程而言，具体是先进行第一个过程再进行第二个过程，抑或先进行第二个过程再进行第一个过程，抑或两个过程并列执行均可以。

在提取得到动作边界信息和动作行为特征后，在本申请的实施例中，使用加权线性融合得到视频帧的特征描述子，并送入特征提取网络进行提取特征，然后即可得到工件安装过程的动作模型。

在本申请的实施例中，特征提取网络采用的是C3D网络，C3D网络的结构如图4所示，C3D网络使用完全卷积的3D滤波器对所得到的工件安装过程的动作特征进行提取的。在具体的操作中，将连续的大小为60*40的视频帧图像作为输入，每帧提取5个通道信息，共经历8次卷积，4次池化操作，并经两个全连接层输出。本申请的实施例中，将C3D网络的池化层Pool5的池化核大小设置为7×7，步长设置为7，从而来应对分辨率过高的视频，输出后虽然像素压缩但不损坏视频内容的片段以保证准确性和可读性，卷积层中每个特征map都会与上一层中多个领近的连续帧相连，来捕捉操作人员的行为信息，最终网络在经过两次全连接层后得到具体操作工人工作状态的动作特征。

对于利用C3D网络进行特征提取时，必须先对网络进行训练，在本申请的实施例中，对网络模型进行训练的具体方法包括：

首先收集工件安装工序的视频样本，构建样本数据集。然后根据工件安装工序，对感兴趣的视频样本进行分割，分割时，如果一个工件的安装过程包括m个安装工序，那么可将每个感兴趣的样本分割成段。然后对分割后的视频段进行标注，并作为用于训练特征提取网络的训练样本；最后利用训练样本对特征提取网络进行训练。说明的是，在进行训练时，训练样本也是先分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征，然后将动作边界信息和动作行为特征进行特征融合；最后将融合后的特征送入特征提取网络中，利用所有的训练样本完成特征提取网络的训练。

说明的是，在本申请的其他实施例中，特征提取网络也可以采用其他的卷积神经网络模型，例如Resnet、DenseNet、CenterNet等等。

在本申请的实施例中，分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征，不仅考虑了视频中的静态特征，还同时考虑了动态特征，并且利用神经网络模型进行特征提取，从而提高了工件安装工序的检测精度。

步骤S400：对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。具体的，在本申请的实施例中，将动作特征通过Softmax分类器，然后通过回归进行优化。在Softmax分类器中分类时，用IoU(Intersection over Union，交并比)来定义行为类别，用score function来定义动作完成的准确度，候选视频段与目标行为有最高的IoU且IoU大于0.5时定义为动作，低于0.5时为其他，正负样本比例为1:3，正常情况下，每个动作代表的工序应该按顺序依次完成并且每道工序的检测要持续进行。在通过回归进行优化时，回归损失函数使用平滑的L1损失函数用来优化候选框和ground truth相对位置偏移。

在利用Softmax分类器分类的同时，能够获得每个操作工序相应的得分，根据每个工序的得分与相应工序的分数阈值，判断该工序是否合格。具体的，如果一个工序的得分大于该工序对应的分数阈值，那么说明该工序是合格的，反之，如果该工序的得分小于或等于该工序对应的分数阈值，那么说明该工序是不合格的，导致不合格的原因，既可能是因为工人安装工件时动作不符合要求导致工件安装未到位，也可能是因为安装工序顺序错误而导致不合格。

在本申请的其他实施例中，在根据分类结果进行判断后，如果检测结果为合格，则进行记录存储，如果检测结果不合格，则进行预警提示，以提醒操作人员对该工件安装过程的对应工序进行人工复检，从而保证工件安装合格。

例如，针对本申请实施例中，如图5所示，对于螺栓安装的三个工序，对工序安装视频进行识别，完成工序分类，整个分类识别的过程包括判别是否有旋转扳手来固定螺栓的动作、是否有安装完成后打标记的动作、是否有给安装好的螺栓刷漆的动作。完成分类后，根据各工序的得分与相应工序的分数阈值进行比较完成判断，如果安装工序一的得分大于分数阈值T1，那么该工序是合格的，则进行记录存储，如果装工序一的得分小于或等于分数阈值T1，那么则进行预警，提示该工件安装过程中，工序一需要人工复检；如果安装工序二的得分大于分数阈值T2，那么该工序是合格的，则进行记录存储，如果装工序一的得分小于或等于分数阈值T2，那么则进行预警，提示该工件安装过程中，工序二需要人工复检；如果安装工序三的得分大于分数阈值T3，那么该工序是合格的，则进行记录存储，如果安装工序三的得分小于或等于分数阈值T3，则也进行预警，提示该工件安装过程中，工序三需要人工复检。图6示出了检测出使用扳手错误的示范图，当检测到该工序错误，会进行错误预警，提出操作工人需要对该工序进行复检，以保证该工序合格。

通过本申请实施例中所提出的方法，可以在缺乏大量数据的情况下，对工厂中工件安装工序进行快速准确地检测和定位，并且无需通过大量人力进行目检，相对于现有技术，检测和定位效果较佳。

进一步地，基于所提出的方法，本申请还提供一种用于工件安装关键工序视觉检测与定位的装置，在本申请的一个实施例中，该装置包括：视频图像采集模块、参照定位模块、工序视频截取模块、特征提取模块以及评估模块。其中，视频图像采集模块用于采集工件安装过程视频图像；参照定位模块，用于提取必要参照的图像特征并进行定位；工序视频截取模块用于根据所定位的必要参照的图像特征以及工件整个安装工序所需时间，截取工件安装工序视频；特征提取模块用于将所截取的工件安装进行特征提取，获得工件安装过程关键视频序列的动作特征；评估模块用于对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。对于各模块实现相应的功能，与上述方法中内容相对应，此处就不再赘述。

在本申请的其他实施例中，评估模块包括分类模块和判断模块，其中，分类模块利用Softmax分类器对动作特征进行分类；判断模块根据分类结果判断工件安装工序是否合格。

在具体的工程应用中，各个模块可以是计算机软件模块，也可以是能够执行实现相应功能的计算机指令的硬件模块。利用本申请的实施例中所提出的装置，可以快速有效地对工件安装工序进行有效的检测和定位。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。