吊运小车天轨滑触线缺陷视觉智能巡检装置及检查方法

摘要

本发明公开了一种吊运小车天轨滑触线缺陷视觉智能巡检装置及检查方法，其中，视觉智能巡检装置包括视觉智能巡检终端和服务器，视觉智能巡检终端安装于吊运小车，所述视觉智能巡检终端包括工控机，所述工控机包括工业照相机、电源、相机光源、辅助光源和运算控制主板，所述运算控制主板与服务器位于同一局域网络，设备运行期间可进行检查作业，检查周期灵活机动；通过设置的高速相机拍摄采集天轨滑触线图片信息，数码相机拍摄天轨滑触线上的条形码图片，并通过运算控制主板和服务器确定天轨滑触线的缺陷信息和位置信息，并进行反馈，无需人手参与，提高检查效率；服务器通过建立检测网络模型，不断提升天轨滑触线缺陷的检查精度和准确性。

说明书

技术领域

本发明属于瓶装产品输送生产设备领域，具体涉及一种吊运小车天轨滑触线缺陷视觉智能巡检装置及检查方法。

背景技术

目前，吊运小车运用于生产厂家的立体仓库与生产车间之间的啤酒成品出入库、生产物料配送等输送任务中，吊运小车行驶在天轨上，天轨中间的滑触线主要作用是为吊运小车提供动力电源和通讯数据传输，滑触线遇到损坏或者出现缺陷时，便会造成吊运小车行驶过程中出现故障或者停驶，对正常生产运作的影响很大，目前存在的缺陷包括以下几种情况：

1、滑触线内部铜轨破损产生缺口；

2、滑触线内部铜轨表面产生不规则的花斑样；

3、滑导线内部铜轨表面出现断点；

4、滑触线塑料外套破损。

因此，日常定期巡检工作是消除缺陷最有效的手段。目前的巡检工作一般存在以下问题：

1、实施检查时必须要在设备全停及断电情况下进行，受到生产影响无法制定相关的作业计划，检查频次无法确定，不利于排查缺陷问题和建立维修档案资料；

2、检查工作中发现滑触线的缺陷位置时，没法及时从条形码(条形码粘贴在天轨上并与滑触线平行布置，其代表着一个绝对值的信息码)的数字确定该位置的ID地址，需要人工对条形码进行换算后才能得知；

3、人工检查方式无法保证检查的精度和准确度，取决于检查人员的个人能力和工作经验，由于依赖人的肉眼观察，检查结果可能存在漏洞，维护人员检查方法和识别问题的能力会存在偏差，结果可能出现遗漏，导致设备运行存在隐患；

4、人工检查耗费大量的人力以及耗时长，工作效率较低。

发明内容

为了克服现有技术的上述缺点，本发明的目的在于提供一种吊运小车天轨滑触线缺陷视觉智能巡检装置，旨在解决目前巡检工作影响生产、无法及时获取滑触线缺陷位置信息、人工检查方式存在工作效率低、无法保证检查的精度和准确度的技术问题。

本发明为达到其目的，所采用的技术方案如下：

一种吊运小车天轨滑触线缺陷视觉智能巡检装置，包括视觉智能巡检终端和服务器，所述视觉智能巡检终端包括基于Ubuntu系统的工控机，所述工控机包括工业照相机、电源、相机光源、辅助光源和运算控制主板，在工控机上还设有旋转装置和固定装置，所述旋转装置的一端与吊运小车连接，所述工控机的一端通过旋转装置相对吊运小车转动，所述工控机的另一端通过固定装置与吊运小车连接，所述电源分别与工业照相机、相机光源、辅助光源、运算控制主板连接，所述运算控制主板分别与工业照相机、相机光源、辅助光源连接，所述运算控制主板与服务器位于同一局域网络，所述工业照相机包括高速相机和数码相机。

进一步地，所述工控机包括壳体和安装板，所述电源和运算控制主板设于安装板的一安装面，所述工业照相机、相机光源、辅助光源、旋转装置和固定装置设于另一安装面，所述壳体将电源和运算控制主板盖住。

进一步地，所述旋转装置包括旋转架，在旋转架上设有旋转轴，所述旋转轴的上下两端分别与吊运小车转动连接，所述固定装置包括固定架，在固定架上设有固定扣件，在吊运小车上设有与固定扣件相配合的固定座。

进一步地，所述运算控制主板设有触控显示屏，所述壳体对应触控显示屏的位置设有第一避开孔位，在电源上设有电量显示装置，所述壳体对应电量显示装置的位置设有第二避开孔位。

进一步地，在壳体的侧面设有若干个通风排气孔。

进一步地，所述工控机的另一端与吊运小车连接时，所述工业照相机、相机光源、辅助光源朝向天轨滑触线方向。

进一步地，所述服务器包括检测模块、请求处理模块和交互模块。所述请求处理模块用于接收视觉智能巡检终端收集的信息和发送检测模块处理的信息，所述检测模块用于处理视觉智能巡检终端收集的信息，所述交互模块用于控制运算控制主板。

本发明还提出一种吊运小车天轨滑触线缺陷视觉智能巡检装置的检查方法，包括以下步骤:

S1、将视觉智能巡检终端安装于吊运小车，启动吊运小车；

S2、视觉智能巡检终端的高速相机和数码相机对天轨滑触线进行图像数据采集，相机光源、辅助光源进行照明，其中高速相机拍摄采集天轨滑触线图片信息，数码相机拍摄天轨滑触线上的条形码图片，将采集的图像数据发送到运算控制主板；

S3、运算控制主板分别处理条形码图片信息和天轨滑触线图片信息，识别天轨滑触线的ID地址以及分析天轨滑触线的缺陷，将天轨滑触线的缺陷信息发送给服务器进行二次分析；

S4、运算控制主板将分析后的天轨滑触线的缺陷信息和ID地址信息整合对应后发送回服务器，服务器将整合信息进行分类，然后将判定的天轨滑触线的缺陷信息记录并发出反馈。

进一步地，在步骤S3中，运算控制主板分析天轨滑触线的缺陷包括以下步骤：

s31、对天轨滑触线的接驳处进行判断：将天轨滑触线图片信息中的接驳处和非接驳处图片采集后作为数据集，建立接驳处和非接驳处的分类模型，在分类模型中进行判断；

s32、在服务器中建立检测网络模型并对检测网络模型进行训练，训练步骤包括：首先，检测网络模型对天轨滑触线的缺陷图片进行迭代学习，将学习的数据集拟合到权重参数字典，通过权重参数字典执行预测任务，对天轨滑触线的缺陷图片进行多类别缺陷识别分类；其次，对轨滑触线的缺陷进行缺陷类别下的分值估计；再次，对轨滑触线的缺陷进行多尺度融合，包括浅层特征及深度特征进行融合；再次，对数据集中的天轨滑触线的缺陷图片进行难易分类；最后，对天轨滑触线的缺陷图片进行前后图像处理，处理包括白平衡、图像对齐等传统算法；训练完成后，检测网络模型对天轨滑触线的缺陷图片进行二次分析；

进一步地，在步骤s32中，检测网络模型采用了以MobileNet为主体深度神经网络骨干框架、后接改进后的分类网络层的神经网络架构；检测网络模型连接以卷积层和Softmax层为主的小型网络对轨滑触线的缺陷进行缺陷类别下的分值估计；对数据集中的天轨滑触线的缺陷图片进行难易分类包括离线方式和在线方式的难易分类，其中离线方式的难易分类为训练前对数据集的静态标签进行增加标注，在训练过程中增加一维的标签进行训练，也可以为采用第一遍训练后的得分值与标签的分值差异对数据进行难易分类，在后面的训练阶段中不再更新难易分；在线方式的难易分类为对当前阶段的训练样本结果进行难易分类，并用于下一个训练阶段的训练，对难易分类后的样本的处理：对简单样本的分类结果分值有更高的权重进行损失值优化，对困难样本有更低的权重进行损失值优化。

与现有技术相比，本发明的有益效果是：

本发明提出的吊运小车天轨滑触线缺陷视觉智能巡检装置，该装置的视觉智能巡检终端安装于吊运小车，设备运行期间可进行检查作业，检查周期灵活机动；通过设置的高速相机拍摄采集天轨滑触线图片信息，数码相机拍摄天轨滑触线上的条形码图片，并通过运算控制主板和服务器确定天轨滑触线的缺陷信息和位置信息，并进行反馈，无需人手参与，提高检查效率；服务器通过建立检测网络模型，不断提升天轨滑触线缺陷的检查精度和准确性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的工控机的正视图；

图2为本发明一实施例的工控机的侧视图；

图3为本发明一实施例的工控机的俯视图；

图4为本发明一实施例中工控机除去壳体的正视图；

图5为本发明一实施例中工控机除去壳体的后视图；

图6为本发明的检查方法的流程图。

附图标记说明：

1-壳体，2-安装板，3-电源，4-运算控制主板，5-旋转架，6-固定架，7-固定扣件，8-触控显示屏，9-电量显示装置，10-通风排气孔，11-高速相机，12-数码相机。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施方式及实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

参照图1至图6，本发明实施例提供一种吊运小车天轨滑触线缺陷视觉智能巡检装置，包括视觉智能巡检终端和服务器，所述视觉智能巡检终端包括基于Ubuntu系统的工控机，所述工控机包括壳体1和安装板2，在安装板2的一安装面设有电源3和运算控制主板4，在安装板2的另一安装面设有工业照相机、相机光源、辅助光源、旋转装置和固定装置，所述壳体1将电源3和运算控制主板4盖住，所述旋转装置包括旋转架5，在旋转架5上设有旋转轴，所述旋转轴的上下两端分别与吊运小车转动连接，所述固定装置包括固定架6，在固定架6上设有固定扣件7，在吊运小车上设有与固定扣件7相配合的固定座，所述固定扣件7与固定座配合连接时，所述工业照相机、相机光源、辅助光源朝向天轨滑触线方向，所述运算控制主板4设有触控显示屏8，所述壳体1对应触控显示屏8的位置设有第一避开孔位，在电源3上设有电量显示装置9，所述壳体1对应电量显示装置9的位置设有第二避开孔位，壳体1的侧面设有若干个通风排气孔10，所述电源3分别与工业照相机、相机光源、辅助光源、运算控制主板4连接，所述运算控制主板4分别与工业照相机、相机光源、辅助光源连接，所述运算控制主板4与服务器位于同一局域网络，所述工业照相机包括高速相机11和数码相机12，所述服务器包括检测模块、请求处理模块和交互模块。所述请求处理模块用于接收视觉智能巡检终端收集的信息和发送检测模块处理的信息，所述检测模块用于处理视觉智能巡检终端收集的信息，所述交互模块用于控制运算控制主板4。

本实施例的吊运小车天轨滑触线缺陷视觉智能巡检装置，该装置的视觉智能巡检终端安装于吊运小车，设备运行期间可进行检查作业，检查周期灵活机动；通过设置的高速相机拍摄采集天轨滑触线图片信息，数码相机拍摄天轨滑触线上的条形码图片，并通过运算控制主板和服务器确定天轨滑触线的缺陷信息和位置信息，并进行反馈，无需人手参与，提高检查效率；服务器通过建立检测网络模型，不断提升天轨滑触线缺陷的检查精度和准确性。

本发明实施例还提出一种吊运小车天轨滑触线缺陷视觉智能巡检装置的检查方法，应用于上述的吊运小车天轨滑触线缺陷视觉智能巡检装置中，包括以下步骤：

S1、将视觉智能巡检终端安装于吊运小车，启动吊运小车；

S2、视觉智能巡检终端的高速相机和数码相机对天轨滑触线进行图像数据采集，相机光源、辅助光源进行照明，其中高速相机拍摄采集天轨滑触线图片信息，数码相机拍摄天轨滑触线上的条形码图片，将采集的图像数据发送到运算控制主板；

S3、运算控制主板分别处理条形码图片信息和天轨滑触线图片信息，识别天轨滑触线的ID地址以及分析天轨滑触线的缺陷，分析天轨滑触线的缺陷包括以下步骤：

s31、对天轨滑触线的接驳处进行判断：将天轨滑触线图片信息中的接驳处和非接驳处图片采集后作为数据集，建立接驳处和非接驳处的分类模型，在分类模型中进行判断；

s32、在服务器中建立检测网络模型，检测网络模型采用了以MobileNet为主体深度神经网络骨干框架、后接改进后的分类网络层的神经网络架构，并对检测网络模型进行训练，训练步骤包括：

首先，检测网络模型对天轨滑触线的缺陷图片进行迭代学习，将学习的数据集拟合到权重参数字典，通过权重参数字典执行预测任务，对天轨滑触线的缺陷图片进行多类别缺陷识别分类；

其次，检测网络模型连接以卷积层和Softmax层为主的小型网络对轨滑触线的缺陷进行缺陷类别下的分值估计；

再次，对轨滑触线的缺陷进行多尺度融合，包括浅层特征及深度特征进行融合；

再次，对数据集中的天轨滑触线的缺陷图片进行难易分类，包括离线方式和在线方式的难易分类，其中离线方式的难易分类为训练前对数据集的静态标签进行增加标注，在训练过程中增加一维的标签进行训练，也可以为采用第一遍训练后的得分值与标签的分值差异对数据进行难易分类，在后面的训练阶段中不再更新难易分；在线方式的难易分类为对当前阶段的训练样本结果进行难易分类，并用于下一个训练阶段的训练，对难易分类后的样本的处理：对简单样本的分类结果分值有更高的权重进行损失值优化，对困难样本有更低的权重进行损失值优化；

最后，对天轨滑触线的缺陷图片进行前后图像处理，处理包括白平衡、图像对齐等传统算法；训练完成后，将天轨滑触线的缺陷信息发送给服务器，检测网络模型对天轨滑触线的缺陷图片进行二次分析；

S4、运算控制主板将分析后的天轨滑触线的缺陷信息和ID地址信息整合对应后发送回服务器，服务器将整合信息进行分类，然后将判定的天轨滑触线的缺陷信息记录并发出反馈。

综上所述，本申请与现有技术相比，具有如下优点：

1、该终端使用灵活，随用随装，执行天轨滑触线缺陷检查不再受到设备运行的影响，实现生产在线检查，大大提高了维护人员实施检查工作的便利性；

2、视觉智能巡检终端能够明显的提升天轨滑触线缺陷的检查精度和准确性，而且智能终端还能通过服务器进行自主深度学习，涵盖日后出现的各种缺陷类型、尺寸大小、背景变化等情况；

例如在服务器的检测网络模型训练中，检测网络模型连接以卷积层和Softmax层为主的设计，辅助验证了前端的检测网络精度，在简单的离散分类的基础上用分值估计提升了算法的精确度，在训练阶段，利用分值估计网络输出的数值进行反传并进行损失优化，可以将准确率辅助提升3～5％；

多尺度融合采用的是特征层面的多尺度融合，这个多尺度的过程实现在网络框架中，可由图形处理器进行批量处理加速，同时不增加冗余信息，但是又综合了多尺度下的特征信息这种方式的多尺度融合在几乎不增加计算量的情况下，有效提高了最终训练结果的准确率，准确率能够提升5～10％；

在线方式的难易分类，能够使训练过程平滑，使损失值迭代平滑，以及训练权重的更新平滑，有效避免了局部最优陷阱、或者梯度爆炸、梯度缺失的风险；

前后图像处理的算法目的在于将图片在低维阶段规整化，通过统一后的数据，能够让神经网络对数据集的分布进行更好拟合，使训练出的权重具有更高的置信度、鲁棒性和泛化能力；

3、检查作业效率高，整个过程均无需人手参与，吊运小车带着视觉智能巡检终端沿天轨布局走完全程便完成检查，耗时从原来8小时大幅减少到只需要10分钟左右；

4、改变过往传统的依赖肉眼检查方式，全靠智能巡检终端自动完成检查、定位缺陷地方、发出报警信息、记录和保存缺陷图片，从而最大程度的保证了检查的可靠性。

另外，需要说明的是，本发明公开的吊运小车天轨滑触线缺陷视觉智能巡检装置及检查方法的其它内容可参见现有技术，在此不再赘述。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。