基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法

摘要

本发明公开了一种基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法，包括无人机、边缘端和云端，边缘端搭载在无人机上，并与云端通信连接，边缘端部署有无锚框的轻量化小型神经网络，云端部署有无监督的生成式大型神经网络，无人机用于实时采集绝缘子图片，生成绝缘子监测数据集，边缘端对绝缘子监测数据集进行检测与定位，初步得到绝缘子检测结果，同时该绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片，之后将无背景信息的正常绝缘子图片发送至云端，云端对无背景信息的正常绝缘子图片进行精确检测得出绝缘子自爆的缺陷位置，检测精准、网络资源利用率高、数据处理量大。

说明书

技术领域

本发明涉及图像检测技术领域，特别是涉及一种基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法。

背景技术

由于当今社会电力系统的快速发展，电力设备的架设区域不断扩大，使得输电线路不断延伸，因此对输电线路的状态进行定期监测具有十分重要的意义。绝缘子是输电线路的重要部件，起着机械固定和电气绝缘的作用。但因其长期暴露在户外并且工作在高压环境下，使得绝缘子非常容易受到损害，从而严重影响到电力系统的安全稳定运行。因此，绝缘子缺陷检测是输电线路巡检的重要任务之一。目前，绝缘子缺陷检测一般依靠人眼观察，通过派遣工作人员沿输电线路进行绝缘子状态观测，这种人工巡检方式需要大量的人力投入，并且效率十分低下。另一方面，由于输电线路同时在山区等复杂环境下广泛分布，使得人工巡检方式开展难度大大提升。直升机巡检的引入在一定程度上缓解了人工巡检的低效，但成本太高且灵活性低使其达不到大规模应用。

近年来，无人机平台与深度学习技术的兴起给电力巡检带来了新的机遇。无人机巡检方式具有安全、高效的特点。而利用深度学习技术对重要电力部件进行识别和检测等工作，则大大减少了人力资源的消耗，并推动了智能电网的建设。然而，无人机设备有限的能量是制约无人机巡检技术应用的关键因素。绝缘子缺陷检测一般分为两阶段，第一阶段对绝缘子串进行缺陷检测定位，第二阶段在绝缘子检测结果的基础上进行缺陷识别。但绝缘子本身具有较大的宽高比，第一阶段使用通用型的目标检测网络会检测到大量背景信息，而干扰到后续的缺陷识别。同时，具有强鲁棒性的深度学习网络模型过于依赖大型的训练数据集，由于绝缘子的特殊性，则难以获得大量绝缘子尤其是缺陷性绝缘子的数据，这给研究工作带来了一定阻碍。

发明内容

有鉴于此，本发明所要解决的技术问题是如何在保证准确度的同时，轻量化部署在无人机设备上网络，从而降低无人机的能量损耗，以及解决有缺陷的绝缘子样本不足而造成模型过拟合的问题。

为了达到上述目的，一方面，本发明提供了一种基于云边协同的输电线路绝

缘子自爆缺陷检测系统，包括无人机、边缘端和云端，所述边缘端搭载在无人机上，并与云端通信连接，所述边缘端部署有无锚框的轻量化小型神经网络，所述云端部署有无监督的生成式大型神经网络，所述无人机用于实时采集绝缘子图片，生成绝缘子监测数据集，所述边缘端基于无锚框的轻量化小型神经网络对所述绝缘子监测数据集进行检测与定位，初步得到绝缘子检测结果，同时，所述绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片，之后将无背景信息的正常绝缘子图片发送至云端；所述云端基于无监督的生成式大型神经网络对无背景信息的正常绝缘子图片进行精确检测，进而得出绝缘子自爆的缺陷位置。

进一步地，所述绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片具体为：所述绝缘子监测数据集通过旋转、裁剪得到无背景信息的正常绝缘子图片。

进一步地，所述无锚框的轻量化小型神经网络为目标检测网络CenterNet，且所述目标检测网络CenterNet选择DLA34作为主干网络，所述无监督的生成式大型神经网络为变分自动编码器，所述变分自动编码器只需要训练正常绝缘子图片，并且不需要对其进行标注。

进一步地，通过改进目标检测网络CenterNet的回归角度信息得到旋转边界框，并根据所述旋转边界框完成绝缘子监测数据集的预处理，进而减少绝缘子监测数据集中绝缘子图片背景信息的冗余，得到无背景信息的正常绝缘子图片。

另一方面，本发明还提供了一种基于云边协同的输电线路绝缘子自爆缺陷检测方法，通过其上所述的基于云边协同的输电线路绝缘子自爆缺陷检测系统进行缺陷检测，所述基于云边协同的输电线路绝缘子自爆缺陷检测方法包括如下步骤：

S1、分别对无锚框的轻量化小型神经网络和无监督的生成式大型神经网络进行训练和部署，其中，训练后的无锚框的轻量化小型神经网络部署在边缘端，训练后无监督的生成式大型神经网络部署在云端；

S2、通过无人机实时获取绝缘子图片，生成绝缘子监测数据集；

S3、边缘端通过无锚框的轻量化小型神经网络对所述绝缘子监测数据集进行检测与定位，初步得到绝缘子检测结果，同时，所述绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片；

S4、云端通过无监督的生成式大型神经网络对无背景信息的正常绝缘子图片进行精确检测，进而得出绝缘子自爆的缺陷位置。

进一步地，所述步骤S1具体包括以下步骤：

S11、对训练用的绝缘子监测数据集进行采集与标定；

S12、选择无锚框的目标检测网络CenterNet作为边缘端的所述轻量化小型神经网络，所述目标检测网络CenterNet选择参数较少的DLA34作为主干网络，改进所述目标检测网络CenterNet的回归角度信息得到旋转边界框，并根据所述旋转边界框完成绝缘子监测数据集的预处理，得到无背景信息的正常绝缘子图片；选择变分自动编码器作为云端的所述无监督的生成式大型神经网络，所述变分自动编码器只需要训练正常绝缘子图片，并且不需要对其进行标注；

S13、对所述目标检测网络CenterNet和变分自动编码器进行训练，不断调整各自的训练权重，直至检测的准确率与召回率最高；

S14、所述目标检测网络CenterNet部署在边缘端上，所述变分自动编码器部署在云端上。

进一步地，所述步骤S11中对训练用的绝缘子监测数据集进行标定时，选择可进行旋转边界框标定的工具，导出xml文件，并根据所述xml文件对绝缘子监测数据集进行旋转和裁剪，得到旋转边界框范围内的正常绝缘子图片作为所述云端变分自动编码器的训练数据，所述xml文件包含绝缘子的5个位置信息，分别为中心点横、纵坐标，旋转边界框的宽和高，以及旋转边界框的角度。

进一步地，所述步骤S3具体包括如下步骤：

S31、边缘端对无人机传入的绝缘子监测数据集使用无锚框的目标检测网络CenterNet进行绝缘子识别定位；

S32、若绝缘子监测数据集中的绝缘子图片存在绝缘子，则根据步骤S13所述的目标检测网络CenterNet的训练权重预测出旋转边界框，根据所述旋转边界框对存在绝缘子的绝缘子图片进行裁剪并旋转至水平，得到无背景信息的正常绝缘子图片；

S33、将步骤S32得到的无背景信息的正常绝缘子图片传输至云端进行自爆缺陷检测。

进一步地，所述步骤S4具体包括以下步骤：

S41、使用所述步骤S13训练得到的变分自动编码器的训练权重对所述步骤S33传输的无背景信息的正常绝缘子图片进行重构，得到重构结果图；

S42、将所述步骤S41的重构结果图与传输至所述步骤S33的无背景信息的正常绝缘子图片做差，得到重构误差；

S43、比较预设阈值与重构误差的大小，判断所述传输至步骤S33的无背景信息的正常绝缘子图片是否存在自爆缺陷，当重构误差大于所述预设阈值时，则判别为存在缺陷绝缘子，当重构误差小于所述预设阈值时，则判别为正常绝缘子。

进一步地，所述步骤S3中还包括以下过程：若绝缘子监测数据集的绝缘子图片中不存在绝缘子，则直接舍弃，不会被传送到云端。

本发明提供的基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法，边缘端搭载在无人机上，可同步得到无人机获取的绝缘子图片数据，数据处理的实时性得到了保障；但无人机无法给边缘端提供无限的能量，因此边缘端只能进行简单、功耗较小的处理任务。云端具有更强大的算力，但是距离巡检现场较远无法满足实时性要求，同时若将无人机获得的数据全部直接传输到云端会造成能量的大量损耗，因此需要结合云端和边缘端各自的特点和优势设计检测系统及方法。在本发明中使用无锚框的目标检测框架结合参数较少的主干网络作为边缘端的处理算法，实现对绝缘子的检测与定位；并在云端部署了生成式的变分自动编码器，其只需训练正常绝缘子数据，通过计算输入输出图片的重构误差来判别绝缘子是否存在自爆缺陷。与现有技术相比，本发明的有益效果是：充分发挥云端与边缘端各自的优势，提高了网络资源的利用率，实现电力巡检的智能化；并结合绝缘子自身的结构特征，在边缘端设计并部署高效的无锚框的轻量化小型神经网络；在云端采用无监督的生成式大型神经网络，解决了缺陷绝缘子数据有限的问题。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例提供的基于云边协同的输电线路绝缘子自爆缺陷检测系统的结构简图；

图2为本发明一实施例提供的基于云边协同的输电线路绝缘子自爆缺陷检测方法的流程图;

图3为本发明另一实施例提供的基于云边协同的输电线路绝缘子自爆缺陷检测方法的流程图；

图4为本发明边缘端进行绝缘子检测与定位的流程图；

图5为本发明云端进行精确检测的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为更好地理解本发明，特对以下词汇做出解释：

云边协同指的是云端和边缘端合作处理无人机获得的图片数据的过程；

CenterNet，即中心点网络；

DLA34，Deep Layer Aggregation(深层聚合)，34为网络卷积层数

图1是本发明一实施例提供的基于云边协同的输电线路绝缘子自爆缺陷检测系统的结构简图。该检测系统包括无人机、边缘端和云端，其中，边缘端搭载在无人机上，并与云端通信连接，优选地，边缘端与云端通过4g网络进行数据传输，边缘端部署有无锚框的轻量化小型神经网络，云端部署有无监督的生成式大型神经网络，无人机用于实时采集绝缘子图片，生成绝缘子监测数据集，边缘端基于无锚框的轻量化小型神经网络对所述绝缘子监测数据集进行检测与定位，初步得到绝缘子检测结果，同时，该绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片，之后将无背景信息的正常绝缘子图片发送至云端；云端基于无监督的生成式大型神经网络对无背景信息的正常绝缘子图片进行精确检测，进而得出绝缘子自爆的缺陷位置。需要说明的是，正常绝缘子图片特指无人机采集的绝缘子图片中包含绝缘子的图片，绝缘子监测数据集通过旋转、裁剪完成预处理过程，得到无背景信息的正常绝缘子图片。

本发明通过上述设置，充分发挥云端与边缘端各自的优势，提高了网络资源的利用率，实现电力巡检的智能化；并结合绝缘子自身的结构特征，在边端设计并部署有无锚框的轻量化小型神经网络，在云端部署有无监督的生成式大型神经网络，解决了缺陷绝缘子数据有限的问题，具有缺陷检测精准、网络资源利用率高、数据处理量大的优点。

作为本发明的优选实施例，为了减轻边缘端的计算负担，减少无人机的电量消耗，上述无锚框的轻量化小型神经网络为目标检测网络CenterNet，通过改进目标检测网络CenterNet的回归角度信息得到旋转边界框，并根据所述旋转边界框完成绝缘子监测数据集的预处理，进而减少绝缘子监测数据集中绝缘子图片背景信息的冗余，得到无背景信息的正常绝缘子图片，且所述目标检测网络CenterNet选择DLA34作为主干网络，从而减少计算量；上述无监督的生成式大型神经网络为变分自动编码器，所述变分自动编码器只需要训练正常绝缘子图片，并且不需要对其进行标注。上述目标检测网络CenterNet无锚框，不需要进行非极大值抑制等后处理，较基于锚框类的目标检测网络框架更小，网络参数更少，适合部署在边缘端；传统自动编码器包括编码器和译码器两部分，并且编、译码器之间存在潜在空间使用单值的形式描述，而变分自动编码器则以概率分布的形式来描述其潜在空间的特征，使得神经网络模型的泛化性能更强。

作为本发明的一实施例，如图2所示，本发明还提供了一种基于云边协同的输电线路绝缘子自爆缺陷检测方法，通过上述的基于云边协同的输电线路绝缘子自爆缺陷检测系统进行缺陷检测，该检测方法包括如下步骤：

S1、分别对无锚框的轻量化小型神经网络和无监督的生成式大型神经网络进行训练和部署，其中，训练后的无锚框的轻量化小型神经网络部署在边缘端，训练后无监督的生成式大型神经网络部署在云端；

S2、通过无人机实时获取绝缘子图片，生成绝缘子监测数据集；该步骤具体为：无人机获取实时数据，使用搭载摄像头的无人机对输电线路上的绝缘子进行实时拍摄，并将拍摄的绝缘子图片传输至边缘端，生成绝缘子监测数据集；

S3、边缘端通过无锚框的轻量化小型神经网络对所述绝缘子监测数据集进行检测与定位，初步得到绝缘子检测结果，同时，所述绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片；

S4、云端通过无监督的生成式大型神经网络对无背景信息的正常绝缘子图片进行精确检测，进而得出绝缘子自爆的缺陷位置。

本发明在云端和边缘端分别部署好各自训练的神经网络后，首先对无人机实时采集到的图片进行识别检测，初步得到绝缘子的定位检测结果，并将被检测到的绝缘子图片传输至云端，但是该绝缘子图片在送入所述云端的神经网络之前会先被预处理（旋转并裁剪）；最后利用云端的神经网络精确检测出缺陷位置，在结合绝缘子自身的结构特征的同时，充分发挥云端与边缘端各自的优势，具有缺陷检测精准、网络资源利用率高、数据处理量大的优点。

参见图3，图3为本发明另一实施例提供的基于云边协同的输电线路绝缘子自爆缺陷检测方法的流程图的流程图。

一种基于云边协同的输电线路绝缘子自爆缺陷检测方法，通过上述的基于云边协同的输电线路绝缘子自爆缺陷检测系统进行缺陷检测，该检测方法包括如下步骤：

S11、对训练用的绝缘子监测数据集进行采集与标定；

需要说明的是，该步骤中采集并标定绝缘子监测数据集，只需要标定绝缘子监测数据集的绝缘子图片中绝缘子的位置，不需要标定缺陷位置，并且只需要收集正常的绝缘子图片（即包含绝缘子的绝缘子图片），不需要有非正常的绝缘子图片（即不包含绝缘子的绝缘子图片）。借助软件标定绝缘子的位置，为了使包围绝缘子的旋转边界框包含的背景信息更少，本发明选择roLabelImg标注工具，该工具可以旋转边界框进行标定，从而更好地包围绝缘子。其具体标注过程如下：第一步，打开需要标注的绝缘子图片文件夹，开始标注；第二步，按下键盘的E键创建旋转矩形框；第三步，通过键盘的Z，X，C，V键进行旋转调整矩形框方向；第四步，注明所创建的旋转矩形框为绝缘子标签；第五步，保存标准图片并导出xml文件。其中，标定生成的xml文件包含绝缘子的位置与种类信息，绝缘子的位置信息为5个，分别通过矩形框的中心点横、纵坐标（x，y），宽和高（w，h），以及旋转角度θ表示，种类信息由事先约定的数字或字符表示，这里的种类只有一种为绝缘子。该步骤得到的xml文件将作为边缘端神经网络的训练样本。同时，上述得到的xml文件可获得绝缘子在无人机航拍图片中的位置信息（即中心点横、纵坐标，旋转边界框的宽和高，以及旋转边界框的角度），根据所述位置信息对绝缘子图片进行裁剪并旋转至水平，可以得到包含少量背景信息的正常绝缘子图片，将其裁剪后的正常绝缘子图片直接作为云端神经网络的训练样本。

S12、选择无锚框的目标检测网络CenterNet作为边缘端的所述轻量化小型神经网络，所述目标检测网络CenterNet选择参数较少的DLA34作为主干网络，改进所述目标检测网络CenterNet的回归角度信息得到旋转边界框，并根据所述旋转边界框完成绝缘子监测数据集的预处理，得到无背景信息的正常绝缘子图片；选择变分自动编码器作为云端的所述无监督的生成式大型神经网络，所述变分自动编码器只需要训练正常绝缘子图片，并且不需要对其进行标注；

S13、对上述目标检测网络CenterNet和变分自动编码器进行训练，不断调整各自的训练权重，直至检测的准确率与召回率最高；

S14、上述目标检测网络CenterNet部署在边缘端上，上述变分自动编码器部署在云端上。

S2、通过无人机实时获取绝缘子图片，生成绝缘子监测数据集；

S3、边缘端通过无锚框的轻量化小型神经网络对所述绝缘子监测数据集进行检测与定位，初步得到绝缘子检测结果，同时，所述绝缘子监测数据集经预处理后生成无背景信息的正常绝缘子图片；

同时，如图4所示，该步骤具体分为如下步骤：

S31、边缘端对无人机传入的绝缘子监测数据集使用无锚框的目标检测网络CenterNet进行绝缘子识别定位，预测图片中是否存在绝缘子，如果未检测到绝缘子，则丢弃图片，不会被传送到云端；否则执行步骤S32；

S32、如果绝缘子监测数据集中的绝缘子图片存在绝缘子，则根据步骤S13所述的目标检测网络CenterNet的训练权重预测出旋转边界框，基于所述旋转边界框对存在绝缘子的绝缘子图片，依照绝缘子的轮廓将其包围起来，并根据预测得到的旋转边界框位置信息对其进行裁剪并旋转至水平，得到无背景信息的正常绝缘子图片；

上述过程可大大减少背景信息冗余对后续缺陷检测的影响。

S33、将经过步骤S32得到的无背景信息的正常绝缘子图片传输至云端进行自爆缺陷检测。

S4、云端通过无监督的生成式大型神经网络对无背景信息的正常绝缘子图片进行精确检测，进而得出绝缘子自爆的缺陷位置。

在进一步地技术方案中，如图5所示，步骤S4具体包括以下步骤：

S41、使用所述步骤S13训练得到的变分自动编码器的训练权重对所述步骤S33传输的无背景信息的正常绝缘子图片进行重构，得到重构结果图；

需要说明的是，上述变分自动编码器只需要训练正常绝缘子图片，正常绝缘子图片通过变分自动编码器后重构出依然是正常的绝缘子图片，将具有正常绝缘子的特征。且训练后得到的训练权重只学习了正常绝缘子的特征与数据分布。进一步地，在预测时，如果输入的是有缺陷的绝缘子图片，由于前面得到的训练权重只是通过训练正常绝缘子得到的，所以重构输出的只会是正常的绝缘子。具体地，如果输入一个有自爆缺陷的绝缘子，输出的绝缘子会在自爆缺陷的位置补全绝缘子片，其他位置的重构结果与输入图片近乎一致，从而得到的是一个正常的绝缘子图片。这样，输入缺陷绝缘子与其输出有比较大的误差，从而可以判定该绝缘子存在缺陷，并且可以根据图片差得到缺陷位置。

S42、将所述步骤S41的重构结果图与传输至所述步骤S33的无背景信息的正常绝缘子图片做差，得到重构误差；具体地，正常绝缘子的重构误差小，有自爆缺陷的绝缘子重构误差大；

S43、比较预设阈值与重构误差的大小，判断所述传输至步骤S33的无背景信息的正常绝缘子图片是否存在自爆缺陷，当重构误差大于所述预设阈值时，则判别为存在自爆缺陷的绝缘子，当重构误差小于所述预设阈值时，则判别为正常绝缘子。需要说明的是，被判别为存在自爆缺陷的绝缘子图片将被丢弃。

通过上述过程，本发明在保证绝缘子检测准确度的同时，在无人机搭载的边缘端上部署无锚框的轻量化小型神经网络，从而降低无人机的能量损耗，同时在云端部署有无监督的生成式大型神经网络，解决了有缺陷的绝缘子样本不足而造成模型过拟合的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。