基于深度学习的输电线路缺陷智能识别方法及系统

摘要

本发明涉及一种基于深度学习的输电线路缺陷智能识别方法及系统，所述智能识别方法包括：获取待测输电线路图像；根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置，可提高对多尺度目标的检测精度。

说明书

技术领域

本发明涉及计算机视觉及图像处理技术领域，特别涉及一种基于深度学习的输电线路缺陷智能识别方法及系统。

背景技术

电力系统是我国经济建设的重要基础，随着国家经济的飞速发展，工业发展以及人民生活对于电力的需求也在逐步上升。因此电力系统能否正常运行直接影响了我国经济发展以及国民生活质量。一套完整的电力系统包括从发电、输电到终端用电等部分，每一部分都在系统中都有着不可或缺的地位。但作为连接发电源头到终端用户的输电部分，输电线路能否正常运行影响了电力系统的稳定性和可靠性。由于我国输电线路分布较广，自然环境多变，所处地势复杂，长期暴露在自然环境中的输电线路易受到自然灾害以及次生灾害的破坏，如绝缘子自爆、导线断股、螺栓缺销子、绝缘子串碗头缺销子、缺螺母等。因此及时检测出输电线路以及杆塔的缺陷对于电力系统的稳定运行是至关重要的。但因为卷积网络不具有鲁棒性，针对图中尺度变化较大的物体通常会顾此失彼，对大尺寸目标检测较好，而对于类似输电线上缺陷部位等小目标检测则准确率较低。

现有对输电线路的检测方法通常采用人工检测的方式。通过对所拍摄杆塔及输电线路全景图像的人工识别来判定缺陷的种类以及存在位置。但我国输电线路和杆塔数量众多，依靠人工识别来进行缺陷检测工作量大，会浪费大量的人力和财力且效率较低。而其它基于计算机的检测方法中，大部分现有技术只能识别单种缺陷，且受计算性能制约，没有方法能够在高清全景图像中检测出尺寸较小的缺陷。因此改善检测器对于多尺度目标的检测对于实际应用是十分重要的。

发明内容

为了解决现有技术中的上述问题，即为了自动识别输电线路缺陷情况以及提高识别精度，本发明的目的在于提供一种基于深度学习的输电线路缺陷智能识别方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种基于深度学习的输电线路缺陷智能识别方法，所述智能识别方法包括：

获取待测输电线路图像；

根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；

根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；

根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；

根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

可选地，所述多分辨率融合金字塔包括深度残差卷积网络、四层粗粒度特征层、及四个匹配门，且每一匹配门分别连接一层粗粒度特征层及所述深度残差卷积网络的一个阶段输出端；

根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息，具体包括：

基于深度残差卷积网络，提取所述输电线路图像的特征，得到四层参考特征图；

通过各粗粒度特征层，对所述输电线路图像的特征进行分解，得到分别与各参考特征图大小一样的分解特征图；

通过各匹配门分别对一对分解特征图及参考特征图进行自适应融合，得到对应的四层粗粒度多分辨率层特征信息。

可选地，根据以下公式确定粗粒度多分辨率层特征信息：

G(X,Y)＝[F

其中，G(X,Y)为匹配门函数，输出对应的粗粒度多分辨率层特征信息，X表示分解特征图，Y表示参考特征图；α

可选地，所述细粒度交互金字塔包括四层交互层，其中各交互层分别连接一个匹配门，且第i交互层分别与第i-1交互层，2≤i≤4；第i层交互层包括像素级过滤器、与像素级过滤器连接的点积模块、与匹配门连接的卷积模块，以及分别与点积模块、卷积模块及特征增强金字塔连接的匹配模块；

根据所述细粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息，具体包括：

根据第1粗粒度多分辨率层特征信息，基于所述第1交互层，得到第1细粒度多分辨率层特征信息；

针对第i层交互层，根据第i-1层交互层获得的第i-1细粒多度分辨率层特征信息，通过像素级过滤器，得到第i-1空间层位置细粒度注意力图谱；

根据第i-1空间层位置细粒度注意力图谱与第i粗粒度多分辨率层特征信息，通过点积模块，得到第i点积信息；

根据第i粗粒度多分辨率层特征信息，通过卷积模块，得到第i卷积信息；

根据所述第i点积信息及第i卷积信息，通过匹配模块，得到第i细粒度多分辨率层特征信息；将各细粒度多分辨率层特征信息发送至特征增强金字塔。

可选地，确定第i-1空间层位置细粒度注意力图谱W

W

其中，W

可选地，所述特征增强金字塔包括四层多感受野位置增强层，各感受野位置增强层分别与对应的交互层连接，且各多感受野位置增强层均包括并排设置的多个一维空洞卷积模块，以及与各一维空洞卷积模块连接的融合模块；

根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像，具体包括：

分别将各细粒度多分辨率层特征信息自顶向下的信息传递交互，得到对应的交互信息；

针对每一多感受野位置增强层，根据所述交互信息，分别通过各一维空洞卷积模块，得到各增强卷积信息；

通过融合模块，对各增强卷积信息进行融合，得到增强特征图像。

可选地，根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置，具体包括：

通过候选区域网络，对所述增强特征图像进行初次分类和边框回归，得到候选区域；

将所述候选区域映射至所述增强特征图像中，得到特征区域；

利用分类器对所述特征区域进行分类，确定缺陷类别；

利用回归器对所述特征区域进行位置回归，得到缺陷位置。

为解决上述技术问题，本发明还提供了如下方案：

一种基于深度学习的输电线路缺陷智能识别系统，所述智能识别系统包括：

获取单元，用于获取待测输电线路图像；

粗粒度确定单元，用于根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；

细粒度确定单元，用于根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；

特征增强单元，用于根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；

识别单元，用于根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

为解决上述技术问题，本发明还提供了如下方案：

一种基于深度学习的输电线路缺陷智能识别系统，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取待测输电线路图像；

根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；

根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；

根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；

根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

为解决上述技术问题，本发明还提供了如下方案：

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取待测输电线路图像；

根据所述输电线路图像，基于多分辨率融合金字塔，确定多粗粒度分辨率层特征信息；

根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；

根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；

根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

根据本发明的实施例，本发明公开了以下技术效果：

本发明能够在全景高清图中对于各种尺度的缺陷目标自动进行精确的检测，充分利用多分辨率融合金字塔的粗粒度多分辨率层特征信息，确保特征信息的全面，通过特征增强金字塔，可剔除背景冗余信息的干扰，得到增强特征图像，从而可加强对图中极大或极小目标的检测识别；在保证检测速度的前提下，可提高对多尺度目标的检测精度。

附图说明

图1是本发明基于深度学习的输电线路缺陷智能识别方法的流程图；

图2是串联多级金字塔结构示意图；

图3是像素级过滤器的过滤流程图；

图4是本发明基于深度学习的输电线路缺陷智能识别系统的模块结构示意图。

符号说明：

获取单元—1，粗粒度确定单元—2，细粒度确定单元—3，特征增强单元—4，识别单元—5。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的目的是提供一种基于深度学习的输电线路缺陷智能识别方法，能够在全景高清图中对于各种尺度的缺陷目标自动进行精确的检测，充分利用多分辨率融合金字塔的粗粒度多分辨率层特征信息，确保特征信息的全面，通过特征增强金字塔，可剔除背景冗余信息的干扰，得到增强特征图像，从而可加强对图中极大或极小目标的检测识别；在保证检测速度的前提下，可提高对多尺度目标的检测精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明基于深度学习的输电线路缺陷智能识别方法包括：

步骤100：获取待测输电线路图像。

其中，通过直升机巡检或者无人机巡检拍摄获得待测输电线路图像。

步骤200：根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息。

步骤300：根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息。

步骤400：根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像。

步骤500：根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

其中，所述多分辨率融合金字塔包括深度残差卷积网络、四层粗粒度特征层、及四个匹配门，且每一匹配门分别连接一层粗粒度特征层及所述深度残差卷积网络的一个阶段输出端。

在步骤200中，根据所述输电线路图像，基于深度残差卷积网络及多分辨率融合金字塔，确定多分辨率层特征信息，具体包括：

步骤210：基于深度残差卷积网络，提取所述输电线路图像的特征，得到四层参考特征图。

所述深度残差卷积网络具有四个阶段输出端，每一阶段输出端输出一层参考特征图，每一阶段输出端连接一个匹配门。

在本实施例中，所述深度残差卷积网络为ResNet-50及ResNet-101。

步骤220：通过粗粒度特征层，对所述输电线路图像的特征进行分解，得到分别与各参考特征图大小一样的分解特征图。

其中，所述粗粒度特征层包括卷积层、归一化层及激活层。

步骤230：通过各匹配门分别对一对分解特征图及参考特征图进行自适应融合，得到对应的四层粗粒度多分辨率层特征信息；如图2所示，分别为第1粗粒度多分辨率层特征信息C

具体地，根据以下公式确定粗粒度多分辨率层特征信息：

G(X,Y)＝[F

其中，G(X,Y)为匹配门函数，输出对应的粗粒度多分辨率层特征信息，X表示分解特征图，Y表示参考特征图；α

由控制中枢生成S生成属于分解特征图X的控制矩阵α

优选地，在步骤200中，还包括：

步骤240：对各粗粒度多分辨率层特征信息进行初次增强，得到增强后的粗粒度多分辨率层特征信息。

优选地，在执行步骤200之前，本发明基于深度学习的输电线路缺陷智能识别方法还包括对所述待测输电线路图像进行预处理；其中包括对其进行裁剪且去除大量无用背景区域，使得满足深度残差卷积网络处理图像的尺寸要求。

进一步地，所述细粒度交互金字塔包括四层交互层，其中各交互层分别连接一个匹配门，且第i交互层分别与第i-1交互层，2≤i≤4；第i层交互层包括像素级过滤器、与像素级过滤器连接的点积模块、与匹配门连接的卷积模块，以及分别与点积模块、卷积模块及特征增强金字塔连接的匹配模块。

在步骤300中，根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息，具体包括：

步骤310：根据第1粗粒度多分辨率层特征信息，基于所述第1交互层，得到第1细粒度多分辨率层特征信息。

具体地，可通过3*3卷积，对第1粗粒度多分辨率层特征信息降采样，得到第1细粒度多分辨率层特征信息。

步骤320：针对第i层交互层，根据第i-1层交互层获得的第i-1细粒度多分辨率层特征信息，通过像素级过滤器(如图3所示)，得到第i-1空间层位置细粒度注意力图谱。

具体地，根据以下公式，确定第i-1空间层位置细粒度注意力图谱W

W

其中，W

其中，确定空间层位置细粒度注意力图谱的过程可以通过神经网络学习到，在得到空间层位置细粒度注意力图谱W

P＝G(φ(M

其中，P表示细粒度交互金字塔的输出，M

利用细粒度交互金字塔进行注意力图谱的提取时，将当前细粒度多分辨率层特征信息通过像素级过滤器，以学习的方式对整张特征图进行空间层位置细粒度注意力图谱的提取；并通过卷积核为3*3的卷积层使其降采样至与下一层特征的相同大小，使得下一层特征可以对上一层细粒度多分辨率层特征中的空间层位置信息进行学习。

步骤330：根据第i-1空间层位置细粒度注意力图谱与第i粗粒度多分辨率层特征信息，通过点积模块，得到第i点积信息。

步骤340：根据第i粗粒度多分辨率层特征信息，通过卷积模块，得到第i卷积信息。所述卷积模块的卷积核为1*1。

步骤350：根据所述第i点积信息及第i卷积信息，通过匹配模块，得到第i细粒度多分辨率层特征信息；将各细粒度多分辨率层特征信息发送至特征增强金字塔。通过匹配模块，得到细粒度多分辨率层特征信息，使得前景区域更加明显。其中，所述匹配门与所述匹配模块可相同(如图2所示)，也可不同。在实际使用时，可根据需要进行设置。

通过步骤310-步骤350，完成细粒度多分辨率层高分辨率层对低分辨率层的指导。

具体地，所述特征增强金字塔包括四层多感受野位置增强层，各感受野位置增强层分别与对应的交互层连接，且各多感受野位置增强层均包括并排设置的多个一维空洞卷积模块，以及与各一维空洞卷积模块连接的融合模块。

在步骤400中，根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像，具体包括：

步骤410：分别将各细粒度多分辨率层特征信息自顶向下的信息传递交互，得到对应的交互信息。

步骤420：针对每一多感受野位置增强层，根据所述交互信息，分别通过各一维空洞卷积模块，得到各增强卷积信息。

步骤430：通过融合模块，对各增强卷积信息进行融合，得到增强特征图像。

本发明在通过特征增强金字塔对各细粒度多分辨率层特征信息进行背景剔除时，通过多感受野位置增强层对细粒度多分辨率层特征信息进行学习，利用空洞卷积率分别为1、2、3的三个一维空洞卷积模块得到各增强卷积信息，并将结果进行融合以滤除背景信息，凸显前景信息。

在步骤500中，根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置，具体包括：

步骤510：通过候选区域网络，对所述增强特征图像进行初次分类和边框回归，得到候选区域。

步骤520：将所述候选区域映射至所述增强特征图像中，得到特征区域。

步骤530：利用分类器对所述特征区域进行分类，确定缺陷类别。

在本实施例中，通过softmax分类器进行分类。

步骤540：利用回归器对所述特征区域进行位置回归，得到缺陷位置。

在本实施例中，通过L1 loss回归器完成回归操作，确定缺陷位置。

本发明通过将多分辨率融合金字塔、细粒度交互金字塔以及特征增强金字塔串联设置，得到多级金字塔结构(如图2所示)。通过多分辨率融合金字塔完成自适应的粗粒度多分辨率层特征信息的增强；通过细粒度交互金字塔来获取细粒度多分辨率层特征信息，确定缺陷物体清晰的位置信息以及物理轮廓信息，以增强低分辨率特征的空间层位置信息，并以此完成不同分辨率层信息的自适应交互；通过特征增强金字塔进行下一步精细处理，去除冗余信息以及背景噪声且增强物体位置信息；通过候选区域网络、分类器及回归器，确定待测输电线路的缺陷类别及缺陷位置，提高智能检测的自动化程度以及检测的精度。

下面结合图2，详细介绍本发明基于深度学习的输电线路缺陷智能识别方法。

本发明于深度学习的输电线路缺陷智能识别方法具体实施例包括以下步骤：

S101：输电线路和杆塔原全景高清图像可来自直升机巡检时所拍摄的图像，或利用无人机巡检时拍摄的图像。输电线路或杆塔的缺陷类别不只为一种，可以是多种缺陷类别共存，例如绝缘子自爆、导地线异常、螺栓锈蚀、杆塔异物、螺栓缺失等。

由于输电线上缺陷目标的尺度变化范围较大，想要兼顾所有尺寸的物体进行精确的检测对于现有检测器是一个巨大的挑战，因此本发明建立串联多级金字塔结构用以加强目标检测器对多尺度目标的检测精度。

S102：对拍摄所得的图像进行预处理，将处理好的图像输入至深度残差卷积网络中进行第一次的特征提取，得到参考特征图，同时将预处理的图像输入多分辨率融合金字塔进行多层分辨层特征信息的补充。

因为深度残差卷积网络的输入是单一分辨率的图像，尺寸单一包含信息有限，因此利用多分辨率融合金字塔的粗粒度特征层可以对图片进行多分辨率层的提取，获取不同尺度下的特征信息，以此来从各个尺度下对图片中的各尺度的物体进行充分的特征信息提取，并通过多分辨率融合金字塔可促进不同分辨率层的信息交互，弥补分辨率信息不同所带来的差异。并通过匹配门生成对少量卷积层降采样而来的特征的控制矩阵，使得两个分支(即深度残差卷积网络及四层粗粒度特征层)的特征可以完成自适应的融合。

S103：通常高层特征具有充足的语义信息，而底层信息具有较多的位置信息，因此为了增加高层特征的位置信息，首先将上一步获得的粗粒度多分辨率层特征信息输入至细粒度交互金字塔，通过3*3卷积使当前特征层降采样至与下一层特征的相同大小，使得下一层特征可以对上一层细粒度多分辨率层特征中的空间层位置信息进行学习，其次将当前降采样过后的特征图(即上一层细粒度多分辨率层特征)通过像素级过滤器提取相应的空间层位置细粒度注意力图谱，与此同时低分辨率层特征通过短接设计，利用1*1卷积通过学习的方式对物体位置信息进行自适应的学习，最终将卷积后的特征与和细粒度注意力图谱点积后的特征通过匹配模块进行自适应的融合，完成细粒度多分辨率层高分辨率层对低分辨率层的指导。

S104：将通过细粒度交互金字塔的细粒度多分辨率层特征信息输入至特征增强金字塔进行后处理，经过多次交互后的特征具有较多冗余信息，需要通过后处理以此来得到精细化的增强特征图像。此时通过多感受野位置增强层对特征图进行学习，并将不同感受野卷积核处理过后的特征进行融合，以此实现对位置信息的增强，其中分别利用空洞卷积率为1、2、3的一维空洞卷积来组成多感受野位置增强层，并将结果融合以滤除背景噪声，凸显前景信息。

其中，将精细化后的增强特征图像输入至候选区域网络中进行第一次的粗筛选，候选区域网络对于所输入的增强特征图像进行分类和边框回归，对增强特征图像只判别是否存在物体，即只判别前景和后景，并不对目标种类进行细分，将包含前景的框留下剔除背景框，通过后处理中非极大抑制操作剔除掉重叠的框，减少重复框的存在，加快检测速度。

S105：对被经过剔除操作所留下的候选区域输入至分类器和回归器中进行第二次的精筛选，所述候选区域特征输入至Softmax分类器进行分类，而回归器采用L1 loss的方法对候选区域完成回归操作获得物体精确位置，最终输出图像中的物体种类和其相应位置。

本发明利用多分辨率融合金字塔的粗粒度多分辨率层特征信息来弥补单一尺度输入的不足以此来增强特征信息；之后利用细粒度交互金字塔实现对细粒度多分辨率层中物体位置信息以及轮廓信息的充分利用，加强了对图中极大或极小目标的识别；接下来将具有显著位置信息的特征输入至特征增强金字塔中，去除特征层中的冗余背景信息，以增强前景信息；将处理后的具有充分位置和语义信息的特征输入至候选区域网络中进行候选区域的生成，候选区域网络对所输入的特征进行初次分类和边框回归得到候选区域，将所得的候选区域输入至分类器和回归器中，进行分类及更精确的边框回归。

此外，本发明还提供一种基于深度学习的输电线路缺陷智能识别系统，可自动识别输电线路缺陷情况以及提高识别精度。

如图4所示，本发明基于深度学习的输电线路缺陷智能识别系统包括获取单元1、粗粒度确定单元2、细粒度确定单元3、特征增强单元4及识别单元5。

所述获取单元1用于获取待测输电线路图像；所述粗粒度确定单元2用于根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；所述细粒度确定单元3用于根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；所述特征增强单元4用于根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；所述识别单元5用于根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

此外，本发明还提供一种基于深度学习的输电线路缺陷智能识别系统，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取待测输电线路图像；

根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；

根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；

根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；

根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

此外，本发明还提供了如下方案：

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取待测输电线路图像；

根据所述输电线路图像，基于多分辨率融合金字塔，确定粗粒度多分辨率层特征信息；

根据所述粗粒度多分辨率层特征信息，基于细粒度交互金字塔，得到细粒度多分辨率层特征信息；

根据所述细粒度多分辨率层特征信息，基于特征增强金字塔，得到增强特征图像；

根据增强特征图像，确定待测输电线路的缺陷类别及缺陷位置。

相对于现有技术，本发明基于深度学习的输电线路缺陷智能识别系统、计算机可读存储介质与上述基于深度学习的输电线路缺陷智能识别方法的有益效果相同，在此不再赘述。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。