一种基于敏感位置依赖分析的变电设备缺陷检测方法

摘要

本发明涉及一种基于敏感位置依赖分析的变电设备缺陷检测方法，与现有技术相比解决了变电设备缺陷检测率低的缺陷。本发明包括以下步骤：变电设备缺陷图像集的获取；缺陷检测网络的构建；缺陷检测网络的训练；待检测缺陷图像的获取；变电站设备缺陷问题的检测。本发明充分考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标上下文依赖信息，更有利于检测识别。

说明书

技术领域

本发明涉及变电设备图像处理技术领域，具体来说是一种基于敏感位置依赖分析的变电设备缺陷检测方法。

背景技术

随着人力成本的增加，变电站环境的需求，以及计算机模式识别技术的发展，巡检机器人已经成为了变电站日常巡检的主要设备。同时对应对电网智能化建设的迫切需要，利用变电站机器人巡检图像进行缺陷检测识别应用研究正逐步深入，近些年相关学者和电力系统单位在此领域进行了大量的工作并且取得了一定的成果。

基于变电设备缺陷而言，其缺陷的产生存在一定的关联。例如：鸟巢的出现与铁塔结构相关联、油污的出现与地面相关联等。但现有的分析方法中，未考虑相关因素之间的关联性，致使检测结果不准确、误检率高。

因此，如何利用变电设备缺陷之间的相关性进行有效检测分析已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中变电设备缺陷检测率低的缺陷，提供一种基于敏感位置依赖分析的变电设备缺陷检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于敏感位置依赖分析的变电设备缺陷检测方法，包括以下步骤：

变电设备缺陷图像集的获取：获取若干张变电站设备缺陷图像，形成变电站缺陷图像数据集，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像；

缺陷检测网络的构建：构建缺陷检测网络，所述缺陷检测网络分为两部分，第一部分为全局特征提取网络、第二部分为局部缺陷检测网络；

缺陷检测网络的训练：将变电设备缺陷图像集输入缺陷检测网络，对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练；

待检测缺陷图像的获取：获取待检测的变电站设备缺陷图像；

变电站设备缺陷问题的检测：将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络，检测出变电站设备缺陷类型。

所述缺陷检测网络的构建包括以下步骤：

设定缺陷检测网络的第一部分为全局特征提取网络，全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射，该特征由骨干网络提取，输入是变电站设备缺陷图像I，输出是基于整张图像得到的全局特征图，全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置；

设定缺陷检测网络的第二部分为局部缺陷检测网络，局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置，找到对应缺陷目标的区域，描述每一个缺陷目标区域下的目标特征；

构建全局特征提取网络：构建全局特征提取网络包括骨干网络和特征金字塔网络；

骨干网络使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，其包括卷积操作、池化操作、非线性激活操作、归一化操作；特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F；

构建局部缺陷检测网络。

所述缺陷问题检测网络的训练包括以下步骤：

将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络；

将骨干网络不同层级的输出输入特征金字塔网络，输出变电站设备缺陷图像的全局特征图F；

将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络，经过其512个通道和3x3卷积核大小的卷积层，使用1x1卷积核的并行卷积层，并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量，最终输出初步定位出的缺陷目标对应的局部特征图

将缺陷目标对应的局部特征图F

将敏感位置得到依赖分析后的特征图加到原特征图F

根据得到的缺陷位置利用SmoothL1损失函数反向传播误差，同时根据得到的类别概率向量利用softmax损失函数反向传播误差，对所有权重利用梯度下降法计算损失函数梯度，更新需要学习的权重。

所述构建局部缺陷检测网络包括以下步骤：

设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络；

设定缺陷区域初步定位网络为区域建议生成网络，用于在全局特征图上面产生多个初步缺陷感兴趣区域，用完全卷积的方式高效实现，使用感兴趣区域均值采样降维到固定大小的局部特征图；

缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图

设定敏感位置依赖分析网络，获取像素点和其他所有位置像素点之间的相互关系，利用像素间的敏感性建立图像上相关性大的像素之间的联系，关系不敏感的像素之间赋予较低权重，关系敏感的像素之间赋予较大权重，敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图F

设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量。

所述将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤：

对缺陷目标对应的局部特征图中的

其中

将三维局部特征图F

其中

将二维特征图F

获取权重矩阵W，对关系矩阵使用激活函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间，w

获取敏感位置依赖分析后的特征图，使用权重矩阵与原像素点相乘，即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图F

其中

将矩阵

敏感位置得到依赖分析之后加到原特征图F

有益效果

本发明的一种基于敏感位置依赖分析的变电设备缺陷检测方法，与现有技术相比充分考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标上下文依赖信息，更有利于检测识别。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法，包括以下步骤：

第一步，电设备缺陷图像集的获取：获取若干张变电站设备缺陷图像，形成变电站缺陷图像数据集，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像。

第二步，缺陷检测网络的构建：构建缺陷检测网络，所述缺陷检测网络分为两部分，第一部分为全局特征提取网络、第二部分为局部缺陷检测网络。

由于在实际应用中，电力行业主管部门与维保实施单位不同，其所获得的图像数据是全方位的，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像等，在这众多图像中再去发现缺陷问题则较为困难。而所有变电设备缺陷的发生则伴随着其相关的其他元素，例如，绝缘子破裂则会有大空间背景(蓝天背景)、鸟巢则伴有杆塔背景、油污则伴有地面背景，因此如何利用这些关联性较高的元素进行整体分析将会大大提高检测精度。而本发明在此设计的局部缺陷检测网络中包含敏感位置依赖分析网络，充分考虑了变电设备图像里相关性高的像素之间的关联性，在原有的目标特征基础上包含了图像背景以及目标依赖物信息，更有利于检测识别。其具体步骤如下：

(1)设定缺陷检测网络的第一部分为全局特征提取网络，全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射，该特征由骨干网络提取，输入是变电站设备缺陷图像I，输出是基于整张图像得到的全局特征图，全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置。

(2)设定缺陷检测网络的第二部分为局部缺陷检测网络，局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置，找到对应缺陷目标的区域，描述每一个缺陷目标区域下的目标特征。

(3)构建全局特征提取网络：构建全局特征提取网络包括骨干网络和特征金字塔网络；

骨干网络使用传统的迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，其包括卷积操作、池化操作、非线性激活操作、归一化操作；利用现有的特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F。

骨干网络是一种大型的卷积神经网络的组合，主要包括AlexNet,VGG系列，Inception系列，残差网络系列，稠密连接网络系列等。骨干网络一般使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，主要包括卷积操作，池化操作，非线性激活操作，归一化操作。特征金字塔网络是带有侧向跳跃连接的网络结构，简单讲就是骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F。特征金字塔建立了一种侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上。层级间特征融合结构可以和骨干网络相结合，作为骨干网络的优化机制，更有效地获得适合检测的全局特征图。

(4)构建局部缺陷检测网络。

A1)设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络；

A2)设定缺陷区域初步定位网络为区域建议生成网络，用于在全局特征图上面产生多个初步缺陷感兴趣区域，用完全卷积的方式高效实现，使用感兴趣区域均值采样降维到固定大小的局部特征图；

缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图

A3)设定敏感位置依赖分析网络，获取像素点和其他所有位置像素点之间的相互关系，利用像素间的敏感性建立图像上相关性大的像素之间的联系，关系不敏感的像素之间赋予较低权重，关系敏感的像素之间赋予较大权重，敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图F

A4)设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量。

第三步，缺陷检测网络的训练：将变电设备缺陷图像集输入缺陷检测网络，对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练，通过端到端训练不需要单独分开训练模型，节省时间的同时更利于交互学习。其具体步骤如下：

(1)将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络。

(2)将骨干网络不同层级的输出输入特征金字塔网络，输出变电站设备缺陷图像的全局特征图F。

(3)将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络，经过其512个通道和3x3卷积核大小的卷积层，使用1x1卷积核的并行卷积层，并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量，最终输出初步定位出的缺陷目标对应的局部特征图

(4)将缺陷目标对应的局部特征图F

敏感位置依赖分析网络考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标相关依赖信息。在此，将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤：

B1)对缺陷目标对应的局部特征图中的

其中

B2)将三维局部特征图F

其中

B3)将二维特征图F

B4)获取权重矩阵W，对关系矩阵使用激活函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间，w

B5)获取敏感位置依赖分析后的特征图，使用权重矩阵与原像素点相乘，即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图F

其中

将矩阵

B6)敏感位置得到依赖分析之后加到原特征图F

(5)将敏感位置得到依赖分析后的特征图加到原特征图F

(6)根据得到的缺陷位置利用SmoothL1损失函数反向传播误差，同时根据得到的类别概率向量利用softmax损失函数反向传播误差，对所有权重利用梯度下降法计算损失函数梯度，更新需要学习的权重。

第四步，待检测缺陷图像的获取：获取待检测的变电站设备缺陷图像。

第五步，变电站设备缺陷问题的检测：将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络，检测出变电站设备缺陷类型。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。