一种室内变电站开关及指示灯状态识别方法及系统

摘要

本申请实施例提供了一种室内变电站开关及指示灯状态识别方法及系统，方法包括：获取多张开关柜图片，将开关柜图片按照目标器件大小进行分类裁剪以及进行预处理，按比例划分为训练集图像和测试集图像；将训练集图像导入yolov3网络结构模型中进行降维和特征提取，分别输出小、中、大三种维度的目标器件的位置预测结果，并且迭代调整yolov3网络结构模型；将训练集图像导入densenet密集卷积网络结构模型中进行训练，通过densenet密集卷积网络结构模型对目标器件进行类别和状态检测，迭代调整densenet密集卷积网络结构模型；获得yolov3网络结构模型和densenet密集卷积网络结构模型相结合的最终的识别模型；利用测试集图像对识别模型进行测试，获得变电站开关及指示灯的位置、类别和状态。

说明书

技术领域

本申请涉及工业视觉技术领域，具体涉及一种室内变电站开关及指示灯状态识别方法及系统。

背景技术

在变电站中，设备状态是变电运行人员日常工作中重点关注的内容之一，其与整个电网乃至电力系统的安全稳定运行密切相关。变电站一次设备作为承载高电压、允许大电流通过的物理载体，其物理分合闸位置是反映带电一次设备的连接部分工作情况的直接依据，主要包括户外隔离开关及其附属接地刀闸的合上及断开位置。

在以往的运行工作中，变电运行人员主要通过后台监控系统检查现场设备经过二次回路辅助节点上传的位置信号来判断物理分合闸位置，并人工到达设备现场进行再次核对，但在多数情况下对象设备可能与工作人员有较远距离，到场人工观察费时费力，在特殊全站操作任务或者复杂操作任务情况下时，需要对每一项操作都进行完现场人工核对后才能进入下一项操作，极为不便，需消耗大量时间及人力物力。

随着变电站智能巡检及定点监测等智能设备的应用及普及，通过图像来判断设备物理分合闸的场景不断增多，而将越来越多的巡检图像数据通过人工进行识别分析，将费时费力效率低下。如果使用机器进行自动分析，传统的方法是利用固定安装的摄像头或者使用移动巡检机器人，但传统的方法仅能实现设备类别的判断以及设备位置的确定。

鉴于此，设计一种能够快速准确地判断出设备类别、位置以及设备状态的室内变电站开关及指示灯状态识别方法及系统具有十分重要的意义。

发明内容

本申请实施例提出了一种室内变电站开关及指示灯状态识别方法及系统来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种室内变电站开关及指示灯状态识别方法，包括以下步骤：

S110、获取多张开关柜图片，将开关柜图片按照目标器件大小进行分类裁剪以及进行预处理，按比例划分为训练集图像和测试集图像；

S120、将训练集图像导入yolov3网络结构模型中进行降维和特征提取，分别输出小、中、大三种维度的目标器件的位置预测结果，并且迭代调整yolov3网络结构模型；

S130、将步骤S120中已预测出位置的训练集图像导入densenet密集卷积网络结构模型中进行训练，densenet密集卷积网络结构模型包括有瓶颈层和过渡层，通过densenet密集卷积网络结构模型对目标器件进行类别和状态检测，并且迭代调整densenet密集卷积网络结构模型；

S140、获得yolov3网络结构模型和densenet密集卷积网络结构模型相结合的最终的识别模型；以及

S150、利用测试集图像对识别模型进行测试，获得变电站开关及指示灯的位置、类别和状态。

在具体的实施例中，步骤S120将训练集图像导入yolov3网络结构模型中进行降维和特征提取，分别输出小、中、大三种维度的目标器件的位置预测结果，具体包括：

S121、将训练集图像的尺寸调整成宽、高、通道为416*416*3大小的图片数组；

S122、经过3*3卷积和1*1卷积图片数组降维至52，26和13三个维度，通过三个维度分别预测小、中、大的目标器件；

S123、在52，26和13三个维度上分别有三个全卷积特征提取层，其中，全卷积特征提取层包括用于降维度的1*1的卷积核和用于提取特征的3*3的卷积核；

S124、全卷积特征提取层输出目标器件的位置预测结果。

在具体的实施例中，在步骤S120中，迭代调整yolov3网络结构模型包括：

分批次将训练集图像导入yolov3网络结构模型中进行降维和特征提取，获得初步训练的yolov3网络结构模型；

将测试集图像导入初步训练的yolov3网络结构模型中，分析目标器件位置识别的准确率，若准确率低于设定的阈值，则补充采集训练集图像，继续进行yolov3网络结构模型的训练。

在具体的实施例中，在步骤S130中，迭代调整densenet密集卷积网络结构模型还包括：通过最小损化函数使densenet密集卷积网络结构模型达到收敛状态，使用的最小损化函数为：

其中，p为真实分布，q为近似分布。

在具体的实施例中，在步骤S130中，还包括在训练过程中根据训练结果对densenet密集卷积网络结构模型参数进行优化，不断改进densenet密集卷积网络结构模型的结构，其中，目标函数为训练集图像中各样本损失函数的平均，则n个样本的目标函数为：

其中，f

目标函数对x的梯度计算公式为：

对随机样本i进行更新的表达式为：

其中，α为设定的学习率，通过随机梯度下降在每次训练后随机抽出一组样本，将参数按梯度更新一次。

在具体的实施例中，在步骤S140中，识别模型是在GPU3080上训练获得的，其中，目标器件的类别数为21，最大迭代次数为80，批量大小为18，步长大小为0.01。

在具体的实施例中，在步骤S110中，将开关柜图片按照目标器件大小进行分类裁剪以及进行预处理，其中，预处理包括包括水平镜像、旋转图像、随机亮度和对比度增强。

在具体的实施例中，目标器件包括旋转开关、合闸指示灯、分闸指示灯、手车指示灯、压板和空气开关。

第二方面，本申请提供了一种室内变电站开关及指示灯状态识别系统，该系统包括：

获取模块，用于获取多张开关柜图片，将开关柜图片按照目标器件大小进行分类裁剪以及进行预处理，按比例划分为训练集图像和测试集图像；以及

位置预测模块，用于将训练集图像导入yolov3网络结构模型中进行降维和特征提取，分别输出小、中、大三种维度的目标器件的位置预测结果，并且迭代调整yolov3网络结构模型；以及

类别预测模块，用于将位置预测模块中已预测出位置的训练集图像导入densenet密集卷积网络结构模型中进行训练，densenet密集卷积网络结构模型加入有瓶颈层和过渡层，通过densenet密集卷积网络结构模型对目标器件进行类别和状态检测，并且迭代调整densenet密集卷积网络结构模型；以及

识别模块，用于获得yolov3网络结构模型和densenet密集卷积网络结构模型相结合的最终的识别模型；以及

输出模块，用于利用测试集图像对识别模型进行测试，获得变电站开关及指示灯的位置、类别和状态。

第三方面，本申请提供了一种计算机可读存储介质，该介质中存储有计算机程序，在计算机程序被处理器执行时，实施如上述中任一项的方法。

本申请实施例提供的一种室内变电站开关及指示灯状态识别方法及系统，采用双深度学习模型yolov3和densenet，不仅能判断出识别设备的的类别位置，还能够判断出该设备的状态，如分合、亮暗等。采用能够一体化生成备选框的单阶段模型yolov3，能够快速且准确地识别出结开关及指示灯的位置、类别及状态。

附图说明

通过阅读参照以下附图你，所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的室内变电站开关及指示灯状态识别方法的流程图；

图2是根据本申请的室内变电站开关及指示灯状态识别方法的Yolov3特征提取的示意图；

图3是根据本申请的一个实施例的识别模型预测出的效果图；

图4是根据本申请的另一个实施例的识别模型预测出的效果图；

图5是根据本申请的室内变电站开关及指示灯状态识别系统的的示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请的室内变电站开关及指示灯状态识别方法的流程图，如图1所示，该方法100包括以下步骤：

S110、获取多张开关柜图片，将开关柜图片按照目标器件大小进行分类裁剪以及进行预处理，按比例划分为训练集图像和测试集图像；

在具体的实施例中，对图片进行预处理可以包括对图像进行水平镜像、旋转图像、随机亮度和对比度增强。

S120、将训练集图像导入yolov3网络结构模型中进行降维和特征提取，分别输出小、中、大三种维度的目标器件的位置预测结果，并且迭代调整yolov3网络结构模型；

图2示出了本申请的室内变电站开关及指示灯状态识别方法的Yolov3特征提取的示意图，结合参考图1和图2，在具体的实施例中，步骤S120具体包括以下子步骤：

S121、将训练集图像的尺寸调整成宽、高、通道为416*416*3大小的图片数组；

S122、经过3*3卷积和1*1卷积图片数组降维至52，26和13三个维度，通过三个维度分别预测小、中、大的目标器件；

S123、在52，26和13三个维度上分别有三个全卷积特征提取层，即图2右边的Convolutional Set，1*1的卷积核用于降维，3*3的卷积核用于提取特征，多个卷积核交错达到目的。每个全卷积特征层是有连接的，在图2中为Concatenate标志，意味着当前特征层的输入有来自于上一层的输出的一部分。并且，每个特征层都有一个输出Predict，即预测的各类开关和指示灯器件结果。

S124、全卷积特征提取层输出目标器件的位置预测结果。

在具体的实施例中，在步骤S120中，迭代调整yolov3网络结构模型具体包括：

分批次将训练集图像导入yolov3网络结构模型中进行降维和特征提取，获得初步训练的yolov3网络结构模型；

将测试集图像导入初步训练的yolov3网络结构模型中，分析目标器件位置识别的准确率，若准确率低于设定的阈值，则补充采集训练集图像，继续进行yolov3网络结构模型的训练。

继续参考图1，本申请提供的室内变电站开关及指示灯状态识别方法还包括S130、将步骤S120中已预测出位置的训练集图像导入densenet密集卷积网络结构模型中进行训练，densenet密集卷积网络结构模型包括有瓶颈层和过渡层，通过densenet密集卷积网络结构模型对目标器件进行类别和状态检测，并且迭代调整densenet密集卷积网络结构模型；

其中，将已预测出位置的训练集图像导入densenet密集卷积网络结构模型中进行训练将的具体过程如下：

机器人搭载摄像机云台在室内变电站拍摄开关柜图片，将开关柜图片上的目标器件分类裁剪，含有的目标器件主要包括：各类旋转开关，合闸指示灯，分闸指示灯，手车指示灯，压板，空气开关，断路器机械指示，通过多批次采集图片，不断完善数据集；

将每一类器件放入对应文件夹并标号，以8：1的比例划分训练集和测试集，设置网络中读取数据集的路径，分别进行训练和测试；

分类网络densenet通过拼接的方式将所有的层直接连接起来，即每一层都从之前的所有层中获得输入，并且将自身的特征映射传递给后续的所有层。拼接的方式相对resnet累加的方式可以使信息在网络中更流畅地传播。但是拼接的方式会导致特征图的通道数成倍地堆叠，增加了计算的复杂度，为了控制特征图的通道数，在网路中加入了瓶颈层(Bottleneck layer)和过渡层(Translation layer)，瓶颈层通过在3×3卷积之前引入1×1卷积减少特征图的通道数，过渡层则是通过在密集模块之后加入压缩因子减少通道数，如密集模块输出通道数为m的特征图，可以让其在随后的过渡层中乘上压缩因子b，即将通道数变为b×m，b通常设置为0和1之间的常数。瓶颈层和过度层可以减少特征图的数量，从而减少网络的参数量，提高模型的运行效率。

本申请的数据集是分批次采集的，初次训练出一个模型之后，分析每一类目标器件的识别准确率，再由机器人去采集准确率较低的目标器件图片，补充数据集进行训练，通过扩充数据集增强模型的泛化能力。

在深度学习中损失函数用来衡量神经网络的预测值和真实值之间的差距，通过最小化损失函数，使模型达到收敛状态，减少模型预测值的误差，在训练模型时选择一个合适的损失函数可以极大地改进模型的性能。

在步骤S130中，迭代调整densenet密集卷积网络结构模型还包括：通过最小损化函数使densenet密集卷积网络结构模型达到收敛状态，并通过随机梯度下降法SGD进行优化。

其中，使用的最小损化函数为：

其中，p为真实分布，q为近似分布。

在具体的实施例中，在步骤S130中，还包括在训练过程中根据训练结果对densenet密集卷积网络结构模型参数进行优化，不断改进densenet密集卷积网络结构模型的结构，其中，目标函数为训练集图像中各样本损失函数的平均，则n个样本的目标函数为：

其中，f

目标函数对x的梯度计算公式为：

对随机样本i进行更新的表达式为：

其中，α为设定的学习率，通过随机梯度下降在每次训练后随机抽出一组样本，将参数按梯度更新一次。

通过上述方式，能够不断地优化网络的输出结果。

S140、获得yolov3网络结构模型和densenet密集卷积网络结构模型相结合的最终的识别模型；

在具体的实施例中，在步骤S140中，本申请的识别模型是在GPU3080上训练获得的，其中，目标器件的类别数为21，最大迭代次数为80，批量大小为18，步长大小为0.01。

S150、利用测试集图像对识别模型进行测试，获得变电站开关及指示灯的位置、类别和状态。

本申请用于训练yolov3的目标检测模型的数据集共有3万余张，用于训练densenet状态识别模型的数据集共有21类16万余张，测试集2万余张。图3和图4示出了本申请的具体实施例中识别模型预测出的效果图。

在yolov3预测出目标器件位置的基础上，使用分类模型对器件的类别及状态进行检测，针对站房设备图像分类识别模型较大且准确率较低的问题，采用densenet系列的网络重新训练模型。

实验结果如表1所示，本申请提供的新训练densenet系列模型小于原有resnet模型，可以节省存储空间，提高运算效率，且总体识别效率有所提升，其中densenet169和densenet201相比原有模型准确率分别提高了1.8％和2.3％，达到了95％以上。

表1不同训练模型的正确率对比

图5示出了本申请的室内变电站开关及指示灯状态识别系统的的示意图，该系统包括：

获取模块510，用于获取多张开关柜图片，将开关柜图片按照目标器件大小进行分类裁剪以及进行预处理，按比例划分为训练集图像和测试集图像；以及

位置预测模块520，用于将训练集图像导入yolov3网络结构模型中进行降维和特征提取，分别输出小、中、大三种维度的目标器件的位置预测结果，并且迭代调整yolov3网络结构模型；以及

类别预测模块530，用于将位置预测模块中已预测出位置的训练集图像导入densenet密集卷积网络结构模型中进行训练，densenet密集卷积网络结构模型加入有瓶颈层和过渡层，通过densenet密集卷积网络结构模型对目标器件进行类别和状态检测，并且迭代调整densenet密集卷积网络结构模型；以及

识别模块540，用于获得yolov3网络结构模型和densenet密集卷积网络结构模型相结合的最终的识别模型；以及

输出模块550，用于利用测试集图像对识别模型进行测试，获得变电站开关及指示灯的位置、类别和状态。

本申请实施例提供的一种室内变电站开关及指示灯状态识别方法及系统，采用双深度学习模型yolov3和densenet，不仅能判断出识别设备的的类别位置，还能够判断出该设备的状态，如分合、亮暗等。采用能够一体化生成备选框的单阶段模型yolov3，能够快速且准确地识别出结开关及指示灯的位置、类别及状态。

本申请还提供了一种计算机可读存储介质，该介质中存储有计算机程序，在计算机程序被处理器执行时，实施如上述中任一项的方法。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、分析模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。