基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法

摘要

一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法，本发明将改进的SSD目标检测模型压缩并移植到移动端，充分发挥边缘计算的优势，通过实验，本发明将安卓端作为一个优选方案；本发明将VGG16网络中的Conv4_x特征层和Conv5_x特征层相融合，再将融合之后的特征层直接作用到最后的预测层，以此来提高小目标检测的准确率；同时，本发明总结出多种基本的天气情况：晴天、阴天、雨天、雾天等，并使用图像增强技术来增加不同场景下的训练数据，以此提高模型的泛化能力。

说明书

技术领域

本发明公开基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,属于电力异常事件智能识别的技术领域。

背景技术

随着电力工程的不断发展与建设，输电网规模越来越大，设备越来越多，针对输电设备与线路的巡视工作量也在不断地增加。另外在一些比较偏远的地区，比如山区、雪原等，相关工作人员难以到达，更加增大了巡视工作的难度。与此同时，电网管理水平不断提高，运行维护单位也对输电线路的运行管理方式进行着不断的探索。目前针对异常事件的识别与预警的主流解决方案有在线监测系统、无人机自动巡视等，但它们都各有缺点。

在线监测系统是由安装在输电塔(杆)上的监控器拍摄视频或图像，再将其传输到服务器，由服务器来进行异常的识别与处理。这种方案的弊端在于异常检测的延迟性和不稳定性。将终端监控器拍摄的画面传输到服务器要花费必要的时间，并且可能由于传输线路的问题，不能将画面完整无误的传输到服务器。服务器需要处理由成百上千个远程监控器传来的数据，其中往往有大量的冗余信息，而服务器没有能力识别出有用的和无用的信息，也无法对传来的待检测数据设定处理优先级。无人机自动巡视的缺点是不适用于长距离的巡视工作，需要人来为其更换电池和拷贝数据。

本发明旨在基于边缘计算利用改进的SSD目标检测模型进行电力领域开放场景下异常事件的识别与预警。通过在边缘进行识别与预警，中央控制系统与数据采集终端之间的通信宽带得以减少。由于检测场景比较大，异常物体所占画面比例往往比较小，另外考虑到场景的多变性，本发明在原来的SSD目标检测模型上进行了针对性的改进，使其对小物体的检测依然有着较高的准确率，并对不同的场景有较强的泛化能力。

中国专利文献CN109165575A针对高铁监控视频背景复杂，噪声多，画面易曝光等问题，研究一种基于图像深度学习SSD框架的烟火识别算法，其中检测模型训练网络为重构后的VGG16网络，重构后的检测模型训练网络在VGG16的基础上增加了6个卷积层和1个池化层。

中国专利文献CN109034033A本发明属于目标检测技术领域，具体涉及一种基于改进VGG16卷积网络的排烟视频检测方法，步骤如下：步骤1：生成烟囱排放图像数据集；步骤2，将训练集送入到改进VGG16卷积网络中进行训练，得到多个权重模型。所述的改进VGG16卷积网络的主网络结构是VGG16，最后两个全连接层改成两层卷积层，用于多尺度提取烟囱图像特征，再连接全局均值池化层，生成的矩阵用于结果输出，最后输入到损失函数中进行分类，构造完整的网络结构。

相比于上述对比文献及现有技术，本发明主要应用于电力领域开放场景下，针对不同的天气状况采用多种图像增强方法来对数据进行处理，研究一种基于SSD框架的异常事件的智能检测算法，其中检测模型的训练网络为改进之后VGG16网络。改进后的检测模型的训练网络将VGG16网络的Conv4_x特征层和Conv5_x特征层相融合，再将融合之后的特征曾直接作用于最后的预测层，以此提高小目标检测的准确率。

发明内容

本发明公开基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法。

发明概述：

本发明将改进的SSD目标检测模型压缩并移植到移动端，充分发挥边缘计算的优势，通过实验，本发明将安卓端作为一个优选方案；本发明将VGG16网络中的Conv4_x特征层和Conv5_x特征层相融合，再将融合之后的特征层直接作用到最后的预测层，以此来提高小目标检测的准确率；同时，本发明总结出多种基本的天气情况：晴天、阴天、雨天、雾天等，并使用图像增强技术来增加不同场景下的训练数据，以此提高模型的泛化能力。

本发明的技术方案如下：

一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法，其特征在于，包括以下步骤：

S1：对不同场景下的训练数据进行图像增强处理，使用标注工具对训练数据进行标注，得到.xml文件；

S2：使用VGG16网络作为基础网络，对原始图片进行特征提取，并将VGG16网络中的Conv4_x特征层和Conv5_x特征层进行特征融合，并将融合之后的特征作用到最后的模型的预测层；

S3：在基础网络后添加不同的网络层，然后在这些网络层上预测目标，以及其归属类别的得分，同时，在特征层上使用小的卷积核，用于回归一系列边界框的准确位置；

S4：针对在同一目标位置上产生的大量边界框，使用非极大值抑制找到最佳的目标边界框，消除冗余的边界框，并训练模型；

S5：在移动端应用训练好的模型，进行异常事件的智能识别与预警。优选的，所述移动端为安卓端。

根据本发明优选的，所述步骤S1中图像增强的方法为：

S11：对原始图片设置不同的亮度和/或对比度，并进行高斯模糊处理，来模拟不同的场景；

S12：使用标注工具对经过步骤S11处理之后的图片进行标注，

S13：对每一张经过步骤S11处理之后的图片，随机地进行如下操作：

1)使用原始的图片；

2)按采样规则采样一块区域，采样规则为：随机在与物体之间最小的交并比0到1之间选择区域；

3)随机地采样一块区域；

S14：采样的区域是原始图像大小比例的[0.1，1]，高宽比在0.5到2之间；当标注框的中心在采样的区域中时，保留重叠部分；

S15：在采样步骤之后，每个采样的区域被调整到固定的大小，并且以0.5的概率随机的水平翻转。

根据本发明优选的，所述步骤S2中，对原始图片进行特征提取包括：

S21：进行图像采集，再将采集到的图像送入VGG16网络，依次经过5层卷积层和池化层以及2层全连接层，提取到图像的特征；

S22：将Conv4_x特征层和Conv5_x特征层融合在一起，将融合后的特征直接作用到最后的预测层，即指将融合之后的特征作为最后的预测层的一部分输入。

根据本发明优选的，所述Conv4_x特征层和Conv5_x特征层融合方式为向量拼接方式或对应元素相加方式。

所述步骤S3中确定边界框准确位置的方法包括：

S31：将经过步骤S2提取到图片特征层切分成8×8或者4×4的网格；

S32：为所述特征层上的每一个网格生成一系列固定大小的边界框，每个边界框包括至少5个预测参数：x、y、w、h、conf，其中所述(x，y)表示边界框相对于网格的中心坐标，所述(w，h)表示相对于整个图像预测的宽度和高度，所述conf表示边界框与任何一个标注框的IOU值；

S33：在每一个特征层上，使用一系列卷积核去产生一系列固定大小的预测值。

根据本发明优选的，在步骤S33中，对于一个m×n且有p通道的特征层，使用的卷积核的大小是3×3×p。

根据本发明优选的，所述预测值是归属类别的一个置信度得分或边界框的位置偏移值。

根据本发明优选的，所述步骤S4使用非极大值抑制找到最佳的目标边界框的方法包括：

S41：将每一个边界框与所有标注框配对：当两者之间的交并比大于一个阈值时，则将其组成一个样本；优选的，所述阈值设定在0.5到0.9之间；

S42：将原始图像中每一个物体位置上对应预测结果是负样本的边界框按照置信度从大到小进行排序并选择多个正、负样本，使其正、负样本数量之比在1:3左右；

S43：用表示第i个边界框与类别k的第j个标注框相匹配；否则，不匹配，

S44：总的目标损失函数就由位置损失(loc)和置信度损失(conf)加权求和得到：

上述公式中，x表示边界框与标注框是否匹配，若匹配，则x＝1，否则x＝0，c表示边界框的归属类别得分，l表示边界框，g表示标注框，N是匹配的边界框的数量，如果N＝0，就设目标函数损失值为0；位置损失(loc)是经过S33步骤后的边界框(l)和标注框(g)的参数之间的smooth_L1损失；

上述公式中，d表示经过S32步骤但还没经过S33步骤的边界框。(cx,cy)表示d的中心坐标，(w,h)表示d的宽度和长度，表示经过log处理后的标注框。

置信度损失(conf)由多个类的置信度做softmax操作得到：

上述公式中，表示第i个边界框属于第k个类别的归属类别得分，表示进行softmax处理后的

S45：通过迭代训练直到模型收敛，保存特征层的权重参数。

根据本发明优选的，所述步骤S5在安卓端应用模型进行异常事件的智能识别与预警的过程包括：

S51：利用安卓设备的高清摄像头获取原始图像，将图像的亮度、对比读调节到合适的数值，并对图像进行去噪、增强处理；

S52：将图像输入模型中，利用训练好的VGG16网络的提取到图像的特征；

S53：在提取到的图片特征层上生成一系列边界框,并通过训练好的SSD网络将所有边界框回归到正确的位置，并预测每一个边界框的正确分类；每个边界框的置信度得分由每个网格的分类信息Pr(Class_i|Object)和边界框中的分类置信度信息相乘得到，即：

S54：利用非极大值抑制去除冗余的边界框，并在原始图像上显示检测结果；如果检测到了异常，则触发警报。

本发明的有益效果

本发明通过压缩模型并将模型移植到移动端，使得模型可以在前端自主的进行异常的智能识别与预警，充分发挥了边缘计算的优势，节省了数据传输的时间和后端服务器的计算资源。本发明通过融合VGG16网络中的图片特征层，使得模型能充分利用小目标的周边信息，从而提高了小目标检测的准确率。同时，本发明在图片特征层上使用一系列小的卷积核去回归边界框的准确位置，使得检测速度进一步提高。另外，本发明使用非极大值抑制方法消除冗余的边界框，使检测结果更加简洁。最后，本发明通过数据增强技术，调节图片不同的亮度、对比度以及采用高斯模糊处理方法，模拟不同场景下的图片效果，增强了模型的泛化能力。

附图说明

图1是本发明模型框架流程图；

图2是本发明Conv4_x和Conv5_x融合方式为向量拼接方式的框架流程图；

图3是本发明Conv4_x和Conv5_x融合方式为对应元素相加方式的框架流程图；

图4是本发明应用例1的示意图；

图5是本发明应用例2的示意图；

图6是本发明应用例3的示意图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例、

一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法，其特征在于，包括以下步骤：

S1：对不同场景下的训练数据进行图像增强处理，使用标注工具对训练数据进行标注，得到.xml文件；此处标注是指对每一张训练图片，人为确定图片里的待检测目标(比如吊车、施工机械、塔吊等)的位置，再使用标注工具将这些目标分别用一个一个的矩形框框起来，并为每个矩形框设定一个属性值，表明这个矩形框里的目标属于哪一种类别。由此，在后续S4步骤中训练模型的时候，模型就能识别哪张图片里的哪个位置具有哪种类别的目标，按此原理训练模型；

S2：使用VGG16网络作为基础网络，对原始图片进行特征提取，并将VGG16网络中的Conv4_x特征层和Conv5_x特征层进行特征融合，并将融合之后的特征作用到最后的模型的预测层；此步骤使得S2、S3、S4步骤后训练得到的模型能充分利用小目标的周边信息；

S3：在基础网络后添加不同的网络层，然后在这些网络层上预测目标，以及其归属类别的得分，同时，在特征层上使用小的卷积核，用于回归一系列边界框的准确位置；所述归属类别是指提前设定好的那四种类别：1)正常情况；2)吊车；3)施工机械；4)塔吊；比如预测某个目标归属吊车类别的得分是0.7，则表示模型认为这个目标是吊车的概率为70％；

S4：针对在同一目标位置上产生的大量边界框，使用非极大值抑制找到最佳的目标边界框，消除冗余的边界框，并训练模型；此处所述目标位置是原始采集图片经过S1步骤处理之后的图片上的目标区域；

S5：在移动端应用训练好的模型，进行异常事件的智能识别与预警。优选的，所述移动端为安卓端。

所述步骤S1中图像增强的方法为：

S11：对原始图片设置不同的亮度和/或对比度，并进行高斯模糊处理，来模拟不同的场景；

S12：使用标注工具对经过步骤S11处理之后的图片进行标注，本发明中目前使用5个分类：1)正常情况；2)吊车；3)施工机械；4)塔吊；

S13：对每一张经过步骤S11处理之后的图片，随机地进行如下操作：

1)使用原始的图片；

2)按采样规则采样一块区域，采样规则为：随机在与物体之间最小的交并比0到1之间选择区域；

3)随机地采样一块区域；

S14：采样的区域是原始图像大小比例的[0.1，1]，高宽比在0.5到2之间；当标注框的中心在采样的区域中时，保留重叠部分；

S15：在采样步骤之后，每个采样的区域被调整到固定的大小，并且以0.5的概率随机的水平翻转。

所述步骤S2中，对原始图片进行特征提取包括：

S21：进行图像采集，再将采集到的图像送入VGG16网络，依次经过5层卷积层和池化层以及2层全连接层，提取到图像的特征；

S22：将Conv4_x特征层和Conv5_x特征层融合在一起，将融合后的特征直接作用到最后的预测层，即指将融合之后的特征作为最后的预测层的一部分输入。

所述Conv4_x特征层和Conv5_x特征层融合方式为向量拼接方式或对应元素相加方式。如图2、3所示。

所述步骤S3中确定边界框准确位置的方法包括：

S31：将经过步骤S2提取到图片特征层切分成8×8或者4×4的网格；

S32：为所述特征层上的每一个网格生成一系列固定大小的边界框，每个边界框包括至少5个预测参数：x、y、w、h、conf，其中所述(x，y)表示边界框相对于网格的中心坐标，所述(w，h)表示相对于整个图像预测的宽度和高度，所述conf表示边界框与任何一个标注框的IOU值；

S33：在每一个特征层上，使用一系列卷积核去产生一系列固定大小的预测值。本作用是计算出S32步骤中生成的边界框的参数，即x、y、w、h、conf，也就是将边界框移动到合适的位置，并计算出边界框的归属类别得分。其最突出的优点是速度快。

在步骤S33中，对于一个m×n且有p通道的特征层，使用的卷积核的大小是3×3×p。

所述预测值是归属类别的一个置信度得分或边界框的位置偏移值。

所述步骤S4使用非极大值抑制找到最佳的目标边界框的方法包括：

S41：将每一个边界框与所有标注框配对：当两者之间的交并比大于一个阈值时，则将其组成一个样本；优选的，所述阈值设定在0.5到0.9之间；

S42：将原始图像中每一个物体位置上对应预测结果是负样本的边界框按照置信度从大到小进行排序并选择多个正、负样本，然后选择置信度最大的多个，使其正、负样本数量之比在1:3左右；其中，由步骤S32生成一系列的边界框，再由步骤S33将这些边界框移动到合适的位置，并计算出它们各自的归属类别得分；最后，这些边界框就是预测结果。负样本的定义：将经过S33步骤之后的边界框与标注框相比，如果两者之间的交并比大于0.5，则认为这个边界框是正样本，否则是负样本；

S43：用表示第i个边界框与类别k的第j个标注框相匹配；否则，不匹配，

S44：总的目标损失函数就由位置损失(loc)和置信度损失(conf)加权求和得到：

上述公式中，x表示边界框与标注框是否匹配，若匹配，则x＝1，否则x＝0，c表示边界框的归属类别得分，l表示边界框，g表示标注框，N是匹配的边界框的数量，如果N＝0，就设目标函数损失值为0；位置损失(loc)是经过S33步骤后的边界框(l)和标注框(g)的参数之间的smooth_L1损失；

上述公式中，d表示经过S32步骤但还没经过S33步骤的边界框。(cx,cy)表示d的中心坐标，(w,h)表示d的宽度和长度，表示经过log处理后的标注框。

置信度损失(conf)由多个类的置信度做softmax操作得到：

上述公式中，表示第i个边界框属于第k个类别的归属类别得分，表示进行softmax处理后的

权重系数可以通过交叉验证确定合适的取值，一般在0到1之间；

S45：通过迭代训练直到模型收敛，保存特征层的权重参数。即可用于前端设备模型的检测。

所述步骤S5在安卓端应用模型进行异常事件的智能识别与预警的过程包括：

S51：利用安卓设备的高清摄像头获取原始图像，将图像的亮度、对比读调节到合适的数值，并对图像进行去噪、增强处理,以提高图片质量，进一步提升检测效果；

S52：将图像输入模型中，利用训练好的VGG16网络的提取到图像的特征；

S53：在提取到的图片特征层上生成一系列边界框,并通过训练好的SSD网络将所有边界框回归到正确的位置，并预测每一个边界框的正确分类；每个边界框的置信度得分由每个网格的分类信息Pr(Class_i|Object)和边界框中的分类置信度信息相乘得到，即：

S54：利用非极大值抑制去除冗余的边界框，并在原始图像上显示检测结果；如果检测到了异常，比如检测到有吊车、施工机械、塔吊等，则触发警报。

应用例1、

本发明所述识别和预警方法的具体应用例如下，如附图4所示。

通过融合特征提取层，使模型能充分利用小目标周围的信息，从而提高了小目标的校测效果，如图4中方框所示。

应用例2、

本发明所述识别和预警方法的具体应用例如下，如附图5所示。

通过图片增强技术，模型在雾天或者雨天场景下依然能达到不错检测效果。

应用例3、

本发明所述识别和预警方法的具体应用例如下，如附图6所示。

通过图片增强技术，模型能在光线较暗的情况下准确检测出异常目标。