基于生成对抗网络的无人机采集图像输电线路信息提取方法

摘要

基于生成对抗网络的无人机采集图像输电线路信息提取方法，涉及一种输电线路信息提取技术，为了解决现有的图像输电线路信息通过人工或半人工的线路缺陷进行识别，识别效率差的问题。本发明通过将原始图像进行预处理，生成预处理图像；将生成的预处理图像进行分类标注，生成标签图像；选取多张原始图像以及配对的标签图像，形成训练集；构建生成对抗网络集成学习模型；将形成的训练集输入至生成对抗网络集成学习模型中，并结合输电线路的真实应用数据，得到固化后的生成对抗网络集成学习模型；将待提取信息的无人机采集图像输入至固化后的生成对抗网络集成学习模型中提取出待提取信息的无人机采集图像中的输电线路信息。有益效果为识别效率高。

说明书

技术领域

本发明涉及一种输电线路信息提取技术。

背景技术

输电线路作为一种重要的电网基础设施，在电力输送的过程中扮演着重要的角色；随着高分辨率无人机拍摄技术大量投入使用，远程航拍已成为常规的巡线手段，但如何快速、准确地从航拍图像中提取输电线路及杆塔信息引起了关注；在输电线路缺陷识别方法上，目前大部分情况仍采用人工手段，通过肉眼直接观看图像进行判断，或者采用的是半自动提取方法，即简单的图像识别加人工判断；然而由于存在海量的航拍图像数据和复杂的图像信息，这种人工或半人工的线路缺陷识别过程不但效率低下、不及时和不准确，而且会导致决策延误，线路缺陷修复不及时导致缺陷扩大，容易造成电网事故。

发明内容

本发明的目的是为了解决现有的图像输电线路信息通过人工或半人工的线路缺陷进行识别，识别效率差的问题，提出了基于生成对抗网络的无人机采集图像输电线路信息提取方法。

本发明所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法包括以下步骤：

步骤一、将原始图像进行预处理，生成预处理图像；

步骤二、将步骤一中生成的预处理图像进行分类标注，生成标签图像；

步骤三、选取多张原始图像以及与其对应的标签图像进行配对，形成训练集；

步骤四、构建生成对抗网络集成学习模型；

步骤五、将步骤三中形成的训练集输入至步骤四构建的生成对抗网络集成学习模型中，并结合输电线路的真实应用数据，对步骤二构建生成对抗网络集成学习模型的参数进行固化，得到固化后的生成对抗网络集成学习模型；

步骤六、将待提取信息的无人机采集图像输入至步骤五固化后的生成对抗网络集成学习模型中进行图像识别，提取出待提取信息的无人机采集图像中的输电线路信息。

进一步的，步骤一中生成预处理图像的包括：对原始图像进行俯仰调整、翻滚操作或偏航模式图像校正。

进一步的，步骤二中生成的标签图像为在预处理图像上标注出杆塔区域、天空区域、树林区域、河流区域和空地区域。

进一步的，步骤四中生成对抗网络集成学习模型的构建过程包括

步骤四一、在PyTorch平台上，采用残差网络搭建多个生成器；

步骤四二、在步骤四一搭建的多个生成器间引入协同工作机制，允许多个生成器进行信息交流；

步骤四三、将标签图像中的噪声作为多个生成器的输入，并将多个生成器的输出进行特征图融合，生成最终图像；

步骤四四、将步骤四三生成的最终图像，输入到判别网络中，完成生成对抗网络集成学习模型的构建。

进一步的，步骤五中得到固化后的生成对抗网络集成学习模型的具体方法为：

步骤五一、在判别网络中输入输电线路的真实应用数据，用于与步骤四三生成的最终图像做对比，判别网络输出的是判别误差；

步骤五二、在步骤五一中输出的将判别误差被传回到步骤四一中搭建的多个生成器中，以更新多个生成器的参数，完成对步骤四中构建的生成对抗网络集成学习模型参数的固化。

进一步的，步骤四一中残差网络是由残差块构成；

所述残差块包括重量层一、重量层二和加法器；

将输入x作为重量层一的输入，经过重量层一后输出F(x)；其中，F(x)表示x经过2层的加权和激活函数得到的输出；

重量层一的输出F(x)再输入至重量层二，经过重量层二后输出F(x)+x；

输出F(x)+x作为加法器的一个输入，输入x经过标签函数以后作为加法器的另一个输入。

进一步的，步骤四四中的判别网络包括卷积层一、卷积层二、卷积层三、卷积层四、全连接层一和全连接层二；

其中，卷积层一设有64个卷积核，卷积层二设有128个卷积核，卷积层三设有256个卷积核，卷积层四设有512个卷积核、全连接层一设有1024个输出维度，全连接层二设有1个输出维度。

本发明的有益效果是：该信息提取方法引入了具有集成学习思想的多生成器生成生成对抗网络模型，包含多个生成网络，每个生成网络均采用残差网络进行搭建，并在生成网络间引入协同工作机制，允许多个生成网络进行信息交流，加速网络学习，最后将多个生成网络的特征图进行融合作为最终图像，输入到判别网络中；所述固化后的生成对抗网络集成学习模型识别效率高，对利用高分辨率无人机图像提取输电线路信息具有较好的识别作用。

附图说明

图1为具体实施方式一所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法流程图；

图2为具体实施方式四中生成对抗网络集成学习模型的结构示意图；

图3为具体实施方式六中残差块的结构示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法包括以下步骤：

步骤一、将原始图像进行预处理，生成预处理图像；

步骤二、将步骤一中生成的预处理图像进行分类标注，生成标签图像；

步骤三、选取多张原始图像以及与其对应的标签图像进行配对，形成训练集；

步骤四、构建生成对抗网络集成学习模型；

步骤五、将步骤三中形成的训练集输入至步骤四构建的生成对抗网络集成学习模型中，并结合输电线路的真实应用数据，对步骤二构建生成对抗网络集成学习模型的参数进行固化，得到固化后的生成对抗网络集成学习模型；

步骤六、将待提取信息的无人机采集图像输入至步骤五固化后的生成对抗网络集成学习模型中进行图像识别，提取出待提取信息的无人机采集图像中的输电线路信息。

在本实施方式中，步骤三选取5000张原始图像以及与其对应的标签图像进行配对；在步骤五中随着训练迭代次数的增加，真实应用数据与标签图像的差异损失值越来越小，整个生成对抗网络集成学习模型处于收敛状态，此时将生成对抗网络集成学习模型参数固化。

具体实施方式二：本实施方式是对具体实施方式一所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法进一步限定，在本实施方式中，步骤一中生成预处理图像的包括：对原始图像进行俯仰调整、翻滚操作或偏航模式图像校正。

具体实施方式三：本实施方式是对具体实施方式一所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法进一步限定，在本实施方式中，步骤二中生成的标签图像为在预处理图像上标注出杆塔区域、天空区域、树林区域、河流区域和空地区域。

具体实施方式四：结合图2说明本实施方式，本实施方式是对具体实施方式一所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法进一步限定，在本实施方式中，步骤四中生成对抗网络集成学习模型的构建过程包括

步骤四一、在PyTorch平台上，采用残差网络搭建多个生成器；

步骤四二、在步骤四一搭建的多个生成器间引入协同工作机制，允许多个生成器进行信息交流；

步骤四三、将标签图像中的噪声作为多个生成器的输入，并将多个生成器的输出进行特征图融合，生成最终图像；

步骤四四、将步骤四三生成的最终图像，输入到判别网络中，完成生成对抗网络集成学习模型的构建。

在本实施方式中，本实施方式所述的生成对抗网络集成学习模型，提出一种具有集成学习思想的多生成器生成生成对抗网络模型，每个生成器中包含前部、中部和后部3个部分；整个生成器共9层，其中前部包含3个卷积层，中部为3个残差网络模块，后部对应2个转置卷积以及1个卷积层；由于各生成器具有相同的目标，不存在影响强弱之分，因此模型中的生成器采用并列排列；在步骤四三中标签图像中的噪声是指预处理图像上标注出的天空区域、树林区域、河流区域和空地区域。

无人机航拍采集的输电线路图像大体相似，但不同的电力杆塔图像特征间存在差异，例如直线塔与耐张塔，酒杯型与猫头型等，以及照片背景间明暗的不同。在搭建生成网络时，各生成器秉承大体相同细节不同的方法，即对各生成器设置成相同的卷积层数，不同的卷积核大小以及卷积步长。这种设置方式促使了每个生成器获取不同的图像信息，进一步保证了各生成器之间生成图像的差异。

同时由于图像特征间相似性的存在，本实施方式进一步引入了可让多生成器进行交流的学习方式，称为生成器间的协同工作；这一学习方式可加速网络拟合真实数据特征从而减少训练中易出现的问题；该协同工作机制主要包含各生成器的参数共享以及特征图融合两部分：由于同一数据集中图像的低维特征往往是相似的，采用参数共享不仅可减少参数量，还可缩短网络的训练时间；关于特征图融合，本实施方式采用加权融合的方法将多张特征图融合为一张图像，根据各生成器的性能赋予不同的权重，加权得到最终的特征图；该协同工作的模型组织方式有效地规避了单生成器学习能力有限的弊端，通过融合各生成器生成的图像，极大地提升了特征图含有的信息量。

集成生成网络系统的损失由两部分组成：原始GAN的生成对抗损失以及各生成器的协同工作损失，其损失函数如公式(1)所示；

G

式中，P

具体实施方式五：本实施方式是对具体实施方式四所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法进一步限定，在本实施方式中，步骤五中得到固化后的生成对抗网络集成学习模型的具体方法为：

步骤五一、在判别网络中输入输电线路的真实应用数据，用于与步骤四三生成的最终图像做对比，判别网络输出的是判别误差；

步骤五二、在步骤五一中输出的将判别误差被传回到步骤四一中搭建的多个生成器中，以更新多个生成器的参数，完成对步骤四中构建的生成对抗网络集成学习模型参数的固化。

具体实施方式六：结合图3说明本实施方式，本实施方式是对具体实施方式四所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法进一步限定，在本实施方式中，步骤四一中残差网络是由残差块构成；

所述残差块包括重量层一、重量层二和加法器；

将输入x作为重量层一的输入，经过重量层一后输出F(x)；其中，F(x)表示x经过2层的加权和激活函数得到的输出；

重量层一的输出F(x)再输入至重量层二，经过重量层二后输出F(x)+x；

输出F(x)+x作为加法器的一个输入，输入x经过标签函数以后作为加法器的另一个输入。

在本实施方式中，x为输入，F(x)表示x经过2层的加权和激活函数得到的输出，即

F(x)＝W

式中，W

具体实施方式七：本实施方式是对具体实施方式四所述的基于生成对抗网络的无人机采集图像输电线路信息提取方法进一步限定，在本实施方式中，步骤四四中的判别网络包括卷积层一、卷积层二、卷积层三、卷积层四、全连接层一和全连接层二；

其中，卷积层一设有64个卷积核，卷积层二设有128个卷积核，卷积层三设有256个卷积核，卷积层四设有512个卷积核、全连接层一设有1024个输出维度，全连接层二设有1个输出维度。

在本实施方式中，卷积层一、卷积层二、卷积层三、卷积层四、全连接层一和全连接层二采用卷积串联的方式连接。