基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法

摘要

本发明公开了一种基于AA‑gate‑Unet的海上风电塔筒涂层缺陷检测方法，包括：接收系统传达的海上风电塔筒涂层缺陷检测请求，获取所述请求对应的风电塔筒涂层无人机检测视频信息；提取视频信息中的塔筒涂层图像关键帧；将塔筒涂层图像关键帧的图像上传至系统云端；将上传系统云端的所述海上风电塔筒涂层检测图像关键帧的图像，采用基于HMM和基于Winters三参数指数平滑的预测算法进行预测，获得海上风电塔筒涂层缺陷的检测结果；在海上风电塔筒涂层检测结果为异常状态时，将所述海上风电塔筒缺陷涂层图像上传至系统，并进行相应的海上风电塔筒涂层维护工作。本发明利用无人机平台采集海上风机塔筒图像，利用改进型深度学习模型AA‑gate‑Unet进行塔筒缺陷的分割；通过准确分割后，可以计算出各种缺陷的面积值数据，从而实现对风机后期维护的精准预算与现场检测。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法。

背景技术

风能作为一种清洁可再生能源，越来越受到世界各国的重视。可以预见，以风能为代表的清洁可再生能源也必将在应对气候变化、推动能源转型方面发挥更为显著和积极的作用。作为一种清洁的可再生能源的发电方式，风能对于低碳节能、保护大气环境具有重要意义。

与陆地风力发电相比，海上风力发电具有突出的特点，海上风电由于其资源丰富、风速稳定、开发利益相关方较少、不与其他发展项目争地、可以大规模开发等优势，一直受到风电开发商关注。从欧洲的先行者经验看来，海上风电行业经历了20多年的发展,逐步从一个区域性的能源行业发展成全球性的一个行业。

我国海上风能资源丰富，具备大规模发展海上风电的资源条件。根据中国气象局风能资源详查初步成果，我国5～25米水深线以内近海区域、海平面以上50米高度风电可装机容量约2亿千瓦。水深在5～50m区域、70m高度上的可开发海上风电容量更是高达5亿kW。风能的开发的规模不断增加，对工作在户外复杂环境下的风电机组进行日常监护需求量也随之增加。增加人工巡检的工作强度及工作时间成为应急方法。而海上环境复杂、气候潮湿，风电塔筒表面涂层相比于其他地区的风电机组更容易出现损坏情况，这些都使得人工巡检工作难度增加以及实际巡检效率降低，风电机组的工作状态很难得到及时全面的反馈。而机组检测机构与监测标准缺乏公正性，因此需要一种技术方案以用于代替人工巡检以及为基于数据驱动的机组监测提供校验。

无人机视觉获取数据中存在许多可以挖掘的信息，从中获取风电机组的运行状态，将风场巡检过程变得更加自动化、智能化，更好地代替人工巡检从而极大提升巡检的效率，也为风场数据监测中心提供来自视觉维度的信息校验，增加了对风电机组状态监测的可靠性。

本产品使用了云计算技术，相比于传统计算技术存储容量小的问题，云计算技术能够做到无限存储，也能够降低计算机和软件的成本，同时在提高数据可靠性和改进文档格式的兼容性方面也有极大提升。

发明内容

本发明的主要目的在于提供一种基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法及装置，旨在解决现有技术中海上风电塔筒涂层缺陷检测方法成本高、效率低、灵活性差等技术问题。

为实现上述目的，本申请提供一种海上风电塔筒涂层缺陷检测方法，包括如下步骤：

S1、接收系统传达的海上风电塔筒涂层缺陷检测请求，获取所述海上风电塔筒涂层缺陷检测请求对应的风电塔筒涂层无人机检测的视频信息；

S2、通过深度学习神经网络模型AA-gate-Unet提取所述风电塔筒涂层无人机检测的视频信息中的塔筒涂层图像关键帧；

S3、将所述塔筒涂层图像关键帧的图像上传至系统云端；

S4、将上传至系统云端的所述塔筒涂层图像关键帧的图像，采用基于HMM和基于Winters三参数指数平滑的预测算法进行预测，获得海上风电塔筒涂层缺陷的检测结果；

S5、将所述海上风电塔筒涂层缺陷的检测结果划分为两个状态：正常状态和异常状态；根据无人机摄像头识别所述海上风电塔筒涂层检测关键帧图像的处理结果将不同的异常状态具体划分为：状态1：定义为海上风电塔筒涂层出现裂缝情况；状态2：定义为海上风电塔筒涂层出现剥落情况；状态3：定义为海上风电塔筒涂层出现腐蚀情况；

S6、当所述海上风电塔筒涂层缺陷的检测结果为异常状态时，将对应的海上风电塔筒缺陷涂层图像上传至系统，并进行相应的海上风电塔筒涂层维护工作。

进一步的，步骤S2中提取过程具体包括：

(1)提取模型：采用双边滤波器，其数学模型为：

空间距离函数：

灰度变化函数：

其中(x

(2)自适应阈值：根据图像具体的特点变化T值，通过下式表示其具体过程：

其中，g(x,y)表示图像中位置为(x,y)的像素值；

(3)采用霍夫直线检测算法，检测所建立的图像数据集中图像中风机轮廓的双边，并以此提取感兴趣区域。

进一步的，步骤S2中所述的深度学习神经网络模型AA-gate-Unet呈U形结构，在上采样与下采样之间建立特征图的切割与传送。

进一步的，步骤S2中所述的深度学习神经网络模型AA-gate-Unet包括左侧收缩路径和右侧扩散路径；左侧收缩路径包括若干卷积层与池化层叠加，收缩路径重复使用若干个卷积核，卷积后采用ReLU作为激活函数保证能够提取非线性特征。

进一步的，步骤S2中所述的深度学习神经网络模型AA-gate-Unet中的AA模块包括：

(1)通过对输入大小为(w,h,c

(2)再从深度通道上对QKV矩阵进行分割，得到Query、Key、Value三个矩阵其深度通道大小分别为d

(3)采用了多头注意力机制的结构，将Query、Key、Value三个矩阵分别从深度通道上分割为N个相等的矩阵进行后续的计算，使得模型在不同的子空间内学习特征信息；

(4)使用Flat_Q、Flat_K两矩阵进行矩阵乘法运算，计算出权重矩阵，且在此基础上添加了相对位置嵌入的计算，通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息，防止特征位置的变换而降低模型的最终效果。

进一步的，步骤S2中所述的深度学习神经网络模型AA-gate-Unet中的gate模块是通过在神经网络模型Unet的下采样中加入attention增强卷积模块，在Unet右层上采样路径中加入Attentiongate对融合特征进行权重加权。

进一步的，步骤S4中通过采用隐式马尔科夫链对缺陷分类种类进行提前预测。

进一步的，步骤S4中缺陷分类种类作为待预测值，将其设为HMM的隐藏链，GPS高度差、指北仪偏转角度变化通过不断计算进行收集，记为HMM的观测链，并对图像的观测数据进行设置。

进一步的，步骤S4中选用CHMM进行分割种类预测。

进一步的，所述步骤S4后还包括：

在预知下一张图片的分割种类序列时，对其网络最后的1×1卷积层中的激活函数softmax中的类被参数进行实时更新，则有：

其中i表示分割索引类别，C表示总的类别个数，Si表示当前元素的指数与所有元素指数的比值，Vi表示模型前级输出单元的输出，通过对分割种类的预测，对C值进行实时输入。

本发明还公开了一种基于AA-gate-Unet的海上风电塔筒涂层缺陷检测的装置，包括：

请求接收模块，用于接收海上风电塔筒涂层缺陷检测请求，获取所述海上风电塔筒涂层缺陷检测请求对应的所述风电塔筒涂层无人机检测视频信息；

视频提取模块，用于提取所述海上风电塔筒涂层缺陷监控视频信息中的涂层缺陷图像关键帧；

涂层检测模块，用于对缺陷涂层关键帧图像检测的处理结果获得所述海上风电塔筒涂层缺陷检测结果；

塔筒识别模块，用于提取所述海上风电塔筒涂层缺陷图片信息并通过识别出的塔筒信息确定所述海上风电塔的位置信息。

有益效果：本发明的有益效果如下：

(1)使用无人机采集风机塔筒表面图像，通过图像分析手段确定每一台风机塔筒上所含有的表面缺陷种类，以及自动统计缺陷的面积，提高了图像采集效率；

(2)针对海上风机场的环境特征，分析无人机的主要结构以及飞行控制特点，为风电塔筒专门制定一套风机塔筒视频采集方案；针对无人机采集到的视频，通过风机塔筒建模对无人机采集到的视频帧进行筛选，针对图像中的成像特点设计预处理算法，对图像中塔筒感兴趣区域进一步提取；

(3)仔细分析了图像中复杂的成像特点，提出了新型AA-gate-Unet模型进行图像分割，将不同种类的缺陷分割，并且在新型网络模型中针对本次课题中图像特点设计更加合理的损失函数；

(4)针对分割结果结合采集图片时无人机的硬件参数，利用马尔可夫链理论预测分割结果序列，根据预测的分割结果序列改变模型中固有参数，提高准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种神经网络AA–gate-Unet结构示意图；

图2是本发明实施例提供的一种AA结构示意图；

图3是本发明实施例提供的一种gate结构示意图；

图4是本发明实施例提供的一种HMM预测算法示意图；

图5是本发明实施例提供的一种隐马尔可夫链状态转移示意图；

图6是本发明实施例提供的一种隐马尔科夫预测概率结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

目前风机的巡检一般由人工进行航拍，肉眼识别缺陷种类，在海上风机规模越来越大的情况下这种利用人工的方式很显然不符合实际。深度学习是近年来计算机硬件算力不断提升所带来的产物，其算法的滤棒性鲁棒性远超传统算法。利用深度学习中的模型实现图像的精准自动处理是当前技术发展的必然趋势。本发明就是基于深度学习模型，将图像分割的模型运用到海面风机塔筒表面缺陷检测中，取代现有的人工检测方法，提供一套精确的、高效的、稳定的风机塔筒表面缺陷检测算法，并在实际应用中验证了该算法符合实际生产的检测需求。

本发明的基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法，包括如下步骤：

S1、通过无人机对海上风电塔筒进行视频采集，对视频帧进行筛选建立单座风机塔筒图片数据库，提取风机塔筒区域，具体包括：

对无人机飞行控制策略进行研究，设计出一套能够采集一座完整风机塔筒视频。并且针对塔筒进行数学建模，利用无人机上GPS、与指北针等传感器信息构建数据库索引信息，对视频帧进行筛选建立单座风机塔筒图片数据库，解决数据冗余的问题。并且针对图像成像特点设计一套预处理算法，能够准确的提取风机塔筒区域。提出通过GPS传感器的实时高度以及螺旋仪的偏转角度，建立类字典的键-值数据结构，通过实时高度、角度对应实时视频帧的方法，对拍摄重复区域视频帧进行筛选。

S2、通过深度学习神经网络模型AA-gate-Unet对风机塔筒区域图像进行缺陷检测提取，具体包括：

(1)提取模型：双边滤波器。双边滤波器与高斯滤波器相比，对于图像中边缘信息的保留更加出色。双边滤波器的数学原理主要是利用一个高斯函数代表灰度变化关系与一个高斯函数代表空间关系距离相乘。其主要数学模型为：

空间距离函数：

灰度变化函数：

其中(x

(2)自适应阈值：即经验值不固定，根据图像具体的特点变化T值。生成T的方式有很多，可以根据局部区域内像素的灰度、梯度、形态等形式确定，可以使用T(x,y)。自适应阈值可以使用下式表示其具体过程：

其中，g(x,y)表示图像中位置为(x,y)的像素值。

无人机采集视频时飞行迎角不断随着机身姿态改变，其照相机拍摄时与太阳的相对位置也一直改变，所以在不同时刻图像中自然光的分布有着极大的差异。相比阈值二值化，自适应二值化根据块区域像素值特征选取区域阈值，对这种差异较大的图片更具有鲁棒性。这里进过多次尝试，区域为大小为100×100的矩形时，采用区域像素灰度均值，自适应二值化有最好的效果。

(3)本发明采用霍夫直线检测算法，检测所建立的图像数据集中图像中风机轮廓的双边，并以此提取感兴趣区域。

霍夫直线检测原理是：在直角坐标系中，一般采用两个变量表示二维空间中的一条直线，其方程为：

y＝kx+b

其中k，b的取值可以从负无穷到正无穷，在计算机中很难通过程序语言表示其准确取值范围，通过穷举的方式确定二维空间内的直线就更加难以实现。在霍夫直线检测中，将二维直角坐标系转化为二维极坐标，直线可由方程：

r＝x cosθ+y sinθ

表示，其中r为直线到极点的垂直距离，x,y分别为直线在x轴y轴上的交点。在该坐标系下通过定点(x

r

根据该方程可以推测出，每一对(r

本实施例中，深度学习神经网络模型AA-gate-Unet具体包括：

整体Unet结构如图1所示，呈U形结构，在上采样与下采样之间建立特征图的切割与传送，保证了更多原始信息能够在不同层之间学习。U-net全部使用vaild模式下的卷积，以保证分割结果。在结构上，U-net由左侧收缩路径与右侧扩散路径组成。左侧收缩路径由若干卷积层与池化层叠加构成，能够有效减少特征的空间维度并增加特征数量。收缩路径重复使用若干个卷积核，卷积后采用ReLU作为激活函数保证能够提取非线性特征，同时使用若干个MaxPooling操作使训练参数显著减少。扩张路径是与收缩路径相反的上采样过程，使用反卷积实现。在收缩路径和扩张路径之间使用剪裁和复制通道，将收缩路径的低层特征图剪裁复制到扩张路径和对应的高层特征图融合。

AA模块(AttentionAugment)：Attention Augment具体结构如图2所示，其本质为通过查询得到一系列键-值对的映射。

首先，通过对输入大小为(w,h,c

对于分割好的Q、K、V矩阵在进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵(即对Q、K、V保持深度通道不变，从长宽方向对其进行压缩到1维)，其中前两个矩阵的大小为(w*h,d

随后用softmax函数进行处理，即得到了最终的特征权重矩阵。最后，将该权重矩阵与V矩阵相乘并将结果reshape到原始长宽大小，再进行1×1的卷积操作，即可得到最终的注意力特征矩阵O。将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接(concat)即可得到Attention Augment的结果。注意力特征矩阵O的计算公式如下：

gate attention模块：除了在下采样中加入attention增强卷积模块之外，在Unet右层上采样路径中加入Attentiongate对融合特征进行权重加权。结构如图3所示。x

接着使用sigmoid函数进行激活保证其非线性以生成表示像素权重大小的矩阵。这里的Resampler代表重采样操作，为的使计算出的数据与x

S3、将所述塔筒涂层图像关键帧的图像上传至系统云端；将塔筒涂层图像关键帧的图像上传至系统云端云端计算，可极大的降低计算成本、时间，提高系统性能，增强系统的可靠性。

S4、对于提取出的缺陷图像采用基于HMM的预测算法进行预测，以此获得每个缺陷对应的缺陷类型，从而完成风电塔筒涂层缺陷类型的识别。

本实施例中对收集的海面风机视频进行帧筛选，完成单座风机塔筒图片集。根据风机视频帧属性信息，本文建立带有信息的海面风机塔筒图片集。本发明使用无人机拍摄时所在位置的GPS高度、指北仪偏转角度、分割的缺陷面积、图像深度作为图片集信息。

对于风机塔筒漆面问题分类，有密封圈老化失效、机械伤痕，锈蚀、机械损伤、漏油等四类问题。这四类问题在风机塔筒上发生的部位也有一定的概率，本文根据塔筒问题种类以及发生的高度，预测下一张图片中问题种类，实现对下一张图片问题部分分割的反向检验。

为了对分割结果进行反向检查，本文采用隐式马尔科夫链对四个分类种类进行提前预测。由于分类种类作为待预测值，故将其设为HMM的隐藏链，而gps高度差、指北仪偏转角度变化可以通过不断计算进行收集，记为HMM的观测链，其预测流程如图4所示。此时需要对图像的观测数据进行设置，在这里本文提出设置差别得分函数来生成观测数据，如下公式所示：

其中，h

分割种类状态表示为:

S＝{S

历史分割种类序列Y与之对应的帧信息计算序列x，利用极大然司法计算模型参数，分割种类初始概率的数学表达式记为:

π＝{π

其中π

经过统计分析可以得出任意的状态S

将所有分割种类状态S

本发明考虑到不同高度对其塔筒表面分割种类的分布有着决定性的影响，绝大多数情况下同一高度下，分割的塔筒缺陷种类不会出现变化；在不同高度下，塔筒缺陷种类变化的概率，会大大提高。本实施例提出根据下一帧的信息计算值判断是否两帧之间是等高关系，再不同高度关系下使用不同概率转移矩阵。即有等高转移概率矩阵A，非等高概率矩阵B。由此可以确定隐藏的马尔科夫链，其状态转移过程如图5所示。

由于计算x属于随机变量，选用CHMM进行分割种类预测。通过大量实验发现，分割状态S

因为历史分割状态序列Y与对应的X存在一一对应的关系，所以N

由于不同状态S

根据Viterbi算法，本实施例只需要使

本步骤中通过使用Unet融合Self-attention生成新型AAt-Unet模型，针对海面风机成像特点，进行损失函数的改进使用Focalloss，对分割结果设计了马尔可夫链预测算法进行反向检验，提高准确率，其整体流程图如6所示。

另外，在可以预知下一张图片的分割种类序列时，对其网络最后的1×1卷积层中的激活函数softmax中的类被参数进行实时更新，则有：

其中i表示分割索引类别，C表示总的类别个数，Si表示当前元素的指数与所有元素指数的比值。Vi表示模型前级输出单元的输出，通过对分割种类的预测，对C值进行实时输入，使分割的准确性进一步提高。

S5、将所述海上风电塔筒涂层缺陷的检测结果划分为两个状态：正常状态和异常状态；根据无人机摄像头识别所述海上风电塔筒涂层检测关键帧图像的处理结果将不同的异常状态具体划分为：状态1：定义为海上风电塔筒涂层出现裂缝情况；状态2：定义为海上风电塔筒涂层出现剥落情况；状态3：定义为海上风电塔筒涂层出现腐蚀情况。

S6、当所述海上风电塔筒涂层缺陷的检测结果为异常状态时，将对应的海上风电塔筒缺陷涂层图像上传至系统，并进行相应的海上风电塔筒涂层维护工作。

本发明还公开了一种基于AA-gate-Unet的海上风电塔筒涂层缺陷检测的装置，包括：

请求接收模块，用于接收海上风电塔筒涂层缺陷检测请求，获取所述海上风电塔筒涂层缺陷检测请求对应的所述风电塔筒涂层无人机检测视频信息；

视频提取模块，用于提取所述海上风电塔筒涂层缺陷监控视频信息中的涂层缺陷图像关键帧；

涂层检测模块，用于对缺陷涂层关键帧图像检测的处理结果获得所述海上风电塔筒涂层缺陷检测结果；

塔筒识别模块，用于提取所述海上风电塔筒涂层缺陷图片信息并通过识别出的塔筒信息确定所述海上风电塔的位置信息。

本发明利用无人机平台采集海上风机塔筒图像，利用改进型深度学习模型AA-gate-Unet进行塔筒缺陷的分割；通过准确分割后，可以计算出各种缺陷的面积值数据，从而实现对风机后期维护的精准预算与现场检测。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。