一种基于改进YOLOv5的风机叶片缺陷检测方法

摘要

本发明涉及一种基于改进YOLOv5的风机叶片缺陷检测方法，包括以下步骤：S1：获取叶片风机缺陷图像，并进行数据增强及预处理，构建图像数据库；S2：构建改进YOLOv5检测模型，基于图像数据库对改进YOLOv5检测模型进行训练；S3：将待检测的风机叶片缺陷图像进行预处理并送入训练好的改进YOLOv5检测模型，获取待检测的风机叶片的缺陷类型。与现有技术相比，本发明具有检测精度好、效率高等优点。

说明书

技术领域

本发明涉及风机叶片检测领域，尤其是涉及一种基于改进YOLOv5的风机叶片缺陷检测方法。

背景技术

目前，风机叶片的检测已经有大量研究，比较传统的叶片缺陷检测的主要方法有目视检测技术，X射线检测技术、超声波热成像检测技术等。也有大量研究者通过处理各种安装在风机表面的传感器所发出的信号来完成故障检测任务，常见的有压电式锆钛酸铅传感器(PZT)、声发射传感器(AESs)、多维传感器监测网络等。

近年来，随着机器学习的发展，给风机叶片的缺陷检测提供了一种新的思路。Hutchinson等人提出了一种基于贝叶斯决策理论的基于统计的图像评估方法来检测混凝土结构的损伤。Dervilis N等人提出了使用多层感知器(MLP)的自动关联和径向基函数(RBF)网络的自动关联的模式识别方法进行风机叶片损伤诊断，得到快速的优化和高效地运行。Nick等人对声发射信号使用无监督学习来识别损伤的存在和位置，然后切换到有监督学习来识别故障的类型和严重程度。

在现有这些技术中，传统的叶片缺陷检测方法存在着传感器安装困难，技术成本高，并且极容易受到环境影响等问题。并且在实际应用中，这些方法只能检测出叶片的故障，而无法判断具体的缺陷类型。通过信号处理的方法诊断出的叶片缺陷类型有限，并且这种检测方法也比较繁琐。通过深度卷积网络检测叶片缺陷时，常会因为网络中参数和权重太多，导致反向传播过程中计算量太复杂，且面对风电机场复杂的背景环境时，无法达到理想的检测效果，鲁棒性较差。现有的YOLOv5网络对风机叶片缺陷的检测效果不佳，存在准确率较低且回归框定位不够精准的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于改进YOLOv5的风机叶片缺陷检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于改进YOLOv5的风机叶片缺陷检测方法，包括以下步骤：

S1：获取叶片风机缺陷图像，并进行数据增强及预处理，构建图像数据库；

S2：构建改进YOLOv5检测模型，基于图像数据库对改进YOLOv5检测模型进行训练；

S3：将待检测的风机叶片缺陷图像进行预处理并送入训练好的改进YOLOv5检测模型，获取待检测的风机叶片的缺陷类型。

优选地，所述的改进YOLOv5检测模型对YOLOv5模型进行了改进，在原YOLOv5模型的Neck网络中增加小尺度检测组件，

所述的小尺度检测组件包括上采样模块、拼接模块、C3模块，所述的上采样模块对Neck网络上采样后与骨干网络中只能怪得到的相同尺寸的特征图通过拼接模块进行拼接，产生的特征图经过C3模块处理后送入Head网络进行检测。

优选地，所述的改进YOLOv5检测模型的Neck网络中设有卷积注意力模块CBAM。

优选地，所述的步骤S2中的数据增强方法包括平移、翻转、明暗变化、高斯去噪。

优选地，所述的预处理的步骤具体包括：

对图像进行灰度处理，将彩色图像转换为灰色图像；

对灰色图像进行去噪、边缘检测和非极大值抑制细化；

对图像进行霍夫直线检测，过滤干扰直线并进行二维旋转，使叶片风机缺陷图像中的风机由叶片为止转换为水平或垂直。

优选地，所述的预处理中通过Canny算法对灰色图像进行去噪、边缘检测和非极大值抑制细化。

优选地，所述的改进YOLOv5检测模型的损失函数CIOU_Loss为：

其中，IOU为交并比，ρ()为检测帧的中心点与先验框之间的欧氏距离，c为两个最小外接矩形的对角线长度，α为权重系数，b、b

优选地，所述的损失函数中的测量长宽比一致性参数为：

其中，ω

优选地，所述的损失函数中的权重系数为：

优选地，所述的风机叶片缺陷的类型包括油污、腐蚀、胶衣脱落、导航漆脱落、正常。

与现有技术相比，本发明具有如下优点：

(1)本发明是基于改进YOLOv5检测模型来对风机叶片的缺陷进行检测的，利用预处理中的霍夫变换解决了复杂的背景以及在不稳定的距离和角度拍摄图像不利于精确的缺陷标注和检测定位的问题，有效提高检测的准确性和精度。

(2)本发明的改进YOLOv5检测模型引入小尺度检测层，可以加强模型对尺寸较小的风机叶片缺陷进行检测，提高检测的准确度。对应改进损失函数解决了原始模型损失函数中预测框与目标框在不同位置完全重叠时损失值一样的问题，使模型在回归框定位时更加精准。

(3)采用改进YOLOv5检测模型对叶片进行检测，检测流程简便快捷，计算量低训练效率高，检测精度高。

附图说明

图1为本发明的流程图；

图2为本发明的改进YOLOv5检测模型的结构示意图；

图3为本发明的预处理流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

一种基于改进YOLOv5的风机叶片缺陷检测方法，包括以下步骤：

S1：获取叶片风机缺陷图像，并进行数据增强及预处理，构建图像数据库。

本实施例中，首先，通过无人机设备拍摄风机叶片缺陷图像，风机叶片缺陷的类型包括油污、腐蚀、胶衣脱落、导航漆脱落、正常，筛选出符合的图像作为数据集。数据集被分为油污，腐蚀，胶衣脱落，导航漆脱落和正常情况五类。

对图像进行数据增强，通过平移、翻转、明暗变化和高斯去噪等数据增强方法，将数据集进行扩充，使得每类缺陷数据分布均匀，进而降低模型对某些属性的依赖，提高模型的泛化能力。部分WTB图像的背景较为复杂，且多为倾斜状态。复杂的背景以及在不稳定的距离和角度拍摄图像不利于精确的缺陷标注和检测定位，若采用传统的直接标注则会导致样本标注困难和模型训练遇到的损失函数取值异常，并且模型回归难的问题。

因此本实施例中采用预处理的方式，采用霍夫变换对图片进行矫正，霍夫变换是模式识别领域中对二值图像进行直线检测的有效方法，该变换属于全局性检测方法，在检测数据点集的共线性时具有较强的抗噪声能力，具体步骤包括：

对图像进行灰度处理，将彩色图像转换为灰色图像；

对灰色图像通过Canny算法进行去噪、边缘检测和非极大值抑制细化；

通过二值化判断此处是否为边缘点并映射到霍夫空间，并设置阈值以及取局部最大值来过滤干扰直线。最后，根据检测出的直线坐标(x

S2：构建改进YOLOv5检测模型，基于图像数据库对改进YOLOv5检测模型进行训练。

改进YOLOv5检测模型对YOLOv5模型进行了改进，在原YOLOv5模型的Neck网络中增加小尺度检测组件，小尺度检测组件包括上采样模块、拼接模块、C3模块，上采样模块对Neck网络上采样后与骨干网络中只能怪得到的相同尺寸的特征图通过拼接模块进行拼接，产生的特征图经过C3模块处理后送入Head网络进行检测。改进YOLOv5检测模型的Neck网络中还设有卷积注意力模块CBAM。

YOLOv5在原有网络结构中采用三层尺度特征图层检测设计，对于640×640的输入图像尺度，分别利用8倍、16倍、32倍下采样的特征图作为特征层去检测不同大小尺寸的目标。数据集的部分检测目标较小，原有多尺度检测结构对此类目标容易造成漏检。因此，针对该问题改进多尺度检测结构以减少小目标误检率。提出的改进方法在原有网络结构上增加一个小尺度检测组件。

与原始YOLOv5模型相比，改进后的YOLOv5有4个融合层。在原网络的基础上，进一步将融合后的特征图未采样，与骨干网中160×160像素的特征图连接，生成一层新的融合特征图。该小尺度检测组件通过提取较低的空间特征并将其与深层语义特征融合生成特征图，显著提高了小目标的检测能力。

具体地，如图2所示，改进YOLOv5检测模型的Neck包括第一检测组件、第二检测组件、第三检测组件和小尺度检测组件，其中Backbone的第4个C3模块的输出送入第一检测组件依次经过卷积层Conv、拼接层concat、C3模块、卷积注意力模块CBAM后送入Head网络；第一检测组件的卷积层的输出经上采样层Upsample后在第二检测组件的拼接层concat与Backbone的第3个C3模块的输出拼接，然后依次经过C3层、卷积层Conv、拼接层concat、C3层、卷积注意力模块CBAM后送入Head网络，并且第二检测组件的C3层的输出向下经卷积后送入第一检测组件的拼接层concat。第二检测组件的卷积层的输出经上采样层Upsample后在第三检测组件的拼接层concat与Backbone的第2个C3模块的输出拼接，然后依次经过C3层、卷积层Conv、拼接层concat、C3层、卷积注意力模块CBAM后送入Head网络，并且第三检测组件的C3层的输出向下经卷积后送入第二检测组件的拼接层concat。第三检测组件的卷积层Conv的输出经上采样层Upsample后在小尺度检测组件的拼接层concat与Backbone的第1个C3模块的输出拼接，然后依次经过C3层、卷积层Conv、拼接层concat、C3层、卷积注意力模块CBAM后送入Head网络，并且小尺度检测组件的C3层的输出向下经卷积后送入第三检测组件的拼接层concat。

改进YOLOv5检测模型的损失函数增加了对纵横比的约束机制，使预测框更符合真实盒。置信度函数和类别损失函数采用改进的交叉熵函数，通过改变正负样本的权重，使正负样本的分离更加灵活，减少了对正负样本的影响，损失函数CIOU_Loss为：

其中，IOU为交并比，ρ()为检测帧的中心点与先验框之间的欧氏距离，c为两个最小外接矩形的对角线长度，α为权重系数，b、b

其中，ω

损失函数中的权重系数为：

通过CIoU_loss解决了原始模型损失函数中预测框与目标框在不同位置完全重叠时损失值一样的问题，使模型在回归框定位时更加精准，提高模型的检测性能。

S3：将待检测的风机叶片缺陷图像进行预处理并送入训练好的改进YOLOv5检测模型，获取待检测的风机叶片的缺陷类型。

本实施例中，基于Windows10操作系统下进行，通过NVIDIA GeForce GTX1650(16G)进行GPU加速，模型的搭建、训练和结果的测试均在Pytorch1.7.0框架下完成，使用CUDA11.0.2并行计算架构。通过上述方法改进YOLOv5模型后，将模型在pycharm中搭建，并导入风机叶片缺陷数据集得到检测结果。最后通过几个评价指标：模型尺寸，精准率，召回率，map，预测准确率来判断模型的性能。本实施例中，预测准确率为90.07％，比原始YOLOv5提高，回归框的精准度高。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。