基于图像增强和改进YOLOv5的小麦赤霉病检测方法

摘要

本发明公开了基于图像增强和改进YOLOv5的小麦赤霉病检测方法，属于图像超分辨率领域和病害检测领域。包括收集小麦赤霉病害图像；对收集的小麦赤霉病害图像通过数据增强对图像数量进行扩充；对病害图像进行YOLOv5格式的标注并标记病害类别，形成小麦赤霉病数据集；利用超分辨网络对图像进行预处理，提高分辨率；将原有主干网络替换为Swin‑Transformer网络，构建改进的YOLOv5的小麦赤霉病害检测模型；利用按比例划分的数据集对构建的小麦赤霉病检测模型进行训练和模型误差分析。本发明利用超分辨率和改进后的YOLOv5网络模型增强了小麦赤霉病检测模型对特征的提取，从而提高了小麦赤霉病检测的准确率，能够有效的适用于实际的大田环境检测。

说明书

所属技术领域

本发明涉及图像超分辨率及病害检测技术，具体涉及基于图像增强和改进YOLOv5的小麦赤霉病检测方法。

背景技术

小麦是我国乃至全世界的重要粮食作物之一。我国约有40％的人口以小麦作为为主要粮食，是营养比较丰富、经济价值较高的粮食。然而农作物病害严重制约着我国农作物的发展，一般流行年份可以引起10％到20％的产量损失。而小麦也经常受到各种病害的侵害，其中赤霉病是全球小麦生产中最主要的真菌性病害之一。与叶部病害不同，小麦赤霉病直接发生在小麦穗子上，侵染花器。这种感染不仅导致粮食产量降低，并且对食用的人畜健康构成危害。

目前在实际农业生产中，由于生产条件、气候地理因素、农民技术水平相对有限、往往利用主观经验进行大规模喷药或者农业植保专家利用田间抽样调查的方法对病害严重度进行评估，该方法无法对大面积区域进行有效检测、而且人工成本较高、农药效率低、检测到时往往防治已经太迟，严重影响赤霉病的防止效率。

随着人工智能和深度学习在图像处理、识别领域的日益发展。传统农业向智慧化和自动化发展，利用图像检测识别技术和农业场景相结合，有助于在生产过程中实现对农作物的病害受害状态进行实时的判断，及时采取相应的防治措施。从而实现农业生产的智能化发展，减少了物力人力，提高了生产效率。

在目前所有的病害检测算法中，机器学习和深度学习针对单独叶片上的病害识别被广泛的应用。但对于实际大田背景下的病害检测识别并不适用，存在实际病害区域的背景较复杂、图像采集时受采集设备、光线环境和天气条件等影响、病虫害数据集较少、分辨率较低等问题。造成检测时泛化能力差、鲁棒性差、识别准确率低，不利于田块的精准检测以及在不同数据集或野外条件下测试性能明显下降。因此，找出一种能适用于实际大田场景下的小麦赤霉病检测方法是十分有意义的。

在图像预处理阶段，目前的研究往往只是通过去噪和统一尺寸等方式对图像进行简单处理，就送入网络训练，而忽视了图像的某些特征。小麦赤霉病害图像处理中的分辨率直接影响着对特征的提取，超分辨率是可以无损提高图像分辨率的过程。因此，对小麦赤霉病害图像进行图像超分辨率重建具有重要意义。

发明内容

针对上述问题，本发明公开了基于图像增强和改进YOLOv5的小麦赤霉病检测方法，基于超分辨后的图像对图像进行小麦赤霉病害检测，解决了大田图像场景较复杂、病害尺寸太小、鲁棒性差、检测准确率较低的问题。

为实现上述发明目的，本申请提供的具体的技术方案如下：

一种基于图像增强和改进YOLOv5的小麦赤霉病检测方法，包括以下步骤：步骤1，构建小麦赤霉病数据集：收集小麦赤霉病图像，通过数据增强扩展图像数量，通过Labelme标注工具按照符合YOLOv5的格式对扩展后的图像进行标注，并划分图像为训练集和测试集；步骤2，构建图像超分辨率系统，将所述训练集输入该系统进行预处理，输出超分辨率图像以提高图像的分辨率，其中，图像超分辨率系统使用Esrgan超分辨率生成器生成对抗网络，包括加入RDDB模块的生成网络和RaGAN的对抗网络，通过判别器判别Esrgan超分辨率生成器输出的图像是否真实；步骤3，构建改进后的YOLOv5的赤霉病害检测系统对赤霉病进行检测，该系统包括依次连接的用于特征提取的Backbone网络、用于特征融合Neck网络和用于预测的Head网络，将步骤2输出的超分辨率图像输入改进后的YOLOv5网络中，以输出不同尺寸大小的预测病害目标；步骤4，基于测试集，验证赤霉病害检测系统的准确率：将测试集中的图像输入改进后YOLOv5目标检测模型，得到小麦赤霉病害种类以及病害位置的检测结果

根据以上步骤1、步骤2、步骤3、步骤4，利用Python对输入图片进行超分辨率和基于改进后YOLOv5检测算法相结合，该识别和检测结果可以存放在设置的文件中保存并对用户进行显示。

作为优选，数据增强为：首先，对图像进行线性亮度和对比度调整；其次，对处理过的图像进行尺度变换，以调整至统一大小；最后，通过翻转和添加高斯噪声对图像数据集随机添加噪声干扰并进行高斯滤波，实现图像集的扩充。

作为优选，对图像进行标注即为对图像进行分类，标注小麦赤霉病图像的病害种类以及病害位置，按照一定比例划分为训练集和检测集。

作为优选，步骤2中的图像超分辨率系统包括判别器网络、Esrgan超分辨率生成器和VGG网络，其中，判别器网络使用具有Ragan的网络模型，对生成的超分辨图片和真实的超分辨率图片进行判别，图像超分辨率系统的网络结构为VGG网络，用于判别真实图片的概率值，基于判别结果不断优化生成器，得到最终预期的重建后超分辨率样本。

作为优选，步骤2具体为:将图片输入到Esrgan超分辨率生成器网络提取浅层特征，然后通过层叠式残差密集模块RRDB提取深层特征；其中，残差密集模块RRDB包括3个Dense block模块，每个Dense block模块包括5个相同的卷积层和LReLU模块，彼此之间通过残差连接组成，每一层卷积层的输出都加入至下一层卷积层的输入，使得浅层特征与深层特征相加，以提高图像的分辨率。

作为优选，Backbone网络使用Swin-Transformer作为主干网络对超分辨率重建后的图像进行调整并提取特征；基于Backbone网络提取的不同维度的特征，Neck网络采用PFN+PAN模块进行融合，以提高对小尺寸目标检测，输出的融合后特征层至Head网络；Head网络有若干个输出头，在每个特征尺寸部分，再次通过一个卷积层得到预测结果，分别按照设置的不同分辨率输出预测病害尺寸的目标。

作为优选，Backbone网络包括依次连接的Patch Partiton模块、Linear-Emebedding模块、SwinTran-Block模块和Patch-Merging模块，其中SwinTran-Block模块和Patch-Merging重复相连三次；三个SwinTran-Block模块的输出接入Neck网络。

作为优选，SwinTran-Block模块包括两层串联的LX模块，其中LX模块包括依次通过残差连接的LayerNorm层、多头注意力机制MSA模块、LayerNorm层和MLP模块；将输入每一层LX模块的特征层与经过MSA模块输出的特征层相加，该相加的特征层输入下一层LayerNorm层中，且该相加的特征层与MLP模块输出的特征进行再次相加，将二次相加后的特征层输入下一层LX模块，实现特征的深度提取。

作为优选，Neck网络包括四个子模块，四个子模块均包括依次相连的卷积层Conv、融合层Concat和C3模块，第一、第二子模块的卷积层Conv与融合层Concat之间连接上采样Upsampling模块，Backbone模块输出的特征分别连接至第一、第二子模块的融合层Concat的输入以及第一子模块的卷积层Conv的输入；第一子模块的卷积层Conv的输出还连接第四子模块的融合层Concat的输入，第二子模块的卷积层Conv的输出还连接第三子模块的融合层Concat的输入；第二、第三、第四子模块的C3模块分别输出1*1卷积层至Head模块。

作为优选，Concat模块接受Backbone网络提取的不同尺度特征提取图后，将不同尺度的病害图像采用PFN+PAN进行融合，在输入C3模块之前，将输入分为两步，一部分通过BottleNeck进行计算，另一部分通过卷积最后进行融合Concat,最后再通过一个卷积层，能够精简网络结构，减少模型参数。

有益效果：

(1)本发明将超分辨率算法应用到农业病害识别领域，与传统通用的简单预处理不同，利用深度学习的方式进行超分辨率的重建，削弱图像中的噪声、模糊等，一定程度提高了病害的纹理信息，对后续的病害检测的特征提取提供了更多的有关病害部分的特征，提高了检测的准确率。

(2)本发明所提出的图像超分辨率和改进后YOLOv5的小麦赤霉病害检测方法，在数据上采用了农学专家所鉴定后数据集并进行了精准的标注，提高了病害检测识别的识别率。

(3)本发明提出了一种基于农业场景的小麦病害检测方法，对YOLOv5进行了改进。通过将原有的主干网络替换为Swin-Transformer网络，通过多头注意力机制和滑动窗口对特征进行提取，可以取得更好的识别结果。

该发明成功有效的解决了大田图像场景较复杂、病害尺寸太小、鲁棒性差、检测准确率较低的问题。

附图说明

下面是结合附图和具体实施方式对本发明进行进一步说明：

图1是本发明实施方式中提出的基于图像超分辨率和改进后YOLOv5的小麦赤霉病害检测方法实现流程图；

图2是本发明实施方式提出的Esrgan超分辨率生成器的结构示意图；

图3是本发明实施方式提出的改进后YOLOv5的小麦赤霉病网络模型的结构示意图。

图4是本发明实施方式提出的SwinTran-Block模块的结构示意图。

图5是本发明实施方式提出的C3模块的结构示意图；

图6是本发明实施方式的测试结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的在于提供基于图像超分辨率和改进后YOLOv5的小麦赤霉病害检测方法，能够适用于实际农业对病害的检测，从而提高检测病害的准确性。

为解决现在小麦赤霉病检测算法不适用于实际农业场景下的问题，本发明提出了一种基于图像超分辨率和改进后YOLOv5的小麦赤霉病害检测算法，结合Esrgan超分辨率模型，使得模型在对图像进行超分辨重建后，能够使重建后高分辨的图片提供更多相关病害区域的特征。通过训练改进后YOLOv5的小麦赤霉病害检测算法，提供出一个适用的实际大田场景小麦赤霉病检测方法。本发明可以有效的适用于农业场景，并且能对处于复杂背景区域病害进行有效识别。

图1为本发明提供基于图像增强和改进YOLOv5的小麦赤霉病检测方法流程示意图，包括以下步骤：

步骤1，构建小麦赤霉病数据集：收集小麦赤霉病图像，通过数据增强扩展图像数量，通过Labelme标注工具按照符合YOLOv5的格式对扩展后的图像进行标注，并划分图像为训练集和测试集。小麦赤霉病数据集的构建是收集了由农学专家鉴定后的小麦赤霉病图像共400张，完成收集后，通过数据增强方式例如改变图像亮度和对比度、尺度变换、翻转、添加高斯噪声等方式对数据集进行扩充，最终扩展到4000张图像。然后使用Labelme标注工具按照符合YOLOv5的txt格式进行标注病害种类以及病害位置，最终生成一个txt文件。然后将标注的数据集按照8：2的比例划分为训练集和测试集。

步骤2，构建图像超分辨率系统，将所述训练集输入该系统进行预处理，提高图像的分辨率。其中，图像超分辨率系统使用Esrgan生成对抗网络，生成对抗网络包括两个部分，即加入RDDB模块的生成网络和RaGAN的对抗网络，Esrgan超分辨率生成器通过低分辨率的图像生成高分辨率图像，由判别器进行判别是否真实。

图像超分辨率系统为一种生成对抗网络，通过两个尺度为2的子像素卷积层，提高图像4倍分辨率。图像超分辨率系统使用Esrgan超分辨率生成器生成对抗网络，如图2所示，为本发明提供的一种Esrgan超分辨率生成器结构示意图，包括加入RDDB模块的生成网络和RaGAN的对抗网络，通过判别器判别Esrgan超分辨率生成器输出的图像是否真实。判别器网络使用具有Ragan网络模型，对生成的高分辨图片和真实的高分辨率图片进行判别。图像超分辨率系统的网络结构为VGG网络，将判别真实图片的概率值。基于判别结果不断优化生成器最终不断优化生成器，得到最终预期的重建后超分辨率样本。

具体的，将图片输入到Esrgan超分辨率生成器网络提取浅层特征，然后通过层叠式残差密集模块RRDB提取深层特征；其中，残差密集模块RRDB包括3个Dense block模块，每个Dense block模块包括5个相同的卷积层和LReLU模块，彼此之间通过残差连接组成，每一层卷积层的输出都加入至下一层卷积层的输入，使得浅层特征与深层特征相加，以提高图像的分辨率。由于特征图大小始终没发生变化，经过一个上采样层进行放大，也就是利用两个已经训练好的卷积层来提高图像的分辨率。

步骤3，构建改进后的YOLOv5的赤霉病害检测系统对赤霉病进行检测，将步骤2中提高分辨率后的图像输入改进后的YOLOv5网络中，以输出不同尺寸大小的预测病害目标。

YOLOv5网络包括依次连接的用于特征提取的Backbone网络、用于特征融合Neck网络和用于预测的Head网络。Backbone网络使用Swin-Transformer作为主干网络对超分辨率重建后的图像进行调整并提取特征；基于Backbone网络提取的不同维度的特征，Neck网络采用PFN+PAN模块进行融合，以提高对小尺寸目标检测，输出的融合后特征层至Head网络；Head网络有若干个输出头，在每个特征尺寸部分，再次通过一个卷积层得到预测结果，分别按照设置的不同分辨率输出预测病害尺寸的目标。

改进后YOLOv5的赤霉病害检测系统是在将超分辨后提高了4倍图像分辨率的图像输入到改进后的YOLOv5检测模型中进行检测。

如图3所示，本基于改进后YOLOv5的包括进行特征提取的Backbone网络、用于特征融合Neck网络、用于预测的Head网络。Backbone网络使用多头注意力网络Swin-Transformer替换掉原有的CSPDarknet53主干网络，只利用注意力机制提高全上下文对病害的特征关注，增强特征表达能力。Backbone部分主要包括一个分割模块Patch Partiton、一个Linear-Emebedding模块、三个Patch-Merging模块及4个SwinTran-Block模块，主干网络中依次连接Patch Partiton模块、Linear-Emebedding模块、SwinTran-Block模块和Patch-Merging模块，其中SwinTran-Block模块和Patch-Merging模块依次相连三次，三个SwinTran-Block模块的输出接入Neck网络。

如图4所示，SwinTran-Block模块包括两个基于移位窗口配置的多头注意力机制模块MSA。SwinTran-Block模块包括依次连接的两层LX模块，每一层LX模块均包括依次连接的LayerNorm(LN)层、MSA、LayerNorm(LN)层和MLP层；第一层LX模块中的MLP模块的输出连接下一层LayerNorm层的输入，在每个MSA模块和每个MLP之前使用LayerNorm层，并在每个MSA和MLP之后使用残差连接。将输入每一层LX模块的特征层与经过MSA模块输出的特征层相加，该相加的特征层输入下一层LayerNorm层中，且该相加的特征层与MLP模块输出的特征进行再次相加，将二次相加后的特征层输入下一层LX模块，实现特征的深度提取。

Neck网络包括四个子模块，四个子模块均包括依次相连的卷积层Conv、融合层Concat和C3模块，第一、第二子模块的卷积层Conv与融合层Concat之间连接上采样Upsampling模块，Backbone模块输出的特征分别连接至第一、第二子模块的融合层Concat的输入以及第一子模块的卷积层Conv的输入；第一子模块的卷积层Conv的输出还连接第四子模块的融合层Concat的输入，第二子模块的卷积层Conv的输出还连接第三子模块的融合层Concat的输入；第二、第三、第四子模块的C3模块分别输出1*1卷积层至Head模块。

Neck部分接受Backbone网络提取的三层不同尺度特征提取图后，将不同尺度的病害图像采用PFN+PAN结构网络对的模块进行融合，采用了C3模块代替了BottleNeckCSP模块，如图5所示，在输入之前，将输入分为两步，一部分通过BottleNeck进行计算，另一部分通过卷积最后进行Concat,最后再通过一个卷积层。C3模块加强了CNN学习能力，减少内存消耗，减少计算瓶颈可以精简网络结构，减少模型参数。Head部分在每个特征尺寸部分，再次通过一个卷积层得到预测结果。

FPN结构是将不同分辨率大小的特征图进行下采样，PAN是自下而上的路径增强的网络结构能较好地保留浅层特征信息。

步骤4，基于测试集，验证本发明的准确率，将测试集中的图像输入改进后YOLOv5目标检测模型，得到小麦赤霉病害种类以及病害位置的检测结果。

病害数据显示系统皆是利用Python对输入图片进行超分辨率和基于改进后YOLOv5检测算法相结合，该识别和检测结果可以存放在设置的文件中保存并对用户进行显示。

如图6所示，为本发明的测试结果，下表1为测试数据，本发明基于改进YOLOv5的检测模型的精确率和召回率高，解决了大田图像场景较复杂、病害尺寸太小、鲁棒性差、检测准确率较低的问题。

表1

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。