一种基于图像分类融合分割模块的苜蓿田杂草识别方法

摘要

本发明公开了一种基于图像分类融合分割模块的苜蓿田杂草识别方法，包括步骤1：将待训练的苜蓿田杂草样本图像进行分割掩码标记后与原始图像一起输入到基于ResNet的图像分类融合分割模块的主干网络；步骤2：将ResNet的一个初始卷积核由7×7换成三个3×3的卷积核，然后提取特征图；步骤3：归一化层对提取到的特征图进行归一化处理；步骤4：将归一化后的特征数据分别输入到解码层和辅助层，解码层和辅助层分别作为分割模块和分类模块，实现图像分割权值更新和图像分类权值更新；步骤5：将经过解码层和辅助层更新的特征值输入分类器进行目标分类，实现苜蓿田杂草识别。本发明可以有效实现双子叶杂草在苜蓿田中的识别。

说明书

技术领域

本发明属于图像识别技术领域，具体涉及一种基于图像分类融合分割模块的苜蓿田杂草识别方法。

背景技术

紫花苜蓿是豆科苜蓿属多年生草本植物，具有产量高、品质好、根系发达、耐寒耐旱等优点，被誉为“牧草之王”，是我国主要的牧草之一，并且在世界范围内广泛种植。紫花苜蓿含有大量的粗蛋白质和丰富的矿物质，尤其是钙、铁和锰，被认为是牲畜重要的饲料作物。紫花苜蓿苗期生长缓慢，易受到杂草的危害。杂草与苜蓿争夺养分、空间、阳光和水，会造成苜蓿幼苗弱小、根系生长困难、生长缓慢、密度降低，难以形成群落，从而降低牧草产量和营养价值。此外，某些杂草种类，例如紫苏薄荷，含有对牲畜有毒的有毒物质，所以杂草防控应该贯穿于苜蓿生产全程。

化学除草常用于苜蓿杂草防治。精准喷洒除草剂，可以显著降低除草剂的投入和杂草控制成本。除草剂的精准喷施是指基于杂草识别的基础上智能地检测和去除杂草。

近年来，深度学习逐步应用到杂草识别领域，通过卷积神经网络训练杂草识别模型。综合国内外研究现状，尚未有研究学者对苜蓿田杂草进行识别的相关研究。因苜蓿本身为双子叶植物纲，双子叶作物和双子叶杂草在形态上具有相似性，对于在苜蓿田中识别双子叶杂草的准确率不如识别单子叶杂草的准确率，对此目前还未有有效的识别方法。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于图像分类融合分割模块的苜蓿田杂草识别方法，可以有效实现双子叶杂草在苜蓿田中的识别。

为实现上述技术目的，本发明采取的技术方案为：

一种基于图像分类融合分割模块的苜蓿田杂草识别方法，包括：

步骤1：将待训练的苜蓿田杂草样本图像进行分割掩码标记后与原始图像一起输入到基于ResNet的图像分类融合分割模块的主干网络；

步骤2：将ResNet的一个初始卷积核由7×7换成三个3×3的卷积核，然后提取特征图；

步骤3：归一化层对提取到的特征图进行归一化处理；

步骤4：将归一化后的特征数据分别输入到解码层和辅助层，解码层和辅助层分别作为分割模块和分类模块，实现图像分割权值更新和图像分类权值更新；

步骤5：将经过解码层和辅助层更新的特征值输入分类器进行目标分类，实现苜蓿田杂草识别。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤3中，ResNet在反向传播的过程中，每一层梯度的计算都要乘以上层传过来的梯度，归一化层将特征归一化限制在均值为0、方差为1的分布。

上述的步骤4所述解码层采用ASPP，进行图像分割权值更新操作。

上述的解码层，最开始是一个1×1的卷积层，对特征进行降维，构建空洞空间卷积池化金字塔，对于给定的膨胀因子，叠加相应的空洞卷积层，提取不同尺度下的特征，添加空洞卷积层，将各层叠加后的输出进行卷积操作，得到输出结果。

上述的步骤4所述辅助层采用LinearClshead类，进行图像分类权值更新操作。

上述的辅助层，加载LinearClsHead类，采用主干网络的特征图作为输入并基于真实标签来计算损失，从而达到权重更新的目标。

上述的步骤5中，将更新后的特征值经过一个平均池化层，接着是一个全连接层，该层包含两个神经元，每个神经元在输出处设有一个在[0,1]范围内的值，表示输入图像中作为作苜蓿和杂草时模型的置信度，根据最终的置信度对目标进行准确分类。

本发明具有以下有益效果：

1、本发明能够较好地提高双子叶杂草在苜蓿田中的识别率；

2、本发明提出的将原始ResNet卷积神经网络初期的一个7×7的卷积核换成三个3×3的卷积核，增大了感受野，特征提取更加细致且减少了权重参数的个数；

3、本发明在图像分类网络中融合了图像分割模块，使用ASPP，叠加多种不同空洞率下的卷积层，提取不同尺度下的特征，提高对目标区域的学习能力；

4、本发明方法同样适用于提高其他作物中同类杂草的识别(如单子叶作物中识别单子叶杂草和双子叶作物中识别双子叶杂草)。

附图说明

图1是图像分类融合分割模块网络模型示意图。

图2是ResNet卷积神经网络初期的结构与改进后的网络结构示意图。

图3是解码层结构示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

一种基于图像分类融合分割模块的苜蓿田杂草识别方法，具体实施过程如下：

步骤1：将待训练的苜蓿田杂草样本图像进行分割掩码标记后与原始图像一起输入到如图1所示的基于ResNet的图像分类融合分割模块的主干网络，提取包含杂草语义空间信息的特征；

准备训练图像样本

对采集到的图像进行处理，裁剪到适合于网络输入尺寸的大小，并且做好标签分类，考虑到加入了解码层分割模块，需要将训练样本进行分割掩码标记，训练样本如图1左边两张图所示。

步骤2：将ResNet的一个初始卷积核由7×7换成三个3×3的卷积核，然后提取特征图；改变卷积核大小

ResNet的初始卷积层是由一个7×7的卷积核构成，将一个7×7的卷积核换成三个3×3的卷积核，如图2所示。

假设图像输入大小为h*w*c，并且都使用c个卷积核(得到c个特征图)，可以计算得出一个7×7的卷积核所需的参数为49c

所以，堆叠小的卷积核所需的参数更少一些，扩大了感受野，并且卷积过程越多，特征提取越细致，加入的非线性变换也会随之增多，同时不会增大权重参数个数。

步骤3：归一化层对提取到的特征图进行归一化；

将提取到的特征统一经过归一化操作，因反向传播过程中，每一层梯度的计算都要与上一次的梯度进行计算，将特征归一化限制在均值为0、方差为1的分布中，可以避免出现梯度消失/爆炸的问题。

步骤4：将归一化后的特征数据分别输入到解码层和辅助层，解码层和辅助层分别作为分割模块和分类模块，实现图像分割权值更新和图像分类权值更新；

解码层即图1中分割模块，辅助层即图1中分类模块。

1)所述解码层采用ASPP(Atrous Spatial Pyramid Pooling)，进行图像分割权值更新操作；

解码层采用了ASPP，如图3所示，最开始是一个1×1的卷积层，然后对于给定的膨胀因子，叠加相应的空洞卷积层，提取不同尺度下的特征，再直接对特征图进行池化操作，将三种空洞卷积层的特征池化得到的结果进行拼接，再对叠加后的输出进行卷积操作。

2)辅助层采用LinearClshead类，进行图像分类权值更新操作

辅助层用作图像分类，辅助层采用“LinearClshead”类，主要是根据主干层的特征图作为输入并基于真实标签来计算损失，从而达到权重更新的目标。

步骤5：将经过解码层和辅助层更新的特征值输入分类器进行目标分类，实现苜蓿田杂草识别。

对输入分类模块和分割模块的特征通过反向传播不断更新主干网络的权重参数，最终更新的特征值经过一个平均池化层和一个全连接层，该层包含两个神经元(根据所研究的苜蓿和双子叶杂草)，每个神经元在输出处有一个在[0,1]范围内的值，这是输入图像中作为作物/杂草时模型的置信度，根据最终的置信度对目标达到准确分类的目标。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。