基于CNN和GraphSAGE的苜蓿田杂草识别方法

摘要

本发明公开了基于CNN和GraphSAGE的苜蓿田杂草识别方法，包括：步骤1：输入杂草图像，使用CNN提取杂草图像特征；步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；步骤3：杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间的传播，得到融合特征；步骤4：将融合特征输入分类器，基于特征相似性，从图中的邻居节点中得到未标记的杂草样本的标签信息，实现杂草和苜蓿分类。本发明可以充分利用杂草样本之间的特征关联性，在仅有少量标记样本图像的情况下取得较高的杂草识别率。

说明书

技术领域

本发明属于图像识别技术领域，具体涉及基于CNN和GraphSAGE的苜蓿田杂草识别方法。

背景技术

紫花苜蓿是豆科苜蓿属多年生草本植物，是我国的主要牧草之一，因具有产量高、品质好、根系发达、耐寒耐旱等优点，被誉为“牧草之王”。种植紫花苜蓿可以改良土壤、保持水土，起到保护生态环境的重要作用。紫花苜蓿含有丰富的矿物质和大量的粗蛋白，被认为是牲畜重要的饲料作物，是奶牛最好的饲料。

紫花苜蓿苗期生长缓慢，杂草是苜蓿生产过程中的一项重大威胁，它们会与苜蓿竞争养分、空间、阳光和水，危害时间长，会造成苜蓿幼苗弱小、根系生长困难，难以形成群落，从而降低牧草产量和营养价值。此外，某些杂草种类如紫苏薄荷含有对牲畜有害的物质，所以杂草防控应该贯穿于苜蓿生产全程。

化学除草常用于苜蓿杂草防治。通常情况下，除草剂以地毯式方式喷施，这种方式降低了除草剂的利用率。精准喷施除草剂，可以显著降低除草剂的投入和杂草管理成本。除草剂的精准喷施是指基于杂草识别的基础智能地检测和去除杂草。

近年来，深度学习被逐步应用到杂草识别领域，但是综合国内外研究现状，尚未有研究学者对苜蓿田杂草进行识别的相关研究。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于CNN(Convolutional Neural Network)和图神经网络GraphSAGE(Sample and Aggregate)的苜蓿田杂草识别方法，该方法可以充分利用杂草样本之间的特征关联性，在仅有少量标记样本图像的情况下取得较高的杂草识别率。

为实现上述技术目的，本发明采取的技术方案为：

基于CNN和GraphSAGE的苜蓿田杂草识别方法，包括：

步骤1：输入杂草图像，使用CNN提取杂草图像特征；

步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；

步骤3：杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间的传播，得到融合特征；

步骤4：将融合特征输入分类器，基于特征相似性，从图中的邻居节点中得到未标记的杂草样本的标签信息，实现杂草和苜蓿分类。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤1采用的CNN为微调后的ResNet-101算法模型，微调方式为：去掉全连接层，只保留卷积池化部分以进行杂草图像特征提取。

上述的步骤1具体为：输入原始的杂草图像，图像经过卷积层的下采样计算、池化提取特征，将最后一层池化层得到的特征图转化为一维数组，作为杂草图像的特征信息。

上述的步骤2将每一个杂草样本都被看成是一个图节点，基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图G＝(V,E,X)；

其中，V为图节点；

E是边缘集，代表杂草样本节点之间的由欧氏距离得到的特征相似度；

X是输入特征矩阵，即CNN提取到的杂草图像特征。

上述的步骤3将杂草特征矩阵无向相似性图输入图神经网络GraphSAGE，GraphSAGE根据节点上结构和特征的信息在点与点之间传递。

上述的GraphSAGE通过聚合函数进行一次迭代的信息的传递过程，一个节点可以聚合邻居的信息，并且通过更新函数更新当前节点的信息，随着迭代次数的增加，一个节点能够聚合到更高阶邻居的信息，从而实现杂草图像节点之间的传播。

上述的步骤3包括：

1)采样方式为以节点为中心的邻居节点进行抽样；

采样算法采用小批量，给定一个输入节点的集合，采样它们的邻居节点，即一阶邻居，对于一阶邻居，采样它们的邻居，即二阶邻居，直到K阶邻居采样完成。

2)采用如下两种聚合函数对节点的邻居进行聚合：

均值聚合函数，对当前节点及其邻居节点进行均值操作，所述均值操作即GCN中的卷积操作，是对节点及其邻居向量的局部谱图卷积的线性相似；

池化均值函数，将所有邻居的向量放进一个全连接网络然后接上一个最大池化层或者平均池化层。

3)根据邻居节点的聚合信息对中心节点进行特征学习，经过多次谱图卷积后，中心节点获得图模型上其他抽样节点的特征，实现特征融合。

本发明具有以下有益效果：

1、本发明通过结合CNN和GraphSAGE网络模型，提升杂草之间的特征联系，通过特征传播，充分利用了图像之间的特征语义信息；

2、本发明可以在仅有少量标记的样本的情况下，很好地把杂草从苜蓿中识别出来；

3、本发明基于图卷积GraphSAGE，泛化性好，对于新加入的节点，可以根据其邻居聚合直接进行学习，而不必对整个网络重新迭代；

4、本发明可实现高精度、稳定的杂草和苜蓿识别，为实现智能农业中杂草精准识别提供技术指导。

附图说明

图1是结合CNN和GraphSAGE网络模型的杂草识别模型示意图；

图2是微调的ResNet-101网络模型示意图；

图3是图卷积GraphSAGE网络模型卷积过程示意图；

附图标记如下：1-学习到邻居节点聚合信息的中心节点。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

基于CNN和GraphSAGE的苜蓿田杂草识别方法，采用如图1所示的结合CNN和GraphSAGE网络模型的杂草识别模型，充分利用杂草图像语义信息和在仅有少量标记样本的情况下可以将杂草从苜蓿田很好地识别出来，具体实施过程如下：

步骤1：输入杂草图像，使用CNN提取杂草图像特征；

CNN具有较强的特征表示能力，首先采用的CNN为微调后的ResNet-101算法模型，微调方式为：去掉全连接层，只保留卷积池化部分以进行杂草图像特征提取，如图2所示，输入原始的杂草图像，图像经过卷积层的下采样计算、池化提取明显特征，将最后一层池化层得到的特征图转化为一维数组，即作为杂草图像的特征信息。

步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；

本发明将杂草和苜蓿的识别问题转化为图上的学习问题，考虑将提取的杂草特征基于欧氏距离构造无向相似性图，即图G＝(V,E,X)是基于提取的杂草特征的欧氏距离构造的，其中V为图节点，每一个杂草样本都被看成是一个图节点，E是边缘集，代表杂草样本节点之间的特征相似度，X是输入特征矩阵，即CNN提取到的特征；

步骤3：杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间的传播，得到融合特征；

将无向相似性图输入图卷积GraphSAGE，如图3所示，图神经网络根据节点上结构和特征的信息在点与点之间传递；

GraphSAGE则是通过聚合函数进行一次迭代的信息的传递过程，一个节点可以聚合邻居的信息，并且通过更新函数更新当前节点的信息，随着迭代次数的增加，一个节点就能够聚合到更高阶邻居的信息，从而达到实现杂草图像节点之间的传播的目的。

1)节点抽样

GraphSAGE的采样方式是将图卷积网络(Graph Convolutional Network，GCN)的全图采样优化到部分以节点为中心的邻居节点的抽样，采样算法采用小批量，给定一个输入节点的集合，采样它们的邻居节点(一阶邻居)，对于一阶邻居，采样它们的邻居(二阶邻居)，直到K阶邻居采样完成。

2)采取合适的聚合函数，对节点的邻居进行聚合；

常用的邻居聚合函数主要有均值聚合函数和池化均值函数。

均值聚合函数对当前节点及其邻居节点进行均值操作，这里的均值可看作GCN中的卷积操作，是对节点及其邻居向量的局部谱图卷积的线性相似。

池化均值函数是将所有邻居的向量放进一个全连接网络然后接上一个最大池化层或者平均池化层。

本发明中分别采取上述两种聚合函数，对节点的邻居进行聚合。

3)根据邻居节点的聚合操作信息来更新中心节点的特征，从而达到学习的目的；

根据邻居节点的聚合操作信息来更新中心节点的特征进行学习，如图3中的标记1为最终根据聚合邻居节点信息得到的中心节点的标记特征。经过多次谱图卷积后，特征节点获得图模型上其他抽样节点的特征。

步骤4：将融合特征输入分类器，基于特征相似性，未标记的杂草样本(测试样本)从图中的邻居节点获得标签信息。

将融合特征放入分类器，根据图权值从标记的训练样本中得到未标记的杂草样本的标签信息，达到杂草和苜蓿准确分类的目的。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。