基于知识蒸馏的移动端病虫害目标检测方法及移动端设备

摘要

本发明公开了一种基于知识蒸馏的移动端病虫害目标检测方法及移动端设备，方法包括以下步骤：步骤1、获取农作物病虫害图像作为数据集；步骤2、对数据集进行预处理；步骤3、采用Swin Transformer神经网络模型并进行训练；步骤4、将训练好的Swin Transformer神经网络模型基于知识蒸馏算法，构建Distill Swin Transformer神经网络模型；步骤5、将Distill Swin Transformer神经网络模型部署至移动端进行检测，移动端设备包括处理器可存储检测模型的可读存储介质。本发明具有农户检测病虫害效率高和精确度高的优点。

说明书

技术领域

本发明涉及病虫害检测方法领域，具体是一种基于知识蒸馏的移动端病虫害目标检测方法及移动端设备。

背景技术

我国是一个农业大国，病虫害的防治对于农业生产生活中一直起着至关重要的作用，但是在实际的农业生产中，面对各种各样的农作物病虫害问题，农户无法精准的识别病虫害的类型，很难判断具体的病因，无法实现对症下药，只能根据自己的经验喷洒农药，这样做非但不能真正解决病虫害，还会让大量的农药残留在农作物中，不仅影响农作物的产量，还会对人们的健康造成威胁。在以往的农业生产中，要想实现对病虫害的精准检测，还是得靠专业的技术人员完成的，这样的方式需要耗费大量的人力、物力和财力，因此，智能化的病虫害检测技术在农作物的生产过程中就显得尤为重要。

发明内容

本发明的目的是提供一种基于知识蒸馏的移动端病虫害目标检测方法及移动端设备，以解决现有技术农作物病虫害依赖专业人员检测存在的效率低和精确度不高的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于知识蒸馏的移动端病虫害目标检测方法，包括以下步骤：

步骤1、获取多张农作物的多种病虫害图像作为数据集；

步骤2、对步骤1得到的数据集进行预处理，以滤除异常数据；

步骤3、采用包含四层的Swin Transformer神经网络模型中，其中第一层包括1个Swin Transformer模块，第二层包括1个Swin Transformer模块，第三层包括4个SwinTransformer模块，第四层包括2个Swin Transformer模块，并采用步骤2预处理后的数据集对Swin Transformer神经网络模型进行训练，得到最优配置参数的Swin Transformer神经网络模型；

步骤4、采用基于知识蒸馏算法的教师学生模型，以步骤3训练好的SwinTransformer神经网络模型作为教师网络，并基于知识蒸馏算法将Swin Transformer神经网络模型包含的知识迁移至学生网络，经过不断迭代重复试验，最终当总损失total loss值最小时，以此时的学生网络作为Distill Swin Transformer神经网络模型；

步骤5、将步骤4得到的Distill Swin Transformer神经网络模型部署至移动端作为检测模型，并将待检测农作物病虫害图像输入至移动端的检测模型中，通过检测模型获取检测结果。

进一步的，步骤2中预处理依次包括数据广增、随机翻转、缩放和填充。

进一步的，步骤3中，按设定比例将所述数据集中数据分为训练集和测试集，将训练集输入至Swin Transformer神经网络模型进行训练得到输出结果，将训练后的输出结果与测试集进行误差计算，并以误差计算结果符合预期的Swin Transformer神经网络模型的配置参数，作为Swin Transformer神经网络模型的最优配置参数。

所述误差计算结果包括分类误差计算结果和回归误差计算结果，当分类误差计算结果、回归误差计算结果均符合预期时，以此时的Swin Transformer神经网络模型的配置参数，作为Swin Transformer神经网络模型的最优配置参数。

进一步的，步骤4中，采用知识蒸馏算法将Swin Transformer神经网络模型包含的知识迁移至学生网络。

一种病虫害目标检测移动端设备，包括处理器和可读存储介质，所述可读存储介质中存储有程序指令，所述处理器读取可读存储介质中的程序指令时运行Distill SwinTransformer神经网络模型。

进一步的，还包括通讯模块，所述处理器通过通讯模块与外部交互数据，由处理器通过通讯模块从外部获取Distill Swin Transformer神经网络模型数据，并存储至可读存储介质中形成所述程序指令。

本发明将训练好的Swin Transformer神经网络模型作为教师网络，利用知识蒸馏算法对其进行压缩，构建一个轻量化的小模型的学生网络，并利用性能更好的SwinTransformer神经网络模型的监督信息，来训练学生网络，能够达到更好的性能和精确度。

本发明的学生网络实现了最佳的参数性能权衡，能够显著提高对病虫害检测的精确度。故本发明方法具有所需计算量小、检测速度快、检测精度相对于其他算法高、模型量小并且迁移简单的特点。

同时，本发明得到的学生网络可实现在移动端的部署，由于移动端设备轻便，农户可以随时随地对农作物进行检测，精准识别后对症下药，从而提高农作物的产量。

与现有技术相比，本发明通过对Swin Transformer神经网络模型进行训练，并基于此模型使用知识蒸馏算法构建学生网络作为Distill Swin Transformer神经网络模型，最终可基于Distill Swin Transformer神经网络模型进行农作物病虫害检测，并可将该Distill Swin Transformer神经网络模型部署于移动端。本发明的优点为：

1、减小了计算量，提升模型精度。

2、降低模型时延，压缩网络参数。

3、能够实现病虫害图片中各标签之间的域迁移。

4、降低数据集的标注量。

5、移动端操作方便农户使用，用户体验感佳。

附图说明

图1是本发明实施例方法流程框图。

图2是本发明实施例Swin Transformer神经网络模型的结构图。

图3为本发明实施例基于知识蒸馏训练学生网络模型的训练流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本实施例基于知识蒸馏的移动端病虫害目标检测方法，包括以下步骤：

（1）、准备数据集：

收集多张小麦多种病虫害的图像作为数据集，该数据集用于训练SwinTransformer神经网络模型。其中，将数据集中的图像数据按7:3的比例划分为训练集和测试集。

（2）、预处理数据集：

分别对划分的训练集、测试集中的数据进行预处理。预处理依次包括数据广增、随机翻转、缩放和填充。其中：

将训练集中数据进行数据广增后，以0.5的概率进行随机翻转，并从11种尺度中随机挑选1种以对相应集中数据进行缩放，能够完成适应多尺度的图像输入，同时对数据进行填充，避免特征损失，以保留小麦各种病虫害的特征。

经过上述预处理，可从训练集、测试集中滤除损坏的图像和重复的图像，对异常数据进行删除。

（3）、采用Swin Transformer神经网络模型并进行训练：

传统的Swin Transformer神经网络模型为[2,2,6,2]结构，即依次包括四层，其中第一层包括1个线性嵌入、2个Swin Transformer模块，第二层包括1个块融合模块、2个SwinTransformer模块，第三层包括1个块融合模块、6个Swin Transformer模块，第四层包括1个块融合模块、2个Swin Transformer模块。输入的图像数据依次经第一层中1个线性嵌入进行维度转换和2个Swin Transformer模块进行特征提取，再经第二层1个块融合模块降低图片分辨率和2个Swin Transformer模块进行特征提取，然后经第三层1个块融合模块降低图片分辨率和6个Swin Transformer模块进行特征提取，最后经第四层1个块融合模块降低图片分辨率和2个Swin Transformer模块进行特征提取，得到最终的特征图，生成检测结果。

而本实施例中，将传统的Swin Transformer神经网络模型从[2,2,6,2]结构修改为[1,1,4,2]结构，如图2所示，即依次包括四层，其中第一层包括1个线性嵌入模块和1个Swin Transformer模块，第二层包括1个块融合模块和1个Swin Transformer模块，第三层包括1个块融合模块和4个Swin Transformer模块，第四层包括1个块融合模块和2个SwinTransformer模块。输入的图像数据依次经第一层中1个线性嵌入模块进行维度转换操作和1个Swin Transformer模块进行特征提取，再经第二层1个块融合模块降低图片分辨率和1个Swin Transformer模块进行特征提取，然后经第三层1个块融合模块降低图片分辨率和4个Swin Transformer模块进行特征提取，最后经第四层1个块融合模块降低图片分辨率和2个Swin Transformer模块进行特征提取，生成检测结果。

本实施例中，采用步骤（2）预处理后的训练集、测试集，对[1,1,4,2]结构的SwinTransformer神经网络模型进行训练。

训练时，先对小麦病虫害训练集进行块划分，将训练集中多张待输入的小麦病虫害图像根据2×2大小划分为H/2×W/2×3的图像块，其中H和W的值分别表示图像长、宽上的像素点，并令此时图像块的特征维度为C =3。

然后将训练集输入至本实施例[1,1,4,2]结构的Swin Transformer 神经网络模型，以对Swin Transformer神经网络模型进行训练。经过多次训练，每次训练时将SwinTransformer神经网络模型得出的小麦病虫害种类作为输出结果。将Swin Transformer神经网络模型输出结果与测试集进行分类误差和回归误差计算，当分类误差、回归误差的计算结果均符合预期时，以此时的Swin Transformer神经网络模型的配置参数为最优配置参数，并由最优配置参数下的Swin Transformer神经网络模型作为最终的模型。

（4）、基于知识蒸馏算法构建Distill Swin Transformer神经网络模型：

基于知识蒸馏算法的教师学生模块，以步骤（3）中训练好的Swin Transformer神经网络模型作为教师学生模型中的教师网络，使用基于“教师-学生网络思想”的知识蒸馏算法将已经训练好的Swin Transformer神经网络模型包含的知识，蒸馏提取迁移到学生网络中，由此知识迁移后的学生网络即为Distill Swin Transformer神经网络模型。通过知识蒸馏能够使Swin Transformer神经网络模型在知识迁移的过程中模型泛化能力更强，降低过拟合的风险，一定程度上减低了Distill Swin Transformer神经网络模型的学习难度，使之具有更多的信息量。同时，采用训练好的Swin Transformer神经网络模型作为教师网络，可以带来更多的监督信息，加快网络的收敛速度，在Swin Transformer神经网络模型的帮助下，Distill Swin Transformer神经网络模型能够实现更好的突破，识别病虫害的精确度显著增强。

本发明采用Swin Transformer神经网络模型作为教师模型，将该模型输出的分类概率分布得到的软标签soft targets来指导学生模型的训练，其中软标签soft targets比硬标签hard targets携带了更多信息，同时使用softmax函数，通过调节温度参数T可以得到更多类别的概率分布，从而使得本发明的学生模型能够得到更多的泛化能力。

教师网络可以给每个病虫害类别都分配概率，甚至是对那些非正确类别的也给一些概率，而这些正确与非正确类别的相对概率大小，向学生网络传递了很多关于教师网络如何泛化性能的一些重要的信息，从而使得本发明的Distill Swin Transformer神经网络模型对识别病虫害类别有了更高的精确度，例如我们给出小麦叶锈病的图片，教师网络就会给出所有类别的概率，其中叶锈病（80%）的概率是最大的，而其他病虫害条锈病（10%）、白粉病（9%）、纹枯病（1%）的概率就比较低，而这些非正确类别预测出的相对概率大小也包含了重要信息，我们要把教师网络得到的知识迁移给学生网络，让学生网络不仅知道小麦患的是叶锈病，还要通过非正确病虫害类别的相对概率大小告诉学生网络，该小麦患的病还有可能是条锈病，而患纹枯病的概率很小，通过知识蒸馏不断的对学生网络进行训练，从而实现对病虫害的精准判别。

每次知识迁移时均对学生网络进行训练，训练过程如图3所示，第一步，将训练集中的小麦病虫害图像分别输入至教师网络和学生网络，教师网络和学生网络会分别给n个病虫害类别的预测概率logit，将教师网络得到的每个预测概率logit经过温度T=3蒸馏，由softmax函数得到软标签soft targets，学生网络得到的每个logit采用与教师网络同样的温度T=3蒸馏，由softmax函数得到软预测soft predictions，将软标签soft targets与软预测soft predicitions进行拟合，得到软损失soft loss。

其中，softmax（）为softmax函数，

其中，a表示总样本数，b表示总类别数，i表示第i个样本，j表示第j类，

第二步，将训练集中的小麦病虫害图像只输入至学生网络，得到学生网络对n个病虫害类别的预测概率logit，将温度设为T=1，由softmax函数得到硬预测hardpredictions，再引入硬标签hard targets，即输入小麦病虫害图像已知的类别概率的硬标签hard targets为1，其他可能的病虫害类别概率的硬标签hard targets均为0，将硬预测hard predictions与硬标签hard targets进行拟合，得到硬损失hard loss如下：

其中，a表示总样本数，i表示第i个样本，j表示硬标签hard targets值为1的类，

将上述两步操作得到的软损失soft loss和硬损失hard loss进行相加得到总损失total loss，再通过总损失total loss来训练学生网络，经过不断迭代重复试验，最终当总损失total loss值最小时，以此时的学生网络作为Distill Swin Transformer神经网络模型，现在可以直接将测试集中小麦病虫害的图像输入至Distill Swin Transformer神经网络，不需要再进行蒸馏操作，温度设为T=1，由softmax函数即可得出病虫害的预测结果。

（5）、将得到的Distill Swin Transformer神经网络模型迁移部署至移动端，使用者通过移动端中的Distill Swin Transformer神经网络模型完成小麦病虫害检测。

本实施例还公开了一种移动端设备，该移动端设备包括集成于同一人工智能开发板上的处理器、可读存储介质，以及处理器连接的显示器。可读存储介质中存储有程序指令，该程序指令包括环境配置模块、模型运行模块，模型运行模块中存储Distill SwinTransformer神经网络模型。

处理器读取可读存储介质中的程序指令时，首先在移动终端的操作系统中配置Distill Swin Transformer神经网络模型的代码运行环境，完成环境配置。然后运行在移动终端操作系统中运行所述Distill Swin Transformer神经网络模型。

该移动端设备还自带摄像头或外接摄像头，通过摄像头采集待检测小麦病虫害图像数据并传输至处理器，处理器首先将待检测小麦病虫害图像数据进行降分辨率处理，以提高运行速度，然后再将降分辨率的待检测小麦病虫害图像数据输入至运行的DistillSwin Transformer神经网络模型，由Distill Swin Transformer神经网络模型对待检测的小麦病虫害图像数据进行检测处理，得到输出结果，最终输出结果显示在显示器上，完成对病虫害的目标检测。

本实施例中，Distill Swin Transformer神经网络模型固化于可读存储介质中或者处理器通过通讯模块与外部交互数据，以得到Distill Swin Transformer神经网络模型数据并存储于可读存储介质中形成程序指令。

本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。