可扩展的农作物病害分析库的建立以及辅助鉴定方法

摘要

可扩展的农作物病害分析库的建立以及辅助鉴定方法。作物病虫害的识别是一个很大的挑战，因为在大小和颜色上有很多可变因素，从而无法直观地去区分病害种类。本发明采用基于文本检索和基于图像检索相结合，基础检索框架采用Lucene实现文本索引和检索、使用LIRE实现图像索引和检索，根据用户的反馈优化诊断方法和融合方法。本发明用于可扩展的农作物病害分析库的建立以及辅助鉴定。

说明书

技术领域

本发明涉及一种可扩展的农作物病害分析库的建立以及辅助鉴定方法。

背景技术

中国是一个农业大国，农业收益一直深受病虫害影响。据全国农技推广中心统计，我国每年农作物病虫害发生面积80多亿亩次，每年因防治病虫害使用农药200多万吨。传统识别农作物病虫害的方式，通常需要植保技术人员下乡到田，观察作物病症对照鉴定识别，这种方法具有费时费力效率不高，识别率低的特点。大多数情况下，农户常常会根据经验判断对“症”下药，结果可能会因其操作的不科学性和不准确性导致病症没有好转甚至恶化，病害使农作物生长受到抑制，产品变质或减产，有时甚至造成大面积死亡。运用计算机技术对农作物病虫害的识别有非常重要的作用，而基于文本检索和图片检索的应用于农作物病害识别中，相对于传统人工诊断和识别方法具有无法比拟的优越性，提高了农作物病害监测和预警的能力。

农作物在种植过程中，受到有害生物的侵染或不良环境条件的影响，正常新陈代谢受到干扰，从生理机能到组织结构上发生一系列的变化和破坏，以至在外部形态上呈现反常的病变现象，如枯萎、腐烂、斑点、霉粉、花叶等，统称病害。病虫害田间诊断是农业综合技能的体现，也是病虫害防治的首要环节，只有正确诊断，才能进行有效防治，否则延误病情，造成损失。诊断人员包括科研人员、推广人员、作物种植者等，科研与其它两种诊断区别在于：前者可以取样返回实验室培养、分离、镜检都再下结论，准确率高，出具的防治方案针对性强，但时间缓慢，与生产要求的“急诊”不相适应。田间诊断则不一样，必须在第一时间内，通过对作物有无患病症状、症状的特征及田间环境状况的仔细观察和分析，初步判断症状的因由，并给出初步的救治方案，然后再根据实验室分析鉴定，修正防治方案。田间诊断是搞好作物病虫害防治的前提。只有准确的诊断，才能有的放矢，对症下药，从而收到预期的防治效果；

病害的类型多识别复杂，总体分为侵染性和非侵染性两大类：由病原生物引起的侵染性病害的分类方法有，按病原物分为真菌性、细菌性、病毒性和线虫病害等。按寄主植物分为农作物、蔬菜、果树病害和林木病害等，还可按作物种类分为小麦、水稻、棉花等不同作物病害。按症状可分为叶斑病、腐烂病、萎蔫病等。按发病部位可分为根病、茎病、叶病、果病等。按传播方式可分为空气传播、水传、土传、种苗传播、昆虫介体传播等。

同一作物在不同阶段，发育情况是不同的，有不同的颜色和大小的区别。同时，提取病虫害特征的方法，拍取图像的角度、清晰度，识别的方法都为病害的识别增加了难度。

作物病虫害的识别是一个很大的挑战，因为在大小和颜色上有很多可变因素，从而无法直观地去区分病害种类。实验上，国内有基于卷积神经网络对农作物叶片进行识别的研究，取得了一定的成果，对根、茎、花果等没有涉及；也有基于热红外图像处理的方法，但处于较早阶段。实践上国内对农作物病虫害的识别主要还是靠专家在现场进行诊断，这种方法效率低、时效差，远远不能满足我国农业发展的需求。我国农民的接收科技知识能力不高，不能掌握农作物病虫害的发生与发展，往往会错过最佳防治期，在病虫害发生较重时，才大剂量地喷洒农药，使农产品农药残留超标，且严重污染环境；

目前主要的具体识别方法有人工识别、基于内容的图片检索(CBIR，ContentBased Image Retrieve)、图像模式匹配、嵌入式设备监控

图像模式匹配、图像识别主要分为几个步骤

基于内容的图片检索

发明内容

本发明的目的是提供一种可扩展的农作物病害分析库的建立以及辅助鉴定方法。

上述的目的通过以下的技术方案实现：

一种可扩展的农作物病害分析库的建立以及辅助鉴定方法，该方法采用基于文本检索和基于图像检索相结合，基础检索框架采用Lucene实现文本索引和检索、使用LIRE实现图像索引和检索，根据用户的反馈优化诊断方法和融合方法；

该方法包括如下步骤：

病害分析库的建立：

步骤一：病害文本描述的索引建立；

首先进行症状文本的分析，采用基于隐马尔可夫的中文分词模型对文本进行分词器，并进行训练、停用词过滤后构成构成病害专有词表，最终结构化索引的建立；

步骤二：症状图片索引建立；

对图片特征建立索引，并对每张图片均提取多种特征；

步骤三：索引的维护；

农作物病害辅助鉴定：

步骤一：基于症状文本检索的鉴定；

对用户输入的症状文本进行分析，然后构造布尔查询；

步骤二：基于症状图片检索的鉴定；

对用户上传的图片进行特征抽取，执行图片检索，然后检索相似度值修正并输出；

文本检索结果里的相似度用

公式（1）中，L表示用户输入文本的长度， f(L)函数的取值在[0,1)；

当用户不输入症状文字描述的时候f(L)取值为0，诊断结果就只参考图片检索结果，是引入的一个调节超参数，更偏向于文本检索结果，因为文本匹配是一种更直接的匹配方式；

g函数定义如公式（3）所示：

基于公式（1），对P个文本检索结果和Q个图片检索结果的相似度值进行修正，根据修正后的相似度值对P+Q个检索结果倒排序，取前N个作为最终的诊断输出。

所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的步骤一中症状文本的分析具体过程为：采用基于隐马尔可夫的中文分词模型对文本进行分词器，该模型在开放域中文语料上训练；

对分词后的文本进行停用词过滤，停用词表采用常规的停用词表；

整理常见的描述病害症状的词构成病害专有词表，根据专有词表对分词后的文本进行词的合并。

所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的结构化索引的建立的具体过程为：使用lucene对分析处理后的症状文本建立结构化倒排索引，把每一个病害的文本描述及相关类型信息作为一个结构化文档，基于该结构化文档建立结构化索引，在后续检索阶段可支持结构化检索。

所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的症状图片索引建立的具体过程为：对图片建立索引首先要提取图片的特征，然后对图片特征建立索引，使用16种图片特征提取方法，对每张图片均提取16种特征，为后续检索提供多种特征选择；

每个病害的描述有多张图片，把每张图片及其相关病害信息组成一个结构化文档，建立结构化索引。

所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的构造布尔查询的具体过程为：布尔查询是组合多个检索条件的表达式，Lucene根据布尔查询执行检索。由于专家维护的“标准病历”中作物名、生长期、部位要与用户输入的这三类信息一致，用户输入的症状描述与专家维护的症状描述的匹配看作是某种模糊匹配，这种模糊匹配由Lucene执行相似度计算，在相似度计算的时候首先对文本进行分析处理，因而布尔表达式的形式如下：

作物名=用户输入作物名 AND 作物部位=用户输入的作物部位

AND 生长期=用户输入的生长期 AND 用户输入症状相似度计算

执行检索得到的每一个检索结果是一个结构化文档，包含病害名、应对措施和相似度值，检索结果按照相似度值倒排序；

执行检索后，取前P个检索结果。

所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的对用户上传的图片进行特征抽取的具体过程为：在检索阶段，也需要抽取用户上传的C个图片的特征，然后基于特征进行检索，这16种特征抽取器分别是ColorLayout、CEDD、FCTH、JCD、ScalableColor、EdgeHistogram、AutoColorCorrelogram、Tamura、Gabor、SimpleColorHistogram、OpponentHistogram、JointHistogram、LuminanceLayout、PHOG、ACCID、COMO。

所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的执行图片检索的具体过程为：图片检索分为四个步骤：检索、重排序、过滤、投票截取；

（1）使用一种特征抽取器抽取用户上传图片的特征，根据特征执行LIRE的图片检索，得到检索结果列表，每一个检索结果是一个结构化文档，检索结果是根据相似度值倒排序的；

（2）使用另一种特征抽取器抽取用户上传图片的特征，根据该特征对检索结果列表进行重排序；

（3）根据用户输入的作物名称、生长期、作物部位信息对检索结果列表进行过滤，取前K个结果；

（4）用户上传图片的个数是C，根据每个图片检索得到K个检索结果，一共获得C*K的检索结果，然后对C*K个结果进行投票，也就是根据病害名进行合并计数并倒排序，取前M个检索结果；

最终图片检索阶段输出Q个诊断。

有益效果：

1.本发明只需整理好每种病害的典型症状，系统即可有效的利用领域知识，可以极大地降低人力、物力、财力的投入，极小化地完成系统开发，甚至可以不需要专家的参与，利用爬虫技术对已有病害的典型症状进行爬取整理，系统通过建立文本索引库和图像索引库形成病害知识，即领域知识，在进行病害鉴定检索时，会极大地提高检索的效率。

2.本发明不需要对数据进行复杂的加工，检索系统对数据不需要过多的要求，对于文本数据，是经过整理的字符数据，不需要对文本进行删减、增加等操作，就可以输入给系统进行数据处理，然后建立文本索引库，对于图像数据，不需要对图像进行剪裁、旋转、格式更改等复杂操作，就可以输入到系统进行特征提取，从而形成图像索引库。让系统方便快捷地处理各种数据。

3.本发明不需要训练复杂的机器学习模型，本系统没有采用机器学习模型，由于机器学习需要大量的数据作为支撑，对于硬件设施要求高，若采用机器学习模型，会计算大量参数，导致检索时长极大地增加，不符合本系统高效快捷的要求，因此，本系统采用Lucene索引工具和LIRE图像检索工具对农作物病害数据进行处理并索引，形成文本索引库和图像索引库，即病害知识，从而可以高效地处理用户的查询，给出相应的病害诊断结果。

4.该方法构建的系统易于实施、易于复用，易于扩展至其他作物，本系统采用的技术是Lucene索引工具和LIRE图像检索工具，都是优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能，并且采用的编程语言是java，是一种面向对象的编程语言，可以极好地解决复杂的工程问题，且具有良好的简单性、移植性和安全性，使得构建本系统更加高效、易于扩展。

5.本发明引入了索引机制，对文本数据和图像数据进行处理后，并对其进行了索引，形成了文本索引库和图像索引库，索引的底层结构是B+树，B+树一棵平衡树，树的高度永远是最优的，而树的查询效率是log(n)，n为树的高度。因此，当用户使用本系统进行诊断时，首先在文本索引库和图像索引库中对索引进行查找，使得查询时长极大地减少，从而让本系统的诊断效率更加的高效。

附图说明：

附图1是农作物病害鉴定方法体系结构图；

附图2是文本分析流程图；

附图3是症状图片特征提取图；

具体实施方式：

实施例1：

一种可扩展的农作物病害分析库的建立以及辅助鉴定方法，该方法采用基于文本检索和基于图像检索相结合，基础检索框架采用Lucene实现文本索引和检索、使用LIRE实现图像索引和检索，根据用户的反馈优化诊断方法和融合方法；

该方法包括如下步骤：

病害分析库的建立：

步骤一：病害文本描述的索引建立；

首先进行症状文本的分析，采用基于隐马尔可夫的中文分词模型对文本进行分词器，并进行训练、停用词过滤后构成构成病害专有词表，最终结构化索引的建立；

步骤二：症状图片索引建立；

对图片特征建立索引，并对每张图片均提取多种特征；

步骤三：索引的维护；

农作物病害辅助鉴定：

步骤一：基于症状文本检索的鉴定；

对用户输入的症状文本进行分析，然后构造布尔查询；

步骤二：基于症状图片检索的鉴定；

对用户上传的图片进行特征抽取，执行图片检索，然后检索相似度值修正并输出；

文本检索结果里的相似度用

公式（1）中，L表示用户输入文本的长度， f(L)函数的取值在[0,1)；

当用户不输入症状文字描述的时候f(L)取值为0，诊断结果就只参考图片检索结果，是引入的一个调节超参数，更偏向于文本检索结果，因为文本匹配是一种更直接的匹配方式；

g函数定义如公式（3）所示：

基于公式（1），对P个文本检索结果和Q个图片检索结果的相似度值进行修正，根据修正后的相似度值对P+Q个检索结果倒排序，取前N个作为最终的诊断输出。

实施例2：

根据实施例1所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的步骤一中症状文本的分析具体过程为：采用基于隐马尔可夫的中文分词模型对文本进行分词器，该模型在开放域中文语料上训练；

对分词后的文本进行停用词过滤，停用词表采用常规的停用词表；

整理常见的描述病害症状的词构成病害专有词表，根据专有词表对分词后的文本进行词的合并，比如，病斑、病荚、霉状物、凹陷斑、苗枯、叶腐等就是专有词。

实施例3：

根据实施例1或2所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的结构化索引的建立的具体过程为：使用lucene对分析处理后的症状文本建立结构化倒排索引，把每一个病害的文本描述及相关类型信息作为一个结构化文档，基于该结构化文档建立结构化索引，如表1所示，在后续检索阶段可支持结构化检索，其中，病害症状的文本描述需要先进性文本的分析处理，建立词级别索引；

实施例4：

根据实施例1或2或3所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的症状图片索引建立的具体过程为：对图片建立索引首先要提取图片的特征，然后对图片特征建立索引，使用16种图片特征提取方法，对每张图片均提取16种特征，为后续检索提供多种特征选择；

每个病害的描述有多张图片，把每张图片及其相关病害信息组成一个结构化文档，建立结构化索引，每个病害的描述有多张图片，把每张图片及其相关病害信息组成一个结构化文档，如表2所示，建立结构化索引，因而一个病害的多张图片就对应于多个结构化文档，这个多个结构化文档的病害名是相同的。

实施例5：

根据实施例1或2或3或4所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的构造布尔查询的具体过程为：布尔查询是组合多个检索条件的表达式，Lucene根据布尔查询执行检索。由于专家维护的“标准病历”中作物名、生长期、部位要与用户输入的这三类信息一致，用户输入的症状描述与专家维护的症状描述的匹配看作是某种模糊匹配，这种模糊匹配由Lucene执行相似度计算，在相似度计算的时候首先对文本进行分析处理，因而布尔表达式的形式如下：

作物名=用户输入作物名 AND 作物部位=用户输入的作物部位

AND 生长期=用户输入的生长期 AND 用户输入症状相似度计算

执行检索得到的每一个检索结果是一个结构化文档，包含病害名、应对措施和相似度值，检索结果按照相似度值倒排序；

执行检索后，取前P个检索结果。

实施例6：

根据实施例1或2或3或4或5所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的对用户上传的图片进行特征抽取的具体过程为：在检索阶段，也需要抽取用户上传的C个图片的特征，然后基于特征进行检索，这16种特征抽取器分别是ColorLayout、CEDD、FCTH、JCD、ScalableColor、EdgeHistogram、AutoColorCorrelogram、Tamura、Gabor、SimpleColorHistogram、OpponentHistogram、JointHistogram、LuminanceLayout、PHOG、ACCID、COMO。

实施例7：

根据实施例1或2或3或4或5或6所述的可扩展的农作物病害分析库的建立以及辅助鉴定方法，所述的执行图片检索的具体过程为：图片检索分为四个步骤：检索、重排序、过滤、投票截取；

（1）使用一种特征抽取器抽取用户上传图片的特征，根据特征执行LIRE的图片检索，得到检索结果列表，每一个检索结果是一个结构化文档，检索结果是根据相似度值倒排序的；

（2）使用另一种特征抽取器抽取用户上传图片的特征，根据该特征对检索结果列表进行重排序；

（3）根据用户输入的作物名称、生长期、作物部位信息对检索结果列表进行过滤，取前K个结果；

（4）用户上传图片的个数是C，根据每个图片检索得到K个检索结果，一共获得C*K的检索结果，然后对C*K个结果进行投票，也就是根据病害名进行合并计数并倒排序，取前M个检索结果；

最终图片检索阶段输出Q个诊断。

本系统中文本检索使用Lucene架构，Lucene是一个高性能、可伸缩的信息搜索库，它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的项目，Lucene作为一个全文检索引擎，具有如下突出的优点：

（1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件

（2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引合并，达到优化的目的。

（3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。

（4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。

（5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即可使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询、分组查询等等。

本系统的图片检索采用LIRE技术，基于内容的图像检索要求利用图像的一些基本特征，如颜色、纹理、形状以及sift等等搜索相似的图片，LIRE是一款基于Lucene的图像特征索引工具，能方便的对图像特征建立索引和搜索，并兼具Lucene的优点，因此能够准确的农作物病害进行病害诊断。