首页> 中国专利> 一种基于多特征稀疏表示技术的害虫图像识别方法

一种基于多特征稀疏表示技术的害虫图像识别方法

页面导航

摘要
著录项
法律信息
说明书
相似文献

摘要

本发明涉及一种基于多特征稀疏表示技术的害虫图像识别方法，与现有技术相比解决了害虫图像识别方法在复杂现实环境中识别能力较差的缺陷。本发明包括以下步骤：害虫图像的多特征提取；构建多特征训练样本矩阵；多特征融合学习；多特征融合识别。本发明提高了害虫识别的准确率。利用害虫图像的颜色特征、形状特征以及纹理特征分别构造相应的特征训练样本矩阵，结合稀疏表示识别框架，通过融合颜色、形状、纹理三种特征下的识别结果，实现了不同特征的有效融合。

著录项

公开/公告号CN104077612A

专利类型发明专利
公开/公告日2014-10-01

原文格式PDF
申请/专利权人中国科学院合肥物质科学研究院;
展开▼

申请/专利号CN201410337582.2
发明设计人王儒敬;张洁;谢成军;李瑞;洪沛霖;宋良图;董伟;周林立;郭书普;张立平;黄河;聂余满;
展开▼

申请日2014-07-15
分类号G06K9/66(20060101);G06K9/00(20060101);
代理机构34115 合肥天明专利事务所;
代理人张祥骞;奚华保
地址 230031 安徽省合肥市蜀山湖路350号
入库时间 2023-12-17 01:49:17

法律信息

法律状态公告日

法律状态信息

法律状态
2017-09-22

授权

授权
2014-10-29

实质审查的生效 IPC(主分类):G06K9/66 申请日:20140715

实质审查的生效
2014-10-01

公开

公开

说明书

技术领域

本发明涉及图像识别技术领域，具体来说是一种基于多特征稀疏表示技术的害虫图像识别方法。

背景技术

计算机图像处理技术和理论的飞速发展，为实现害虫的识别提供了先进的技术手段。由于其具有速度快、准确性高、信息量大等优点，近年来在害虫识别方面得到较多的应用。利用该技术可以及时、准确地识别害虫，减少农药的使用，提高作物产量和质量，保护生态环境。现阶段研究人员已经提出了多种害虫图像识别方法，这些方法在环境得到有效控制的前提下性能卓越。然而在现实场景中复杂的农田背景、害虫的不同姿态以及不同外貌等变化较大，农作物害虫的识别受图像多种特征的影响，这些害虫识别方法的性能则存在一定局限性。稀疏表示的方法对遮挡和像素污染等均具有鲁棒性，因此如何利用多特征稀疏表示技术来进行害虫图像的识别已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中害虫图像识别方法在复杂现实环境中识别能力较差的缺陷，提供一种基于多特征稀疏表示技术的害虫图像识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于多特征稀疏表示技术的害虫图像识别方法,包括以下步骤：

害虫图像的多特征提取，提取害虫图像的颜色特征、纹理特征和形状特征；

构建多特征训练样本矩阵，构建稀疏表示下的训练样本矩阵；训练样本矩阵定义如下：

$D^{f} = [D_{1}^{f}, D_{2}^{f} . . . D_{c}^{f}]$ 其中， $D_{i}^{f} = [d_{i, 1}^{f}, d_{i, 2}^{f} . . . d_{i, n_{i}}^{f}]$

其中，为属于c类害虫中第i类害虫在特征f情况下第的n_i个训练样本， i＝1,2,…,c；j＝1,2,…,n；f＝1,2,3；是第i类害虫的在特征f 情况下的训练样本矩阵，n为训练样本维数；

多特征融合学习，通过融合在不同特征参数下的稀疏表示识别结果，学习多特征融合权值；

多特征融合识别，通过多特征融合学习获得的最优化权值得到害虫的所属类别。

所述的害虫图像的多特征提取包括以下步骤：

提取害虫图像的颜色特征，包括均值、方差、标准差、偏度、峰度、熵，其分别定义如下：

$m = Σ_{i = 0}^{L - 1} ih (i), σ^{2} = Σ_{i = 0}^{L - 1} {(i - m)}^{2} h (i)$

$s = \sqrt{1 / n - 1 Σ_{i = 0}^{L - 1} {(i - m)}^{2}}, S = 1 / σ^{3} Σ_{i = 0}^{L - 1} {(i - m)}^{3} h (i)$

$K = 1 / σ^{4} Σ_{i = 0}^{L - 1} {(i - m)}^{4} h (i), RE = - Σ_{i = 0}^{L - 1} h (i) \log [h (i)],$

其中，m表示均值、σ2表示方差、s表示标准差、S表示偏度、K表示峰度、RE表示熵、i表示颜色分量值、L表示图像灰度级数、h(i)表示颜色分量值为i的像素概率；

提取害虫图像的纹理特征，使用图像的局部二值模式特征进行提取，其公式如下：

${LBP}_{P, R} (x, y) = Σ_{p = 0}^{P - 1} s (i_{n} - i_{c}) 2^{p}$

其中，LBP_P，R(x，y)表示局部二值模式特征，i_c表示中心像素点(x,y)的灰度值、i_n表示在半径R处相邻点的灰度值、P表示中心像素点周围相邻像素点的个数，函数s(x)定义成下式所示

$s (x) = (\begin{matrix} 1 & x \geq 0 \\ 0 & x < 0 \end{matrix}) .$

提取害虫图像的形状特征，包括狭长度、圆形度、惯性主轴方向、偏心率、球状性、紧凑度，其定义如下：

狭长度： $L = \frac{M_{θ, \max}}{M_{θ, \min}},$ 其中 $M_{θ} = Σ_{i = 1}^{N} Σ_{j = 1}^{M} (j>\cosθ-i>\sinθ)2f(i, j);$

圆形度：其中L为上式计算的狭长度，A和B分别为区域的面积和周长；

惯性主轴方向：其中u_pq是(p+q)阶中心矩；

偏心率：式中，H为惯性积，A、B分别是绕X、Y 轴的转动惯量；

球状性：其中r_i和r_c分别表示区域的内切圆半径和外接圆半径；

紧凑度：其中A表示区域的面积，p表示边界的周长。

所述的多特征融合学习包括以下步骤：

预处理害虫样本图片，对害虫样本图片进行去噪、分割、灰度化；

对样本图像分别提取颜色、纹理以及形状特征并构建训练样本矩阵；

通过稀疏表示框架获得不同特征情况下的识别结果{h_i,j}，稀疏表示框架定义如下：

${\hat{x}}_{i}^{f} = \arg >\min{| | x_{i}^{f} | |}_{1}subject>{| | y_{i}^{f} - D^{f} x_{i}^{f} | |}_{2}<ϵ$

其中，表示待测试样本，下标i对应稀疏表示框架中识别结果为第i类别，f 分别为颜色、纹理、形状特征类别；

通过决策矩阵计算方法得到决策矩阵，

给定一个待测试样本y_i∈S，S是待测试样本集合，在颜色、纹理、形状不同特征参数的情况下的分类结果为{h_i,j},j＝1,2,3；决策矩阵F＝{f_i,j},i＝1,2,…,c； j＝1,2,3；决策矩阵的计算公式如下：

$f_{i, j} = g (z_{i}, h_{i, j}) = (\begin{matrix} + 1, if & z_{i} = h_{i, j} \\ - 1, if & z_{i} \neq h_{i, j} \end{matrix})$

其中，z_i是样本y_i标记；

若f_i,j＝+1意味着样本y_i被正确的在第j个特征参数上进行分类，反之亦然；

通过优化方法解决在不同特征参数下的识别结果的融合，通过稀疏表示识别结果优化方法学习多特征融合权值，稀疏表示识别结果优化方法公式如下：

$\hat{w} = {\arg >\min}_{w} {{| | e - Fw | |}_{2}^{2} + l {| | w | |}_{1}}$

$s . t . Σ_{j}^{3} w_{j} = 1, w_{j} > 0, j = 1,2,3 .$

其中，l是正则化参数，e是一个长度为3的单位向量，Fw为稀疏系数决策矩阵。

所述的多特征融合识别包括以下步骤：

预处理待测试图片，对待测试图片进行去噪、分割、灰度化；

对待测试图像分别提取颜色、纹理以及形状特征；

针对待测试图像使用稀疏表示框架获得不同特征情况下的识别结果{h_i,f}, f＝1,2,3；

根据学习获得的最优化值通过稀疏表示识别结果优化方法获得害虫的所属类别。

有益效果

本发明的一种基于多特征稀疏表示技术的害虫图像识别方法，与现有技术相比提高了害虫识别的准确率。利用害虫图像的颜色特征、形状特征以及纹理特征分别构造相应的特征训练样本矩阵，结合稀疏表示识别框架，通过融合颜色、形状、纹理三种种特征下的识别结果，实现了不同特征的有效融合。

附图说明

图1为本发明的方法流程图

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于多特征稀疏表示技术的害虫图像识别方法,其特征在于,包括以下步骤：

第一步，害虫图像的多特征提取，提取害虫图像的颜色特征、纹理特征和形状特征。害虫图像的底层特征包括颜色特征、纹理特征以及形状特征。目前的害虫识别主要根据图像的单一底层特征进行，缺乏对底层特征的综合应用。单一底层特征限制了众多特征联合对图像进行诠释理解的可能性，因此会导致害虫识别的准确率偏低。鉴于此，本发明基于稀疏表示来对图像的颜色特征、纹理特征以及形状特征进行融合，得到的融合特征可以互补地表示图像中包含的多种信息，从而提高识别率。其具体包括以下步骤：

(1)提取害虫图像的颜色特征，颜色特征是一种全局特征，简便而直观，并且其对方向和大小都不敏感。颜色特征相对于其它特征来说具有很强的鲁棒性，包括均值、方差、标准差、偏度、峰度、熵，其分别定义如下：

$m = Σ_{i = 0}^{L - 1} ih (i), σ^{2} = Σ_{i = 0}^{L - 1} {(i - m)}^{2} h (i)$

$s = \sqrt{1 / n - 1 Σ_{i = 0}^{L - 1} {(i - m)}^{2}}, S = 1 / σ^{3} Σ_{i = 0}^{L - 1} {(i - m)}^{3} h (i)$

$K = 1 / σ^{4} Σ_{i = 0}^{L - 1} {(i - m)}^{4} h (i), RE = - Σ_{i = 0}^{L - 1} h (i) \log [h (i)],$

其中，m表示均值、σ2表示方差、s表示标准差、S表示偏度、K表示峰度、RE表示熵、i表示颜色分量值、L表示图像灰度级数、h(i)表示颜色分量值为i的像素概率。

若要保证提取颜色数据的准确性和稳定性，可以在RGB和HIS颜色模型下，计算红色、绿色、蓝色、色调、饱和度和强度各通道中均值、方差、标准差、偏度、峰度、熵的值。

(2)提取害虫图像的纹理特征，使用局部二值模式(local binary patterns， LBP)进行提取。LBP是一种描述图像局部空间结构的非参数算子，对于像素点(x,y)处的LBP值可以用下式表示

${LBP}_{P, R} (x, y) = Σ_{p = 0}^{P - 1} s (i_{n} - i_{c}) 2^{p}$

$s (x) = (\begin{matrix} 1 & x \geq 0 \\ 0 & x < 0 \end{matrix}) .$

若图像在平面内旋转时，中心点i_c的邻域点i_n也以相同的方向旋转，这种旋转会产生不同的LBP_P,R值。对经过LBP算子变换后的图像进行直方图统计，得到LBP直方图。其表示形式如下式来定义

$H_{i} = \underset{x, y}{Σ} F ({LBP}_{P, R}^{u 2} (x, y), i),$

$i = 1, . . ., P (P - 1) + 3, F (u, v) = (\begin{matrix} 1, & u = v \\ 0, & u \neq v \end{matrix})$

H_i为在半径R下以中心像素点(x,y)局部纹理直方图特征值。

(3)提取害虫图像的形状特征，形状特征是描述目标的一种重要特征。为了避免图像尺寸、相对位置以及方向对害虫形状特征提取的影响，本发明采用的狭长度、圆形度、惯性主轴方向、偏心率、球状性、紧凑度均是全局形状特征。其定义如下：

狭长度： $L = \frac{M_{θ, \max}}{M_{θ, \min}},$ 其中 $M_{θ} = Σ_{i = 1}^{N} Σ_{j = 1}^{M} (j>\cosθ-i>\sinθ)2f(i, j);$

圆形度：其中L为上式计算的狭长度，A和B分别为区域的面积和周长；

惯性主轴方向：其中u_pq是(p+q)阶中心矩；

偏心率：式中，H为惯性积，A、B分别是绕X、Y 轴的转动惯量；

球状性：其中r_i和r_c分别表示区域的内切圆半径和外接圆半径；

紧凑度：其中A表示区域的面积，p表示边界的周长。

第二步，构建多特征训练样本矩阵，构建稀疏表示下的训练样本矩阵。假定c类害虫在某一特征下，第i类害虫的训练样本数为n_i(i＝1,2,...,c)，训练样本矩阵定义如下：

$D^{f} = [D_{1}^{f}, D_{2}^{f} . . . D_{c}^{f}]$

其中，为属于c类害虫中第i类害虫在特征f情况下第的n_i个训练样本， i＝1,2,…,c；j＝1,2,…,n；f＝1,2,3；是第i类害虫的在特征f 情况下的训练样本矩阵，n为训练样本维数。因此由c类害虫的训练样本矩阵构成完备的训练样本矩阵 $D_{i}^{f} = [d_{i, 1}^{f}, d_{i, 2}^{f} . . . d_{i, n_{i}}^{f}] .$

在此步结束后，完成了多特征(颜色特征、纹理特征和形状特征)训练样本矩阵的构建，基于三种特征可以更加准确、清晰的对害虫图像进行识别。后续可以使用SVM(支持向量机)进行自我学习和识别，但为了进一步提高识别度和准确性，在此提出基于多特征融合学习和识别方法。

第三步，多特征融合学习，通过融合在不同特征参数下的稀疏表示识别结果，学习多特征融合权值。其具体步骤如下：

(1)预处理害虫样本图片，对害虫样本图片进行去噪、分割、灰度化。预处理过程为摄像机拍到图像进行清晰化、灰度、分割处理，以配合后期的多特征提取。

(2)对样本图像分别提取颜色、纹理以及形状特征并构建训练样本矩阵，按照第一步中的方法进行颜色、纹理以及形状特征的提取，按照第二步中的方法构建训练样本矩阵

(3)通过稀疏表示框架获得不同特征情况下的识别结果{h_i,j}，稀疏表示框架定义如下：

${\hat{x}}_{i}^{f} = \arg >\min{| | x_{i}^{f} | |}_{1}subject>{| | y_{i}^{f} - D^{f} x_{i}^{f} | |}_{2}<ϵ$

其中，表示待测试样本，下标i对应稀疏表示框架中识别结果为第i类别，f 分别为颜色、纹理、形状特征类别。

(4)通过决策矩阵计算方法得到决策矩阵，决策矩阵作为一种优化方法，用于判断样本y_i被正确的在第j个特征参数上进行分类。

$f_{i, j} = g (z_{i}, h_{i, j}) = (\begin{matrix} + 1, if & z_{i} = h_{i, j} \\ - 1, if & z_{i} \neq h_{i, j} \end{matrix})$

其中，z_i是样本y_i标记；

若f_i,j＝+1意味着样本y_i被正确的在第j个特征参数上进行分类，反之亦然。

(5)通过优化方法解决在不同特征参数下的识别结果的融合，通过稀疏表示识别结果优化方法学习多特征融合权值，针对稀疏表示的识别结果进行最小化取值，以进行再次优化处理，学习多特征融合权值

稀疏表示识别结果优化方法公式如下：

$\hat{w} = {\arg >\min}_{w} {{| | e - Fw | |}_{2}^{2} + l {| | w | |}_{1}}$

$s . t . Σ_{j}^{3} w_{j} = 1, w_{j} > 0, j = 1,2,3 .$

其中，l是正则化参数，e是一个长度为3的单位向量，Fw为稀疏系数决策矩阵。

第四步，多特征融合识别，通过多特征融合学习获得的最优化权值得到害虫的所属类别。识别与学习类似，可以通过SVM(支持向量机)直接进行识别，其具体步骤如下：

(1)预处理待测试图片，对待测试图片进行去噪、分割、灰度化。同理，对摄像机拍到图像进行清晰化、灰度、分割处理，以配合后期的多特征提取。

(2)对待测试图像分别提取颜色、纹理以及形状特征。

(3)针对待测试图像使用稀疏表示框架获得不同特征情况下的识别结果 {h_i,f},f＝1,2,3。

(4)根据学习获得的最优化值通过稀疏表示识别结果优化方法获得害虫的所属类别。

针对中国南方水稻中常见的五种害虫，分别是白背飞虱、稻纵卷叶螟、褐飞虱、灰飞虱、中华稻蝗，每种害虫选择150幅图像作为训练样本图像，100幅图像作为测试图像。实验中图像大小标准为300×300，图像的格式为JPG格式。

试验1：为了验证多特征融合下的害虫识别方法的有效性，试验1分别提取害虫的颜色、纹理、形状以及多特征融合来构造训练样本矩阵，通过稀疏重构方法实现单一特征下的害虫识别。表1给出了不同特征模式下的5种害虫识别精度。从表1不难发现，与颜色特征和形状特征相比，通过害虫纹理特征来进行识别的准确率较低，而通过颜色或形状特征来进行害虫识别获得了较好的效果。通常纹理特征可以作为描述目标物体外观特征(如为颜色特征与形状特征) 的有效补充。本文提出的多特征融合的方法，与其他3种特征方法相比，识别精度均提高7％以上，这主要得益于本文将以上3种特征通过稀疏表示识别框架进行了有效融合。

表1不同特征下的害虫识别率

％

特征颜色纹理形状多特征白背飞虱 75 55 79 85 稻纵卷叶螟 80 52 81 88 褐飞虱 80 52 81 88 灰飞虱 65 55 78 87 中华稻蝗 85 70 85 92

试验2：为了验证本文提出的害虫识别方法的有效性，在同一数据集上，分别采用本文方法、支持向量机方法、神经网络方法、稀疏表示方法进行害虫识别比较。表2给出了4种方法下的5种害虫识别精度。

表2不同识别方法的害虫识别率

％

方法支持向量机神经网络稀疏表示本文方法白背飞虱 65 70 78 85 稻纵卷叶螟 70 75 83 88 褐飞虱 73 80 85 88 灰飞虱 60 70 80 84 中华稻蝗 64 75 86 92

从表2不难发现，支持向量机方法的识别率较低。稀疏表示方法与本文方法较为接近，但从总体上可以看出，本发明在5种害虫的识别精度都高于稀疏表示方法，这还是得益于本文在稀疏表示识别框架下运用3种特征的有效融合。

利用害虫图像的颜色特征、形状特征以及纹理特征分别构造相应的特征训练样本矩阵，结合稀疏表示识别框架，通过学习3种特征下的识别结果，实现不同特征有效融合。通过实验表明，在相同方法下，多特征融合较单一特征方法识别精度提高7％以上。与其他方法相比本文所提方法识别精度最高。此外，本文所提方法在实际农田环境下的害虫平均识别精度均高于现有识别方法 6％以上。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

去获取专利，查看全文>

相似文献

专利
中文文献
外文文献

1. 一种基于多特征稀疏表示技术的害虫图像识别方法 [P] . 中国专利： CN104077612B . 2017.09.22
2. 一种基于多特征深度学习技术的农田害虫图像识别方法 [P] . 中国专利： CN105488536B . 2019.03.05
3. HUMAN EYES IMAGES BASED MULTI-FEATURE FUSION IDENTIFICATION METHOD [P] . 世界知识产权组织专利： WO2012142756A1 . 2012-10-26

机译：基于人眼图像的多特征融合识别方法
4. The ‘Property Identification Method’ (“PIM”) is a novel algorithm through which a Real Estate Authority and/or Conveyancing data is created through image-processing a document such as a Council/Shire Rates Notice. This invention establishes a unique algorithm incorporating techniques such deep learning segmentation and computer vision to decode property information. This application utilises computer-implemented technology configured in such manner as to enable conveyancers and real estate agents to automate the creation of client files. [P] . AU2020102233A4 . 2020-10-29

机译： “财产识别方法”（“ PIM”）是一种新颖的算法，通过该算法，可以通过对文件（如市议会/房屋价格通知）进行图像处理来创建房地产管理局和/或产权转让数据。本发明建立了一种独特的算法，该算法结合了诸如深度学习分段和计算机视觉之类的技术来解码属性信息。该应用程序利用以某种方式配置的计算机实现的技术，以使运输商和房地产经纪人能够自动创建客户端文件。
5. System and method of video Telecommunication to compress and decompress The Video Data of color digitalThe present Invention relates to a method for compressing a digital color Video Data in a Telecommunication System Video that has a means for generating a video signal that is uN means for generating a video signal to a Plurality of color video framerate,With Every Frame Image consisting of a Plurality of Scanning Lines composed of a Plurality of pixelsAnd each pixel in the image Frame consists of the components of color digitalThe Method comprises the steps of determining a function); Luminance pixel based on at least one of the three components of color digital(b) identify at least one parameter decision for at least a significant portion of pixels in the scanlines of a Table of current image based on the difference ofThe role in Luminance between the pixels at a Predetermined distance from at least one pixel in each Scan line and at least a (c) comparison of decision parameter with [P] . MX166516B . 1993-01-11

机译：用于压缩和解压缩彩色数字视频数据的视频电信系统和方法技术领域本发明涉及一种用于压缩电信系统视频中数字彩色视频数据的方法，该方法具有用于生成视频信号的装置，该装置是用于生成视频信号的装置。将视频信号转换为多个彩色视频帧速率，每个帧图像由多个扫描线组成，扫描线由多个像素组成，图像中的每个像素由彩色数字分量组成（该方法包括确定功能的步骤）;基于彩色数字（b）的三个分量中的至少一个的亮度像素，基于两个像素之间的亮度差异，针对当前图像表的扫描线中的至少大部分像素，确定至少一个参数决策。与每条扫描线中至少一个像素相距预定距离的像素，以及至少（c）比较决策参数与