基于多特征融合的简单背景下的叶片识别方法

摘要

本发明公开了一种基于多特征融合的简单背景下的叶片识别方法，首先采用基于大津阀值法的分割算法对叶片图像进行分割，将叶片与背景分割开来；然后在分割得到的叶片图像上提取多个叶片的轮廓形状及集合特征的描述子，包括多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征；最后采用局部敏感哈希与自定义的加权置信评分算法对提取的多个特征进行融合并匹配。该方法能克服一般特征对细粒度叶片图像无法进行良好描述等问题，通过将多个叶片的显著特征进行融合能很有效地提高识别准确率。

说明书

技术领域

本发明属于计算机图像处理领域，涉及一种基于多特征融合的简单背景下的叶片识别方 法。

背景技术

随着图像获取设备及互联网的迅速发展，海量的图像数据正在生成，而这些图像所包含 的信息也变得越来越重要。如何利用计算机视觉、机器学习等技术方便、快速地检索图像， 也逐渐变成了研究热点。

从上世纪70年代开始，图像检索这个领域已经十分活跃。首先主要是基于文本的图像检 索技术，将图像与对其的文本描述存储至数据库中，而查询时是根据对图像的文本描述进行 检索。但是慢慢的基于文本的图像检索技术的问题就越来越多了。由于当时的技术受限必须 由人工来对图像进行进行关键字的标注工作，非但十分耗时耗力，而且人工的标注往往存在 一些偏差，最终导致错误的检索结果。同时，图像中包含的视觉特征在该技术下也被完全忽 略了。

到了上世纪90年代，为了克服基于文本的图像检索技术产生的一系列问题，基于内容的 图像检索技术诞生了。基于内容的图像检索技术不需要对图像进行人工标注，而是利用计算 机视觉技术对越图像提取其视觉特征，例如颜色、形状和纹理等，然后再对特征进行匹配， 最后返回用户相似的图像。现在，该技术已经得到了广泛应用，包括公安部门指纹图像的分 析、卫星云图的分析等。

现在，基于内容的细粒度的图像检索正在兴起。传统的基于内容的图像检索旨在对不同 大类的物体图像进行分类，而人们越来越希望能对于同一大类物体的图像进行检索，例如鸟 类、真菌等，于是基于内容的细粒度图像的检索应运而生。

植物作为人类赖以生存的元素，自然是人类关注的焦点，人类对于通过计算机而非人工 来自动完成对植物图像的鉴别、分类以及检索工作的需求也越来越迫切。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多特征融合的简单背景下的叶片 识别方法。

本发明的目的是通过以下技术方案来实现的：一种基于多特征融合的简单背景下的叶片 识别方法，包括以下步骤：

(1)经过大津阈值法将叶片图像中的叶片与背景分割开来获得叶片；

(2)对分割得到的叶片图像提取多个叶片特征，包括多尺度三角特征、定向片段直方图、 基于轮廓关键点的特征以及叶片的几何特征；

(3)在进行叶片识别时，将多个叶片特征通过基于位置敏感哈希(LSH)方法映射到哈希 表，每个叶片特征都通过K近邻得出与它最匹配的候选特征列表；使用加权置信评分得到最 后的识别结果；

(4)对步骤3得到的识别结果通过潜在语义分析算法进行进一步重排序，提高识别效果。

进一步地，所述步骤1中，大津阈值法使用某一个阈值将灰度图像根据灰度大小，分成 目标部分和背景部分两类，在这两类的类内方差最小和类间方差最大的时候，得到的阈值是 最优的二值化阈值；具体包括以下子步骤：

(1.1)将简单背景下的叶片图像转换为灰度图；

(1.2)计算灰度图的平均灰度：对于一张大小为M×N的图像，统计获得灰度为i对应的 像素个数为n_i，则平均灰度值u可由下式得出：

$u=\frac{\mathrm{\Sigma i}*n_i}{M\times N}$

(1.3)计算求解最佳阀值t的相关变量：记t为目标与背景的分割阀值，目标像素占的 比例为w₁，目标像素的平均灰度为u₁，则

$w_1=\frac{W_1}{M\times N}$

其中W₁是灰度值大于t的统计值；

$u_1=\frac{\mathrm{\Sigma i}*n_i}{w_i},i>t$

同理可得到背景像素占的比例w₂及平均灰度u₂；

(1.4)求解最佳阀值t：遍历步骤1.3中得到的t，使得下式最大：

G＝w₁*(u₁-u)²+w₂*(u₂-u)²

(1.5)将根据阀值t获得的背景像素赋予白色。

进一步地，所述步骤2中，所述多尺度三角特征具体为：形状边界由N个均匀地分布在 叶片轮廓上的采样点P₁,...,P_N的序列表示，然后将这些采样点按照顺时针的顺序进行排列；每 个采样点P_i由在不同尺度下的Ns个三角形进行表示；引入d(k)用于表示在尺度k中的三角 形点之间的距离，由边界点的数量进行表述，其中1≤k≤Ns；选择在P_i两侧的Ns个点组成 的两个集合来描述P_i，Ns的选择取决于是否寻求捕获本地或全局信息；距离d(k)为均匀的或 对数的；每一个边界点P_i与Ns个三角形相关联，这些三角形由边界点p_i-d(k)、p_i以及p_i+d(k)组成；使用三角形边长和角度特征(TSLA)： $\mathrm{TSLA}\left(p_i\right)=(\mathrm{TSLA}\left(T_i^1\right),...,\mathrm{TSLA}\left(T_i^{N_s}\right));$假设L_1K，L_2K和L_3k是由边界点 p_i-d(k)、p_i以及p_i+d(k)组成的三角形三条边，且长度从小到大排列，设M_k＝L_1k/L_3k、 N_k＝L_2k/L_3k,假设θ为三角形的顶点p_i的角度的绝对值，则的TSLA特征可表述为三元 组(M_k,N_k,θ)。

进一步地，所述步骤2中，所述定向片段直方图具体为：任何轮廓都是一连串连续的元 素成分组成的，一个元素成分可以是一个像素；对于轮廓上的每个像素，通过计算两个变量 的均值来关联方向信息，这两个变量为从原始图像计算出的梯度的角度θ以及θ的导数θ’； 变量θ的值是绝对的，它对应于原始图像的梯度角度；这些角度被投影到一个量化的[0,2π]的 区间中；轮廓则会由一个从该量化空间中得到的方向组成的字符串来表示；第二个变量θ’ 是相对的，它提供了有关的梯度特征的坡度信息；将该特征作用于叶片的形状时，就对应于 主要叶缘的极值；所有大小为s的片段被生成用于描述轮廓信息，每个片段是由轮廓上的连 续像素组成的；给定一个由n个像素组成轮廓P，则P＝(c₁,c₂,...,c_n)，前两个大小为s＝4的 片段为S₁＝(c₁,c₂,c₃,c₄)和S₂＝(c₂,c₃,c₄，c₅)；由于轮廓是闭合的，那么所有可能的片段的总 数量与n相等，也就是P的向量大小；为了确保尺度不变，大小为s的片段将会根据轮廓的 总长度按比例选择，这个比例被表示为p_s＝s/n；对于每一个轮廓的片段S_i、变量θ和θ’， 把具有相同θ和θ’量化值的像素组成集合，这些集合即为定向片段；变量θ和θ’是从区 间[0,2π]随机选取的，且区间[0,2π]被分成M个长度相同的小块；对于每一个变量，分别计算 它的局部直方图，因此，可以得到变量θ和θ’的N个局部直方图；在此基础上，再通过双 直方图总结得出该局部信息，其中还包含了一些叶子的全局信息；量化的θ和θ’可以用来 表示随机变量的方向，记为α，且该值落在区间[0,2π]中；同时，在2n个直方图中频率的幅 度也可以用来表示一个随机变量，记为Q，该值落在区间[0,1]中，然后再量化成J个统一的 小块，零值被排除在外；然后从2n个局部定向直方图中计算随机向量(α,Q)的2D直方图， 在这个过程中把M个在区间[0,2π]中统一的小块作为随机变量α，而把J个统一的小块作为 随机变量Q；这个2D的双直方图将会作为一个特征用以描述叶片，该特征即为定向片段直 方图；在尺度s的空间中，它是一个两维的值的数组，包含M×J个的小块。

进一步地，所述步骤2中，所述基于轮廓点的特征具体为：假设一个物体为P， P＝{p₁,...p_n},p_i∈R²，对于每一个点pi，旨在找出另一个物体上的与该点最匹配的点qi，因 此，引入一个向量集合，该向量集合为从一个点到其余样本点的关联；对于每一个在物体形 状上的点pi，计算一个以相对于剩余n-1个点的坐标为基准的比较粗糙的直方图h(k)：

h_i(k)＝#{q≠p_i:(q-p_i)∈bin(k)}

将该方法用于叶片图像分类中，从叶片图像中提取来自边缘以及叶片内的n个点组成集 合C与V；集合V是由所有的边界点组成而集合C是由哈里斯角点检测的关键点组成，即 C＝{salientpoints},V＝{margin points}，描述了属于同一物种的叶片的叶脉特征与边界点之间的 关系。

进一步地，所述步骤2中，所述叶片几何特征具体为：矩形度记为Rect，代表其形状与 长方形的相似程度：

$\mathrm{Rect}=1-\frac{A}{A_B}$

其中A是一个形状的面积，A_B是最小边界矩形B的面积。

压缩度记为C，被定义为凸包周长p_H值超过原始轮廓p的比率：

$C=\frac{p_H}{p_P}$

凸度记为S，描述物体形状凸或凹的程度：

$S=\frac{A}{A_H}$

其中，A是形状区域的面积，A_H是形状的凸包区的面积；

球形度记为Sph，是边界框ri的内圆的半径和边界框rc的外侧圆的半径之比：

$\mathrm{Sph}=\frac{r_i}{r_c}.$

进一步地，所述步骤3具体包括以下子步骤：

(3.1)对于获取的叶片的多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以 及叶片的几何特征分别使用局部敏感哈希算法对特征进行索引；

(3.2)对于根据多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的 几何特征构造的索引分别使用k近邻得出与检索图像最匹配的图像候选列表；

(3.3)对于根据每个特征检索得到的图像进行进一步筛选，再在上层产生决策列表：假 设一次多图像检索为Q，匹配的图像候选列表N^Q的计算公式如下：

$N^Q=\underset{v\in V}{\Sigma }{n}_v^Q$

其中V是多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征这 些特征的集合，是特征v的图像的数量的总和；在第一个对相同特征的图像进行处理的阶 段时，与v相关的的结果列表被融合并得到最相似的图像列表，其中只有排名最前面的K 个图像被保留；把特征v的图像的标准化的置信评分f_v(Q,s)定义为下式：

$f_v(Q,s)=\frac{m_v^k(Q,s)}{K}$

其中是与特征v相关的图像结果列表中排名最前面的K幅图像中植物类别为s的图像的 数量总和；

在接下来的阶段中，引入了一个在上一个阶段中标准化置信分数的加权和，最终的类别 s的评分由下式给出：

$f(Q,s)=\underset{v=1}{\overset{V}{\Sigma }}{w}_v\left(Q\right)*f_v(Q,s)$

其中w_v(Q)的定义如下：

$w_v\left(Q\right)=\frac{\underset{s}{\max }{f}_v(Q,s)}{\underset{v\in V}{\Sigma }\underset{s}{\max }{f}_v(Q,s)}.$

进一步地，所述步骤4中，所述潜在语义分析是基于特征矩阵的SVD分解；将C转换 成C＝USV^T，其中U和V是正交矩阵，U的列组成了矩阵的特征向量，V^T是C^TC的特征 向量，S是对角矩阵；在潜在语义分析中，矩阵SV^T的列被解释为初始向量至k维潜在空间 的映射；在检索中，一个用户的查询通过被映射为相同的第k维空间得到新的查询查询通过余弦相似性被评价打分，且结果按降序排列；所述步骤4可以概括如下：

(4.1)解决m×m的特征值问题CC^TU＝US²，求出k个最大特征值和对应的特征值；

(4.2)计算原始图像d_j至第k维空间的映射其中，

(4.3)对于查询q，通过余弦函数计算相似性得分，其中

(4.4)通过步骤4.3得到的相似性得分对步骤3中得到的初步检索结果进行进一步重排序， 得到最终结果。

本发明与现有技术相比具有的有益效果：

1、本发明中的特征提取算法能克服普通图像特征描述子例如颜色、形状、纹理等宏观特 征不能满足精细化区分的需要，通过提取具有较强分辨力的叶片的轮廓形状及几何特征能更 好的满足细粒度叶片图像识别的需求，同时这些特征描述子也具有良好的鲁棒性以及抗干扰 能力。

2、本发明中的特征融合算法克服原有的特征过于单一的问题，更好的对叶片特征进行描 述；

3、本发明中的基于潜在语义分析的重排序算法能进一步提高识别效果。

附图说明

图1是叶片识别框架图；

图2是对某一叶片图像进行分割的实例图；

图3是对某一叶片图像提取多尺度三角特征的实例图；

图4是对某一叶片图像提取定向片段直方图特征的实例图；

图5是对某一叶片图像提取基于轮廓关键点的特征特征的实例图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明一种基于多特征融合的简单背景下的叶片识别方法，包括以下步骤：

(1)经过大津阈值法将叶片图像中的叶片与背景分割开来获得叶片；

(2)对分割得到的叶片图像提取多个叶片特征，包括多尺度三角特征、定向片段直方图、 基于轮廓关键点的特征以及叶片的几何特征；

(3)在进行叶片识别时，将多个叶片特征通过基于位置敏感哈希(LSH)方法映射到哈希 表，每个叶片特征都通过K近邻得出与它最匹配的候选特征列表；使用加权置信评分得到最 后的识别结果；

(4)对步骤3得到的识别结果通过潜在语义分析算法进行进一步重排序，提高识别效果。

进一步地，所述步骤1中，大津阈值法使用某一个阈值将灰度图像根据灰度大小，分成 目标部分和背景部分两类，在这两类的类内方差最小和类间方差最大的时候，得到的阈值是 最优的二值化阈值；具体包括以下子步骤：

(1.1)将简单背景下的叶片图像转换为灰度图；

(1.2)计算灰度图的平均灰度：对于一张大小为M×N的图像，统计获得灰度为i对应的 像素个数为n_i，则平均灰度值u可由下式得出：

$u=\frac{\mathrm{\Sigma i}*n_i}{M\times N}$

(1.3)计算求解最佳阀值t的相关变量：记t为目标与背景的分割阀值，目标像素占的 比例为w₁，目标像素的平均灰度为u₁，则

$w_1=\frac{W_1}{M\times N}$

其中W₁是灰度值大于t的统计值；

$u_1=\frac{\mathrm{\Sigma i}*n_i}{w_i},i>t$

同理可得到背景像素占的比例w₂及平均灰度u₂；

(1.4)求解最佳阀值t：遍历步骤1.3中得到的t，使得下式最大：

G＝w₁*(u₁-u)²+w₂*(u₂-u)²

(1.5)将根据阀值t获得的背景像素赋予白色。

进一步地，所述步骤2中，所述多尺度三角特征具体为：形状边界由N个均匀地分布在 叶片轮廓上的采样点P₁,...,P_N的序列表示，然后将这些采样点按照顺时针的顺序进行排列；每 个采样点P_i由在不同尺度下的Ns个三角形进行表示；引入d(k)用于表示在尺度k中的三角 形点之间的距离，由边界点的数量进行表述，其中1≤k≤Ns；选择在P_i两侧的Ns个点组成 的两个集合来描述P_i，Ns的选择取决于是否寻求捕获本地或全局信息；距离d(k)为均匀的或 对数的；每一个边界点P_i与Ns个三角形相关联，这些三角形由边界点p_i-d(k)、p_i以及p_i+d(k)组成；使用三角形边长和角度特征(TSLA)： $\mathrm{TSLA}\left(p_i\right)=(\mathrm{TSLA}\left(T_i^1\right),...,\mathrm{TSLA}\left(T_i^{N_s}\right));$假设L_1K，L_2K和L_3k是由边界点 p_i-d(k)、p_i以及p_i+d(k)组成的三角形三条边，且长度从小到大排列，设M_k＝L_1k/L_3k、 N_k＝L_2k/L_3k,假设θ为三角形的顶点p_i的角度的绝对值，则的TSLA特征可表述为三元 组(M_k,N_k,θ)。

进一步地，所述步骤2中，所述定向片段直方图具体为：任何轮廓都是一连串连续的元 素成分组成的，一个元素成分可以是一个像素；对于轮廓上的每个像素，通过计算两个变量 的均值来关联方向信息，这两个变量为从原始图像计算出的梯度的角度θ以及θ的导数θ’； 变量θ的值是绝对的，它对应于原始图像的梯度角度；这些角度被投影到一个量化的[0,2π]的 区间中；轮廓则会由一个从该量化空间中得到的方向组成的字符串来表示；第二个变量θ’ 是相对的，它提供了有关的梯度特征的坡度信息；将该特征作用于叶片的形状时，就对应于 主要叶缘的极值；所有大小为s的片段被生成用于描述轮廓信息，每个片段是由轮廓上的连 续像素组成的；给定一个由n个像素组成轮廓P，则P＝(c₁,c₂,...,c_n)，前两个大小为s＝4的 片段为S₁＝(c₁,c₂,c₃,c₄)和S₂＝(c₂,c₃,c₄，c₅)；由于轮廓是闭合的，那么所有可能的片段的总 数量与n相等，也就是P的向量大小；为了确保尺度不变，大小为s的片段将会根据轮廓的 总长度按比例选择，这个比例被表示为p_s＝s/n；对于每一个轮廓的片段S_i、变量θ和θ’， 把具有相同θ和θ’量化值的像素组成集合，这些集合即为定向片段；变量θ和θ’是从区 间[0,2π]随机选取的，且区间[0,2π]被分成M个长度相同的小块；对于每一个变量，分别计算 它的局部直方图，因此，可以得到变量θ和θ’的N个局部直方图；在此基础上，再通过双 直方图总结得出该局部信息，其中还包含了一些叶子的全局信息；量化的θ和θ’可以用来 表示随机变量的方向，记为α，且该值落在区间[0,2π]中；同时，在2n个直方图中频率的幅 度也可以用来表示一个随机变量，记为Q，该值落在区间[0,1]中，然后再量化成J个统一的 小块，零值被排除在外；然后从2n个局部定向直方图中计算随机向量(α,Q)的2D直方图， 在这个过程中把M个在区间[0,2π]中统一的小块作为随机变量α，而把J个统一的小块作为 随机变量Q；这个2D的双直方图将会作为一个特征用以描述叶片，该特征即为定向片段直 方图；在尺度s的空间中，它是一个两维的值的数组，包含M×J个的小块。

进一步地，所述步骤2中，所述基于轮廓点的特征具体为：假设一个物体为P， P＝{p₁,...p_n},p_i∈R²，对于每一个点pi，旨在找出另一个物体上的与该点最匹配的点qi，因 此，引入一个向量集合，该向量集合为从一个点到其余样本点的关联；对于每一个在物体形 状上的点pi，计算一个以相对于剩余n-1个点的坐标为基准的比较粗糙的直方图h(k)：

h_i(k)＝#{q≠p_i:(q-p_i)∈bin(k)}

将该方法用于叶片图像分类中，从叶片图像中提取来自边缘以及叶片内的n个点组成集 合C与V；集合V是由所有的边界点组成而集合C是由哈里斯角点检测的关键点组成，即 C＝{salientpoints},V＝{margin points}，描述了属于同一物种的叶片的叶脉特征与边界点之间的 关系。

进一步地，所述步骤2中，所述叶片几何特征具体为：矩形度记为Rect，代表其形状与 长方形的相似程度：

$\mathrm{Rect}=1-\frac{A}{A_B}$

其中A是一个形状的面积，A_B是最小边界矩形B的面积。

压缩度记为C，被定义为凸包周长p_H值超过原始轮廓p的比率：

$C=\frac{p_H}{p_P}$

凸度记为S，描述物体形状凸或凹的程度：

$S=\frac{A}{A_H}$

其中，A是形状区域的面积，A_H是形状的凸包区的面积；

球形度记为Sph，是边界框ri的内圆的半径和边界框rc的外侧圆的半径之比：

$\mathrm{Sph}=\frac{r_i}{r_c}.$

进一步地，所述步骤3具体包括以下子步骤：

(3.1)对于获取的叶片的多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以 及叶片的几何特征分别使用局部敏感哈希算法对特征进行索引；

(3.2)对于根据多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的 几何特征构造的索引分别使用k近邻得出与检索图像最匹配的图像候选列表；

(3.3)对于根据每个特征检索得到的图像进行进一步筛选，再在上层产生决策列表：假 设一次多图像检索为Q，匹配的图像候选列表N^Q的计算公式如下：

$N^Q=\underset{v\in V}{\Sigma }{n}_v^Q$

其中V是多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征这 些特征的集合，是特征v的图像的数量的总和；在第一个对相同特征的图像进行处理的阶 段时，与v相关的的结果列表被融合并得到最相似的图像列表，其中只有排名最前面的K 个图像被保留；把特征v的图像的标准化的置信评分f_v(Q,s)定义为下式：

$f_v(Q,s)=\frac{m_v^k(Q,s)}{K}$

其中是与特征v相关的图像结果列表中排名最前面的K幅图像中植物类别为s的图像的 数量总和；

在接下来的阶段中，引入了一个在上一个阶段中标准化置信分数的加权和，最终的类别 s的评分由下式给出：

$f(Q,s)=\underset{v=1}{\overset{V}{\Sigma }}{w}_v\left(Q\right)*f_v(Q,s)$

其中w_v(Q)的定义如下：

$w_v\left(Q\right)=\frac{\underset{s}{\max }{f}_v(Q,s)}{\underset{v\in V}{\Sigma }\underset{s}{\max }{f}_v(Q,s)}.$

进一步地，所述步骤4中，所述潜在语义分析是基于特征矩阵的SVD分解；将C转换 成C＝USV^T，其中U和V是正交矩阵，U的列组成了矩阵的特征向量，V^T是C^TC的特征 向量，S是对角矩阵；在潜在语义分析中，矩阵SV^T的列被解释为初始向量至k维潜在空间 的映射；在检索中，一个用户的查询通过被映射为相同的第k维空间得到新的查询查询通过余弦相似性被评价打分，且结果按降序排列；所述步骤4可以概括如下：

(4.1)解决m×m的特征值问题CC^TU＝US²，求出k个最大特征值和对应的特征值；

(4.2)计算原始图像d_j至第k维空间的映射其中，

(4.3)对于查询q，通过余弦函数计算相似性得分，其中

(4.4)通过步骤4.3得到的相似性得分对步骤3中得到的初步检索结果进行进一步重排序， 得到最终结果。

实施例

如图2、3、4所示，给出了对叶片图像进行识别的流程实例。下面结合本发明的方法详 细说明该实例实施的具体步骤，如下：

(1)对于图2(a)中的图像采用大津阈值法将叶片与背景分割开来获得叶片，结果如图2(b) 所示；

(2)采用多尺度三角特征、定向片段直方图、基于轮廓关键点的特征对叶片进行特征提 取。对于图3(a)中的图像提取多尺度三角特征如图3(b)所示，图4为提取的定向片段直方图， 对于图5(a)中的图像提取基于轮廓关键点的特征如图5(b)所示；

(3)识别时采用局部敏感哈希及k近邻算法进行检索并进行重排序得到最终的结果。