一种基于混合微结构描述子的图像检索方法

摘要

本发明涉及一种基于混合微结构描述子的图像检索方法，首先利用混合微结构描述子（Hybrid MSD，HMSD）生成图像库对应的图像特征库，接着利用HMSD提取检索图像的内容特征，然后利用相似性度量准则进行度量，最后将相似性度量结果排序，并对应为图像呈现给用户。由于本发明中混合微结构描述子含有两种常用的颜色空间模型下的方向和颜色的微结构，因此在颜色、纹理、形状特征以及颜色分布信息上有很强的分辨能力，在一定程度上反映着人类视觉系统的属性。因此基于混合微结构描述子的图像检索方法的图像检索性能有着较大的提升。

说明书

技术领域

本发明涉及一种基于混合微结构描述子的图像检索方法。

背景技术

基于内容的图像检索(Content Based Image Retrieval,CBIR)基本思想是根据检索图 像所包含的视觉感知内容和语义内容建立特征矢量，进而根据特征矢量的相似度进行 匹配检索。CBIR中常用的视觉内容特征主要包括图像颜色、形状和纹理等。颜色、 形状、纹理从不同角度刻画图像内容。为了提高检索性能，需要更合理的描述图像内 容，因此有效的综合不同类型特征是提升检索性能的有效方法。文献“Image retrieval  based on micro-structure descriptor,Pattern Recognition,2011,44(9):2123-2133.”公开了 一种用于特征提取的微结构描述子（Micro-Structure Descriptor，MSD）。该方法利用微 结构对图像的颜色、纹理、形状及其分布信息进行了有效的综合描述。首先将输入自 然图像转换到HSV颜色空间，然后在得到的图像进行边缘方向的提取，接着在边缘方 向图像上提取微结构图，最后，根据微结构图在量化后的HSV颜色空间图像上进行映 射，得到最终的微结构图像，并对微结构图像进行共生矩阵和直方图的描述。虽然该 方法结合颜色、纹理和形状等图像特征，但是由于微结构图像是由边缘方向图像和量 化图像进行求交集运算产生的，因此边缘方向信息和颜色信息描述能力不足，而且该 方法中微结构分析过程复杂。

综上所述，现有的特征提取方法不能很有效的综合表征图像的颜色、纹理、边缘 方向等图像内容信息。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于混合微结构描述子的图像检 索方法，克服现有图像检索方法中特征描述能力不足的缺点，提高图像检索的精度。

技术方案

一种基于混合微结构描述子的图像检索方法，其特征在于步骤如下：

步骤1：对图像库中所有图像，利用混合微结构描述子进行图像内容的特征描述， 生成对应的图像特征库；

步骤2：利用混合微结构描述子提取检索图像的内容特征；

步骤3：将检索图像特征和图像特征库中的特征向量进行相似性度量；

步骤4：将相似性度量的前N个结果对应的图像返回，相似性量化方法采用城市 块距离；

所述步骤1和步骤2的混合微结构描述子步骤如下：

步骤a：对输入图像分别转换为RGB和HSV颜色空间模型下的数据；

步骤b：对每种颜色空间模型下的图像数据分别进行边缘方向提取和颜色量化， 得到颜色量化图像和边缘方向图像；

步骤c：分别对每个颜色量化图像和边缘方向图像进行微结构分析并进行直方图 描述；

步骤d：将不同颜色模型下的两个相同类型的微结构使用共生矩阵和直方图进行 描述；

步骤e：将混合的量化图像微结构直方图和混合的边缘方向微结构直方图进行综 合。

所述步骤b中的边缘方向提取步骤如下：

步骤（a）：在三维颜色空间中使用Sobel算子求出图像每个通道在x和y方向的 方向梯度；

步骤（b）：根据公式$\left|a\right|=\sqrt{{\left(X_h\right)}^2+{\left(Y_h\right)}^2+{\left(Z_h\right)}^2},$$\left|b\right|=\sqrt{{\left(X_v\right)}^2+{\left(Y_v\right)}^2+{\left(Z_v\right)}^2}$得到公式 a·b＝X_hX_v+Y_hY_v+Z_hZ_v，然后根据向量间夹角公式计算出图像边缘 方向图像；

其中，a(X_h,Y_h,Z_h)和b(X_v,Y_v,Z_v)分别表示水平和垂直方向的梯度，X_h表示X通 道在水平方向的梯度，X_v表示X通道在垂直方向的梯度。Y_h、Y_v和Z_h、Z_v分别是Y、Z 通道在两个方向的梯度；

步骤（c）：将每个像素的边缘方向θ统一量化成m格，其中m∈{6,12,...,36}。θ(x,y) 表示边缘方向图，其中在HMSD中，统一将方向量化为m= 24，步长为7.5°。

所述步骤b中颜色量化方法如下：HMSD的颜色空间模型的量化中采用将HSV 颜色空间和RGB统一量化为120色的方法。其中两个模型的H和R部分被量化为0 到5，S和G部分被量化为0到3，V和B部分被量化0到4，综合起来，两种模型都 是产生120色。

所述步骤c中的微结构分析方法如下：在图像中，从上到下、从左到右遍历每个 点，当该点与其三邻域的点（0°，45°和90°方向上的相邻点）中有一个或多个点和 该点的值相等，那么该点进行标记，否则不进行标记。当图像每个点都经过这种操作 后，就完成了图像的微结构分析。

所述步骤c中的微结构直方图描述方法如下：统一的将量化的图像用f(x,y)表示， 图像的值用f(x,y)＝w表示；对图像中的每个点P₀＝(x₀,y₀)，有f(P₀)＝w₀；在0°，45° 和90°度方向上，用P_i＝(x_i,y_i)表示P₀的三邻域且f(P_i)＝w_i，其中i=1,2,3；w₀和w_i的共现次用N表示，表示w₀的出现次数；在量化的图像上从上到下、从左到右遍 历每个点，根据下式统计该点的临近点和它相关性信息：

使用下式分别对两个边缘方向的微结构直方图和量化图像的微结构直方图进行合 并，H(i)＝Max{H_a(i),H_b(i)}；其中H_a(i)是RGB颜色空间模型下微结构描述，H_b(i)是 HSV颜色空间模型下微结构描述。H(i)是两种微结构综合后的结果。

所述的不同颜色模型下的微结构描述综合方法具体步骤如下：

得到混合的边缘方向微结构直方图和混合的量化图像的微结构直方图，分别有H_θ和H_C。然后将H_θ追加在H_C后面得到最终的描述子。H_θ和H_C的合并方法如下式。

$H\left(i\right)=\left(\begin{array}{cc}{H}_C\left(i\right)& i<N\\ \beta ·H_{\theta }(i-N)& i\ge N\end{array}\right)$

其中H是最终的HMSD的直方图描述，H_θ是边缘方向混合微结构描述子的直方 图，H_C是量化图像混合微结构的直方图，β是H_C和H_θ之间的相关系数，N是H_C的维 数。因为H_C和H_θ描述图像不同内容信息，在检索图像时贡献的程度也不同，所以引 入β来修正H，用以提高H的特征描述能力。

有益效果

本发明提出的一种基于混合微结构描述子的图像检索方法，首先利用混合微结构 描述子（Hybrid MSD，HMSD）生成图像库对应的图像特征库，接着利用HMSD提取 检索图像的内容特征，然后利用相似性度量准则进行度量，最后将相似性度量结果排 序，并对应为图像呈现给用户。

由于本发明中混合微结构描述子含有两种常用的颜色空间模型下的方向和颜色的 微结构，因此在颜色、纹理、形状特征以及颜色分布信息上有很强的分辨能力，在一 定程度上反映着人类视觉系统的属性。因此基于混合微结构描述子的图像检索方法的 图像检索性能有着较大的提升。

附图说明

图1：本发明方法的基本流程图；

图2：微结构描述子提取的流程图；

图3：微结构分析的流程图；

具体实施方式

现结合实施例、附图对本发明作进一步描述：

1、对图像库中所有图像，利用HMSD进行图像内容的特征描述，离线生成图像 库对应的图像特征库；

2、利用混合微结构描述子提取检索图像的内容特征；

3、将得到的检索图像特征和图像特征库中的特征向量使用L₁距离进行一一相似 性度量。并且按照距离从小到大进行排序，得到距离最小的前N幅结果；

4、按照距离从小到大进行排序，得到距离最小的前N幅结果。将这N个结果对 应的图像返回。

本发明中混合微结构描述子提取过程如下：

（1）对输入的原始图像分别转换为RGB和HSV颜色空间模型下的数据，默认读 取图像的数据为RGB颜色空间模型下的数据，利用RGB转换为HSV颜色空间的计 算公式得到HSV颜色空间模型的数据。

RGB转换为HSV颜色空间的计算公式为：

$H=\left(\begin{array}{cc}\theta & G\ge B\\ 2\pi -\theta & G<B\end{array}\right)$

其中$\theta ={\cos }^{-1}\left[\frac{\frac{1}{2}[(R-G)+(R-B)]}{\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right].$

$S=1-\frac{\sqrt{3}}{V}\min (R,G,B)$

$V=\frac{1}{\sqrt{3}}[R+G+B]$

（2）对每种颜色空间模型下的图像数据分别进行边缘方向提取和颜色量化，得到 颜色量化图像C和边缘方向图像θ；

所述的图像边缘方向提取方法如下：

（a）颜色空间中的x和y方向的梯度可以表示为a(X_h,Y_h,Z_h)和b(X_v,Y_v,Z_v)，其中 X_h表示X通道在水平方向的梯度。同时它们的范数和点乘可以定义如下：

$\left|a\right|=\sqrt{{\left(X_h\right)}^2+{\left(Y_h\right)}^2+{\left(Z_h\right)}^2}$

$\left|b\right|=\sqrt{{\left(X_v\right)}^2+{\left(Y_v\right)}^2+{\left(Z_v\right)}^2}$

a·b＝X_hX_v+Y_hY_v+Z_hZ_v

（b）a和b的夹角可以表示为：

$\cos (a,b)=\frac{a·b}{\left|a\right|·\left|b\right|}$

$\theta =\arccos \left(\frac{a·b}{\left|a\right|·\left|b\right|}\right)$

（c）将计算得到的每个像素的边缘方向θ统一量化成m格，其中m∈{6,12,...,36}。 θ(x,y)表示边缘方向图，在HMSD中，统一将方向量化为m= 24，步长为7.5°。

所述的颜色量化方法为：将HSV颜色空间和RGB统一量化为120色的方法。其 中两个模型的H和R部分被量化为0到5，S和G部分被量化为0到3，V和B部分 被量化0到4，所以综合起来，两种模型都是产生120色。

具体的对于HSV颜色空间模型：首先将H由[0,360)量化为[0,179]，S和V由[0, 1)量化为[0,255]，然后将H量化为[0,1,…,5]，S量化为[0,1,2,3]，V量化为[0,1,2,3, 4]。最后再由下式计算出最终量化结果。

C＝H*4*5+S*5+V

对于RGB颜色空间模型和HSV的量化方法大体相似，只是第一次量化的时候三 个通道都量化成[0,255]

传统的颜色量化方法都是将HSV颜色空间统一量化为8、3、3维，即H通道量 化为8，S和V都量化为3。而RGB颜色空间的三个通道常量化为均匀大小，比如4、 4、4。通过实验发现本发明中的颜色量化方法的的图像特征用于图像检索更为有益。

（3）分别对每个颜色量化图像和边缘方向图像进行微结构分析并进行直方图描 述；

所述的微结构分析方法为：在图像上，从上到下，从左到右遍历每一个点，当三 个邻域的点（0°，45°和90°方向上的相邻点）中有一个或多个点和该点的值相等， 那么该点进行标记，否则不进行标记。当图像每个点都经过这种操作后，就得到了图 像的微结构图像M。因为每种颜色下的分别有颜色量化图像C和边缘方向图像θ，则 一共得到四种微结构图像。分别表示为MC₁、MC₂、Mθ₁、Mθ₂。

原MSD方法是在边缘方向图像上利用的一定约束条件进行筛选得到微结构。接 着利用刚才得到微结构作为约束条件，在量化的彩色图像上进行筛选得到微结构图像。 然后在微结构图像上对纹理和颜色信息的进行统计。实际上是取了两种图像信息的交 集，遗漏了大量的图像内容信息。在HMSD中，重新对微结构描述子进行了组合，采 用并集的形式有效组合了图像的两种特征信息，同时在两种颜色空间模型下进行了特 征描述。所以HMSD对图像内容的描述能力强于原始的MSD方法。

所述的直方图描述方法为：统一的将微结构图像用f(x,y)表示，图像的值用 f(x,y)＝w表示。对图像中的每个点P₀＝(x₀,y₀)，有f(P₀)＝w₀。在0°，45°和90°度方 向上，用P_i＝(x_i,y_i)表示P₀的三邻域且f(P_i)＝w_i，其中i=1,2,3,。w₀和w_i的共现次用 N表示，表示w₀的出现次数。在量化的图像上从左到右从上到下遍历每个点，并根 据下式统计它的临近和它相关性信息。

其中，w₀＝w_i,i∈{1,2,3}，α表示了边缘方向微结构信息和量化图像微结构信息对 表征图像内容的权重，α通过大量实验进行近似估计。

（4）将不同颜色模型下的两个相同类型的微结构使用共生矩阵和直方图进行描 述。即分别对{MC₁、MC₂}和{Mθ₁、Mθ₂}进行综合描述。

特征描述的方法为：由于四个微结构的直方图中描述纹理方向微结构信息的直方 图是24维的，描述量化图像微结构信息的直方图是120维的。若是将这四个直方图直 接组合的话，总的直方图就有288维。维度过大导致特征提取和相似性比较时间和资 源耗费是不能接受的。因此需要一种有效的方法降低直方图的维度。使用下式分别对 两个边缘方向的微结构直方图和量化图像的微结构直方图进行合并，

H(i)＝Max{H₁(i),H₂(i)}

其中H₁(i)是RGB颜色空间模型下微结构描述（MC₁、Mθ₁），H₂(i)是HSV颜色 空间模型下微结构描述（MC₂、Mθ₂）。H(i)是两种微结构综合后的结果，得到混合的 边缘方向微结构直方图和混合的量化图像的微结构直方图，分别有H_θ和H_C。

（5）将混合的量化图像微结构直方图和混合的边缘方向微结构直方图进行综合描 述。描述方法为：

分别有H_θ和H_C。然后将H_θ追加在H_C后面得到最终的描述子。H_θ和H_C的合并 方法如下式。

$H\left(i\right)=\left(\begin{array}{cc}{H}_C\left(i\right)& i<N\\ \beta ·H_{\theta }(i-N)& i\ge N\end{array}\right)$

其中H是最终的HMSD的直方图描述，H_θ是边缘方向混合微结构描述子的直方 图，H_C是量化图像混合微结构的直方图，β是H_C和H_θ之间的相关系数，N是H_C的 维数。因为H_C和H_θ的量化维数以及特征自身在检索中的作用的差异，所以引入β来 修正H，来达到提供H的特征描述能力的作用。

本发明使用L₁距离作为相似性度量，公式如下：

$L_1(A,B)=\underset{i=1}{\overset{n}{\Sigma }}|a_i-b_i|$

其中A、B是两幅图像对应的特征向量，a_i、b_i代表特征分量。