一种基于图像纹理特征的图像检索方法

摘要

本发明涉及一种基于图像纹理特征的图像检索方法，利用在地理数据空间关系分析中常用的Variogram函数作为数学工具，将图像数据看作是区域化变量，以图像数据的Variogram函数值，反映图像象素的结构性，和图像数据的统计特性。在整个处理过程中，包括纹理类型的估计，纹理类型的分析，以及特征矢量的生成和进行图像匹配，都是采用Variogram函数，用一个基于Variogram函数的、统一的、适合于图像检索的纹理特征描述子；预先对图像库中的图像也基于Variogram函数进行纹理类型判断，并进行分类。本发明的一个突出优点是：提出的纹理类型自动判断算法较为准确，在实际检索系统中图像纹理类型未知的情况下，检索的准确率高，符合实时性的要求，在检索时间上能满足用户的要求。

说明书

所属技术领域：本发明涉及一种基于图像纹理特征的图像检索方法，属于计算机视觉、图像理解以及模式识别等领域。

背景技术：自90年代以来，随着计算机技术、多媒体技术以及网络技术的飞速发展，越来越多的图像出现在人们的日常生活中。图像数据的爆炸性增长使得对图像的管理和检索成为关键。

纹理是重要的早期视觉特征之一，它反映了图像可视表面的基本性质。由于纹理特征的重要性和独特性，已经将纹理特征引入到图像检索领域，MPEG-7也相应地制定了一些国际标准来介绍用于图像检索的纹理特征。尽管利用纹理特征进行图像检索已经不是新鲜的研究课题了，但是，目前的方法仍然有一些不尽人意的地方。其中，最突出的缺陷就是，多数的方法使用的纹理分析算法一般只能很好地描述一种类型的纹理图像(均匀纹理或不均匀纹理)，然而，在实际的图像检索中，很难判断出一幅图像的纹理类型，所以，对纹理类型不加判断，对所有图像直接采用一种纹理描述方案的检索方法很难真正提高检索准确率。

一般地，纹理可以分为规则的和不规则的两种类型，也有称之为均匀纹理和非均匀纹理。对于均匀纹理，其明显特点是周期性、方向性和规律性，而非均匀纹理则随机性较大。纹理是描述图像灰度空间分布特征的，因此，无法用点来定义，分析纹理特征的尺度是相当重要的。根据均匀纹理和非均匀纹理的不同特点，许多学者都认为：应当采用不同的尺度来分析不同类型的纹理，对于均匀纹理，使用较大的尺度以发现它的方向性、周期性等规律比较合适；而对于非均匀纹理，则应使用较小尺度来刻画它的随机性。从纹理的特点不难看出，规则纹理较容易描述。结构分析方法认为规则纹理图像中存在一些基本的纹理基元，纹理正是由这些纹理基元按一定的结构规律重复形成的。对于非规则纹理图像，随机性占较大优势。因此，能够准确刻画非规则纹理特征的方法对它的定义也不像对规则纹理定义那样简单明了。目前几种经典的图像纹理分析方法：空间自相关函数法、傅立叶功率谱法、灰度共生矩阵法、基于马尔可夫随机场模型、Gabor filter纹理分析法。

在目前的图像检索系统中，图像的纹理特征大多采用上述的纹理分析方法。但是，通过大量的检索实验，我们发现，将这些算法直接移植的策略并不是十分适合图像检索。首先，多数的纹理特征描述方法只对一种纹理类型比较有效，而在实际的图像检索中，还没有出现能够自动判断纹理类型的算法，因此，系统获取图像的纹理类型比较困难，于是这也就导致了，对所有图像使用同一种纹理描述子，这样势必将影响检索准确率。其次，即使我们想设计一种能够对不同类型的纹理进行有区分描述，但是，各个算法由不同的研究组提出，且大多基于不同的理论基础，因此，很难将它们统一在一起。

发明内容：为避免现有技术的缺陷，本发明提出了一种基于Variogram函数的图像纹理特征的检索方法，适合于基于内容图像检索应用的图像纹理特征描述方法。它利用在地理数据空间关系分析中常用的Variogram函数作为数学工具，针对均匀性纹理和非均匀性纹理这两种纹理类型的不同特点，采用不同的策略，而且能够将两种不同类型的纹理描述统一到一个框架之下。

本发明的基本思想，首先对查询图像进行纹理类型估计；针对不同的纹理类型，使用不同的分析方法和不同的描述策略；生成特征矢量和进行图像匹配。其技术特征在于：将图像数据看作是区域化变量，以图像数据的Variogram函数值，反映图像象素的结构性，和图像数据的统计特性。在整个处理过程中，包括纹理类型的估计，纹理类型的分析，以及特征矢量的生成和进行图像匹配，都是采用Variogram函数，用一个基于Variogram函数的、统一的、适合于图像检索的纹理特征描述子；预先对图像库中的图像也基于Variogram函数进行纹理类型判断，并进行分类。

纹理类型的估计采用基于Variogram函数的纹理类型自动估计。由于Variogram函数曲线应该是单调递增的，它反映出区域化变量随着空间距离的增加不相关程度越来越大，但是对于具有周期性的规则纹理，Variogram函数表现为类似于正弦函数曲线的周期性，而类正弦函数周期正好为纹理的周期。而不规则纹理的Variogram函数曲线就不会明显地表现出周期性，因此，我们就可以简单地利用能否寻找到Variogram函数的极限距离来判断图像具有规则纹理或是具有不规则纹理，而且极限距离的大小和方向也可以刻画周期纹理的特征。

用纹理类型自动预测算法对查询图像进行纹理类型估计的具体方法：

1.在图像中随机选取n个象素点，分别以此n个象素点为中心，取大小的图像区域；

2.在每个小区域中，分别沿水平、垂直、正45度、负45度方向计算Variogram函数值，则对整幅图像共有n×4条Variogram函数曲线；

3.对每一条Variogram曲线首先使用Guass函数对其进行平滑，然后根据极限距离判断准则判断每一条曲线是否存在极限距离；

4.若50％以上的曲线具有极限距离，则认为此图像中的纹理主要为规则纹理，使用规则纹理分析算法提取纹理特征；否则，认为此图像中的纹理主要为不规则纹理，使用不规则纹理分析算法提取纹理特征。

极限距离判断准则：在Variogram曲线上寻找满足下列条件的h_i，i＝1，2，....：

条件1：S^*(h_i)≤S^*(1)或|S^*(h_i)-S^*(1)|≤T，其中T为阈值；

条件2：S^*(h_i)＜S^*(h_i-1)且S^*(h_i)＜S^*(h_i+1)；

条件3：ΔS^*(h_i)为局部极大值，ΔS^*(h_i)≥V，且V为阈值；

当至少有一个hi满足上述三个条件，则认为此曲线的极限距离存在，并且把最小的hi定义为该曲线的极限距离，记为：h；否则，认为该曲线不存在极限距离。

纹理类型的分析分为规则纹理和不规则纹理。

对于规则纹理图像，其空间相关性占优，所以对于描述规则纹理图像，一般应当在较大的尺度空间内刻画它的方向性和周期性。

1.把图像分成多个2h_max×2h_max的小区域，每个小区域内计算沿水平、垂直、正45度方向和负45度方向上的Variogram函数值S₁^*(d)、S₂^*(d)、S₃^*(d)、S₄^*(d)；

2.在每个小区域内，计算每个方向上的极限距离h₁，h₂，h₃，h₄，若某个方向上的极限距离不存在则记为0；

3.赋予小区域内每一点的纹理极限距离为该区域沿四个方向计算出的极限距离值。

h_max是所有Variogram曲线中最大的极限距离。

注意的是：小区域的边长取为纹理分类算法中的最大极限距离h_max的二倍，目的是保证Variogram函数能够在大于一个纹理周期内计算，从而更有利于发现极限距离。

不规则纹理的分析：在不规则纹理中图像数据的随机性占优，在一定区域内一般难以呈现规律性。我们采用图像中每一个象素点在四个方向(水平、垂直、正45度和负45度)上的严格单步Variogram函数值来描述：

$>>>S>>s>1>>*>>>(>1>)>>=>1>/>4>\times >>(>|>f>>(>x>,>y>)>>->f>>(>x>,>y>+>1>)>>|>+>|>f>>(>x>,>y>)>>->f>>(>x>,>y>->1>)>>|>)>>>s>$

$>>>S>>s>2>>*>>>(>1>)>>=>1>/>4>\times >>(>|>f>>(>x>,>y>)>>->f>>(>x>+>1>,>y>)>>|>+>|>f>>(>x>,>y>)>>->f>>(>x>->1>,>y>)>>|>)>>>s>$

$>>>S>>s>3>>*>>>(>1>)>>=>1>/>4>\times >>(>|>f>>(>x>,>y>)>>->f>>(>x>->1>,>y>+>1>)>>|>+>|>f>>(>x>,>y>)>>->f>>(>x>+>1>,>y>->1>)>>|>)>>>s>$

$>>>S>>s>4>>*>>>(>1>)>>=>1>/>4>\times >>(>|>f>>(>x>,>y>)>>->f>>(>x>->1>,>y>->1>)>>|>+>|>f>>(>x>,>y>)>>->f>>(>x>+>1>,>y>+>1>)>>|>)>>>s>$

其中：f(x，y)为象素坐标(x，y)的灰度值，S_s1^*(1)、S_s2^*(1)、S_s3^*(1)、S_s4^*(1)为象素坐标(x，y)点在四个方向(水平、垂直、正45度和负45度)上的严格单步Variogram函数值，它们是在一个3×3的小区域内计算的。

基于纹理的特征矢量的生成主要包括两个步骤：纹理谱的计算和自带纹理表的生成。

其中，第一个步骤主要是统计图像中每一个象素点纹理特征的分布情况；第二个步骤通过对纹理特征的统计结果进行聚类，形成每一幅图像具有代表性的纹理特点。

纹理谱，即用来统计图像的纹理分布的直方图。

对于规则纹理：它的频率谱用沿水平、垂直、正45度和负45度这四个方向上归一化极限距离值和具有该极限距离值的点频率来表示。用H₁，H₂，H₃，H₄分别表示四个方向上的纹理直方图，则L×L的规则纹理图像的直方图H_i为：

$>{{{}_{}}_{}}_{}$

其中，h_i，j表示不同方向上的极限距离值，N_i，j表示具有极限距离值为h_i，j点的个数。为了满足图像检索的尺度不变性，我们对极限距离值和点的个数都进行了归一化处理。

不规则纹理的纹理谱的计算类似于规则纹理谱，用H′₁，H′₂，H′₃，H′₄表示四个方向上的纹理直方图，则：

$>{{}_{}}_{}$

其中，S_si，j^*表示不同方向上严格单步Variogram函数值，N_si，j表示具有S_si，j^*点的个数。

为了减少计算量，提高检索速度，在纹理谱的基础上我们为每一幅图像定制一个自带纹理表，使用其中的一些代表性的信息来描述图像的纹理特征。它的基本思路是：在图像纹理谱中进行聚类操作，去除和合并不显著的纹理特征，用少数的显著纹理来代表整个图像的纹理特征。步骤：

1.计算四个方向上的纹理直方图(纹理谱)，即图象中每个纹理特征与其对应的点频数的统计图(规则纹理，纹理特征是归一化极限距离；不规则纹理，纹理特征是指严格单步Variogram函数值)；

2.在每一个直方图中，寻找所有的峰值点(即点频数取局部极大值的点)，假设共有n个峰值，分别记作：T₁，T₂，...，T_n；

3.对所有的峰按照象素点频数由达到小排序得到T₍₁₎，T₍₂₎，....，T_(n)序列；

4.按照给定阈值(象素频数)对峰值序列进行截尾，得到m个峰值序列T₍₁₎，T₍₂₎，...，T_(m)并以它们对应的纹理特征作为参考纹理特征表；

5.如果m＜n，以各参考纹理特征为聚类中心，对

T_(m+1)，T_(m+2)，....，T_(n)与T₍₁₎，T₍₂₎，....，T_(m)

进行最近聚类合并，假设在每一个峰值点都存在一个以该峰值点为中心服从高斯分布的聚类，合并小的类(从m+1到n)到与它最为邻近的大的聚类(前n个类)中，并重新计算聚类中心；

6.把所有合并后的聚类按照降序排列；

7.在每一个直方图中选择M个最大的聚类(规则纹理M一般取3，不规则纹理M一般取6)；

8.以每个方向上的M个最大聚类的中心作为图象的自带纹理表。

生成自带纹理表后，每个方向选取M个最大聚类，则特征矢量为：

$>>X>=>\{>>(>>t>1>1>>,>>p>1>1>>)>>,>.>.>.>.>,>>(>>t>1>M>>,>>p>1>M>>)>>;>>(>>t>2>1>>,>>p>2>1>>)>>,>.>.>.>.>,>>(>>t>2>M>>,>>p>2>M>>)>>;>>(>>t>3>1>>,>>p>3>1>>)>>,>.>.>.>.>,>>(>>t>3>M>>,>>p>3>M>>)>>;>>(>>t>4>1>>,>>p>4>1>>)>>,>.>.>.>.>,>>(>>t>4>M>>,>>p>4>M>>)>>\}>>s>$

其中p代表点频数，对于规则纹理t代表归一化极限距离，不规则纹理的t代表严格单步Variogram函数值。可以看出：基于Variogram函数值的特征矢量具有一定的尺度和平移不变性。

图像匹配是依据图像间的相似性度量：特征矢量生成后，检索与待查询图像相似的图像实质上就是计算图像特征矢量之间的距离，输出与待查询图像特征矢量距离最小的图像集合。

附图说明：

图1：本发明的检索方法流程图

图2：一幅规则纹理进行查询的例子

图3：一幅不规则纹理进行查询的例子

图4：本发明的方法与MPEG-7提出的两种纹理描述子在实际检索系统中检索准确率比较曲线

具体实施方式：

现结合附图对本发明作进一步描述：

用于实施的硬件环境是：Pentium-4 1.7G计算机、512MB内存，运行的软件环境是：V-C++6.0和Windows 2000。我们用C++程序设计语言实现了本发明提出的方法。实验所用的图像数据库共有2500幅纹理图像，其中大约包括1500幅规则纹理图像和1000幅不规则纹理图像。图像的来源有：从Brodatz album中抽取、网上下载和从Corel Image Gallery中抽取，具体的纹理包括：地面花纹纹理、木纹理、纸纹理、金属纹理、布纹理和自然纹理等。实验参数取值：T＝50，V＝200，规则纹理M＝3，不规则纹理M＝6。

设有一幅纹理图像Q，其大小为L×L。

1.在图像中随机选取20个象素点，分别以此20个象素点为中心，取m×m大小的图像区域，m＝L/5：

2.在每个小区域中，分别沿水平、垂直、正45度、负45度方向计算出Variogram函数，分别记为：S_i^*(d)、S₂^*(d)、S₃^*(d)、S₄^*(d)；整幅图像共有80条Variogram函数曲线；

3.对80条Variogram曲线首先使用Guass函数对其进行平滑，然后根据极限距离判断准则判断每一条曲线是否存在极限距离；

4.若40条以上的曲线具有极限距离，则认为此图像中的纹理主要为规则纹理，否则，认为此图像中的纹理主要为不规则纹理。

根据纹理的不同，分别使用规则纹理分析算法，或不规则纹理分析算法提取纹理特征。

然后再统计图像中每一个象素点纹理特征的分布情况，并通过对纹理特征的统计结果进行聚类，形成每一幅图像具有代表性的纹理特点。生成自带纹理表后，每个方向选取M个最大聚类，则特征矢量为：

$>>X>=>\{>>(>>t>1>1>>,>>p>1>1>>)>>,>.>.>.>.>,>>(>>t>1>M>>,>>p>1>M>>)>>;>>(>>t>2>1>>,>>p>2>1>>)>>,>.>.>.>.>,>>(>>t>2>M>>,>>p>2>M>>)>>;>>(>>t>3>1>>,>>p>3>1>>)>>,>.>.>.>.>,>>(>>t>3>M>>,>>p>3>M>>)>>;>>(>>t>4>1>>,>>p>4>1>>)>>,>.>.>.>.>,>>(>>t>4>M>>,>>p>4>M>>)>>\}>>s>$

图像I是数据库中的任意一幅图像，它对应的特征矢量为：

$>>>X>\prime >>=>\{>>(>>t>1>>1>\prime >>>,>>p>1>>1>\prime >>>)>>,>.>.>.>,>>(>>t>1>>M>\prime >>>,>>p>1>>M>\prime >>>)>>;>>(>>t>2>>1>\prime >>>,>>p>2>>1>\prime >>>)>>,>.>.>.>,>>(>>t>2>>M>\prime >>>,>>p>2>>M>\prime >>>)>>;>>(>>t>3>>1>\prime >>>,>>p>3>>1>\prime >>>)>>,>.>.>.>,>>(>>t>3>>M>\prime >>>,>>p>3>>M>\prime >>>)>>;>>(>>t>4>>1>\prime >>>,>>p>4>>1>\prime >>>)>>,>.>.>.>,>>(>>t>4>>M>\prime >>>,>>p>4>>M>\prime >>>)>>\}>>s>$

图像匹配时，Q和I的距离计算如下：

1.分别计算；D₁，D₂，D₃，D₄；

$>{}_{}$

$>{}_{}$

$>{}_{}$

$>{}_{}$

2.和QI之间的距离：

D(Q，I)＝min{D₁，D₂，D₃，D₄}

由于图像检索要求具有尺度、平移和旋转不变性，而算法中的特征矢量已经具有尺度和平移不变性，因此，在计算距离时，为了取得旋转不变性，先计算两幅图像每一种可能的对应方向下的距离，选取最小距离作为匹配时的相似性度量距离。

另外，需要指出的是，图像数据库中的纹理图像均根据自动纹理类型估计算法预测出其纹理类型，并且对图像按照纹理类型分类，在匹配时，预测出查询图像的纹理类型后，则仅仅度量查询图像和与之纹理类型相同的图像之间的相似度，这样就会大大的提高检索速度。

图2是一幅规则纹理进行查询的例子，图3是一幅不规则纹理进行查询的例子。为了减少篇幅，我们只给出被检索出来的前十个相似图像。

本发明方法有两个较为关键的技术：第一，纹理类型自动判断法；第二，使用纹理信息进行图像检索。首先，对于纹理类型自动判断方法，我们具体的评价测试如下：从图像库中随机挑选200幅规则纹理图像，然后使用本发明的算法进行判断，算法的准确率定义为：判断正确的图像数目与总图像数目(200幅)的比值。经过计算，本发明提出的自动纹理类型判断方法的准确率为86％。

本发明的一个突出优点是：它根适合于实际的检索系统，因为在实际检索中，无法得知图像的纹理类型，所以也就很难确定使用哪一种纹理分析方法，而本文的方法预先自动的预测纹理类型，并且相应的使用合适的分析方法来提取特征。评价本方法准确率的第二个实验，我们模拟实际的检索过程，查询图像输入后，本发明方法(包括纹理类型预测)、Gabor filter算法和边缘相位直方图算法分别进行检索，然后计算检索的准确率。我们在图像数据库中随机挑选100幅图像来进行测试，计算平均检索准确率，图4给出了三种方法检索的平均准确率。从实验结果来看，本发明的方法由于能够对图像的纹理提前进行预测，并且根据预测的结果采用不同的纹理分析方法，所以实际的检索准确率更高，而另外两种方法一般只能适用于一种纹理类型，对于每一个查询图像，都采用同一种分析方法，在实际检索系统中图像纹理类型未知的情况下，检索的准确率低于本发明的方法。

此外，对于检索时间，由于发明的方法大部分处理均在离线时完成，实际的检索时间与特征矢量的维数、数据库中图像的数目、软硬件环境有关。在目前的实验测试条件下，一般的查询时间不会超过1秒，完全符合实时性的要求和完全能够满足用户的要求。

通过实验证明，本发明提出的纹理类型自动判断算法较为准确。通过两个检索准确率的对比实验，尽管本发明在刻画特定类型的纹理特征时，不如MPEG-7的两个标准算子，但是，更加适合实际的检索系统，对于实际的检索系统，它的准确率更高。综合看来，本发明具有更为良好的性能。