首页> 中国专利> 用于执行基于小波的纹理特征提取和分级的系统和方法

用于执行基于小波的纹理特征提取和分级的系统和方法

摘要

公开了一种用于执行基于小波的局部纹理特征提取和分级过程的系统和方法。图像数据起初被提供为包括查询图像和一系列测试图像。特征检测器计算与该图像数据相对应的图像参数。图像参数包括平均绝对值、方差值和纹理角度。特征检测器利用图像参数来计算表示查询图像和各个测试图像之间的纹理相似度特性的距离值。特征检测器随后对距离值进行评估以从测试图像中确定一幅或多幅匹配图像。

著录项

  • 公开/公告号CN101390108A

    专利类型发明专利

  • 公开/公告日2009-03-18

    原文格式PDF

  • 申请/专利权人 索尼株式会社;索尼电子有限公司;

    申请/专利号CN200780006643.5

  • 发明设计人 李平珊;

    申请日2007-02-23

  • 分类号G06K9/68;

  • 代理机构北京东方亿思知识产权代理有限责任公司;

  • 代理人董方源

  • 地址 日本东京都

  • 入库时间 2023-12-17 21:40:45

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2012-07-04

    授权

    授权

  • 2009-05-13

    实质审查的生效

    实质审查的生效

  • 2009-03-18

    公开

    公开

说明书

技术领域

本发明一般地涉及用于分析信息的技术,更具体地涉及用于执行基于小波的纹理特征提取和分级过程的系统和方法。

背景技术

对于当前电子设备的设计者和制造商而言,实现分析信息的高效方法是很重要的考虑方面。但是,利用电子设备来高效地分析信息可能会对系统设计者产生实质性的挑战。例如,对增加设备功能和性能的增强要求可能需要更大的系统处理功率并需要额外的硬件资源。在处理或硬件需求方面的增长也可能会导致由增加的生产成本和低操作效率引起的相应有害经济影响。

此外,执行各种高级操作的增强的设备能力可能对系统用户提供了额外的好处,但是也可能对各种设备组件的控制和管理施加了增长的要求。例如,有效地分析和操作数字图像数据的增强电子设备可能会由于所涉及的数字数据的大数量和复杂性而从高效的实现方式中得益。

由于对系统资源的越来越大的需求和实质上越来越大的数据大小,显然,开发用于分析信息的新技术是相关电子技术所关注的问题。因此,由于前述所有理由,开发用于分析信息的高效系统对于当前电子设备的设计者、制造商和用户而言仍然是很重要的考虑方面。

发明内容

根据本发明,公开了一种用于执行基于小波的纹理特征(texturefeature)提取和分级过程的系统和方法。在一个实施例中,计算机设备选择用于执行图像检索过程的查询图像(query image)以从所存储的图像数据中识别匹配测试图像。然后,特征检测器计算与该查询图像的四级Haar小波变换相对应的小波系数。

接下来,特征检测器基于前述小波系数,针对四级小波变换的各个子带来计算系数平均绝对值和系数方差值(variance value)。特征检测器随后利用这些系数平均绝对值和系数方差值来计算针对小波变换的各个小波级(wavelet level)的平均绝对值纹理角度和方差值纹理角度。特征检测器还根据相应的系数平均绝对值和系数方差值来计算总平均绝对值和总方差值。

根据本发明,特征检测器有利地利用前述纹理角度、总平均绝对值和总方差值来计算表示查询图像和各幅测试图像之间的纹理相似度特性的距离值。最终,特征检测器通过评估计算出的距离值以从测试图像中识别一幅或多幅匹配图像,从而结束图像检索过程。

在某些实施例中,可以类似地利用本发明来执行图像检索过程,以将一幅或多幅测试图像与选定的图像模型匹配。至少由于前述原因,本发明因而提供了用于执行基于小波的纹理特征提取和分级过程的改进型系统和方法。

附图说明

图1是根据本发明的计算机设备的一个实施例的框图;

图2是根据本发明的、图1的存储器的一个实施例的框图;

图3是根据本发明的、图2的特征信息的一个实施例的框图;

图4是图示出根据本发明一个实施例的Haar小波变换第一级的示图;

图5是图示出根据本发明一个实施例的Haar小波变换的四级的示图;

图6是图示出根据本发明一个实施例的复合图像的示图;

图7是根据本发明一个实施例的用于执行基本的图像检索过程的方法步骤的流程图;

图8是根据本发明一个实施例的用于执行基于纹理模型的图像检索过程的方法步骤的流程图;以及

图9是根据本发明一个实施例的用于执行基于纹理/彩色模型的图像检索过程的方法步骤的流程图。

具体实施方式

本发明涉及在信息分析技术方面的改进。以下描述被呈现用于使本领域普通技术人员可以作出并使用本发明,并且是在专利申请及其要求的上下文中被提供的。对所公开的实施例的各种修改对本领域技术人员而言是足够显而易见的,并且这里的一般原理可以应用于其它实施例。因此,本发明并不意图限制于所示出的实施例,而应当被赋予符合这里所描述的原理和特征的最宽的范围。

本发明包括用于执行基于小波的局部纹理特征提取和分级过程的系统和方法。图像数据起初被提供为包括查询图像和一系列测试图像。特征检测器计算与图像数据相对应的各种合适的图像参数。图像参数包括平均绝对值、方差值和纹理角度。特征检测器利用这些图像参数来计算表示查询图像和各幅测试图像之间的纹理相似度特性的距离值。特征检测器随后可以对这些距离值进行评估,以从测试图像中确定一幅或多幅匹配图像。

现在参考图1,根据本发明的计算机设备110的一个实施例的框图被示出。在图1的实施例中,计算机设备110包括但不限于中央处理单元(CPU)112、用户接口114、存储器116、显示器118和(一个或多个)输入/输出接口(I/O接口)120。计算机设备110的前述组件优选地可以耦合到设备总线128并通过该设备总线128进行通信。

在替代实施例中,可以使用除了结合图1实施例所讨论的那些组件和配置中的某些之外(或取代那些组件和配置中的某些)的组件和配置来实现计算机设备110。此外,可以通过除计算机设备110之外的各种类型的电子设备来容易地实现本发明。

在图1的实施例中,CPU 112可以被实现为包括任何合适且兼容的微处理器设备,该微处理器设备优选地执行软件指令以控制并管理图像管理器110的操作。图1的显示器118可以包括任何有效类型的显示技术,包括阴极射线管监视器或液晶显示设备。在图1的实施例中,(一个或多个)I/O接口120可以包括一个或多个输入和/或输出接口,用以接收和/或发送计算机设备110所需的任何类型的相关信息。

在图1的实施例中,存储器116可以包括期望存储设备的任何组合,包括但不限于只读存储器(ROM)、随机访问存储器(RAM)和诸如软盘或硬盘之类的各种类型的非易失性存储器。存储器116的内容和功能将在以下结合图2和图3来进一步讨论。

现在参考图2,根据本发明的、图1的存储器116的一个实施例的框图被示出。在图2的实施例中,存储器116包括但不限于应用软件212、操作系统214、图像数据216、特征检测器218和特征信息222。在替代实施例中,存储器116可以包括除结合图2的实施例所讨论的那些组成部分中的某些之外(或者取代那些组成部分中的某些)的其它组成部分。

在图2的实施例中,应用软件212可以包括程序指令,这些程序指令由CPU 112(图1)执行以实现计算机设备110的各种功能和操作。应用软件212的特定本质和功能可以依据诸如相应计算机设备110的具体类型和特定用途之类的因素而变化。在图2的实施例中,操作系统214对计算机设备110的低级别的功能进行控制和协调。

图像数据216包括存储在存储器116中的各种类型的图像信息。图像数据216可以包括所捕捉的图像数据或其它类型的图像信息。例如,在某些实施例中,图像数据216可以包括系统用户从诸如相机设备或因特网之类的外部源获得的一幅或多幅图像。在替代实施例中,本发明可以容易地用于分析除图2所示的图像数据216之外的数据。

在图2的实施例中,特征检测器218可以用于创建并分析特征信息222,从而执行图像搜索过程。特征信息222的一个实施例将在以下结合图3来进一步讨论。此外,特征检测器218在生成并利用特征信息222方面的利用将在以下结合图4-9来进一步讨论。

现在参考图3,根据本发明的、图2的特征信息222的一个实施例的框图被示出。在图3的实施例中,特征信息222可以包括但不限于小波系数312、系数平均绝对值316、系数方差值320、纹理角度324和距离值328。在替代实施例中,特征信息222可能包括除了结合图3的实施例所讨论的那些组成部分中的某些之外(或者取代那些组成部分中的某些)的其它组成部分。在图3的实施例中,可以在图像数据216初始被计算机设备110接收时计算特征信息222的某些要素和参数。通过特征检测器218对特征信息222的生成和利用将在以下结合图4-9来进一步讨论。

现在参考图4,根据本发明一个实施例的、图示出Haar小波变换的第一级416的示图被示出。图4的实施例被呈现用于图示的目的,并且在替代实施例中,本发明可以容易地包括除结合图4的实施例所讨论的那些技术和要素之外(或者取代那些技术和要素)的各种其它技术和要素。在图4的示例中,通常对来自给定图像的亮度信息执行Haar变换。

在图4的示例中,第一级416表示给定的一组小波系数312(图3),该组小波系数312包括低-低子带(LL)418、低-高子带(LH)422、高-低子带426和高-高子带(HH)430。为了使用Haar变换过程来生成第一级416,像素值的水平行(horizontal row)起初被划分为与LL子带418和LH子带422相对应的低频部分以及与HL子带426和HH子带430相对应的高频部分。随后可以由特征检测器218(图2)或其它合适的实体通过根据以下公式对相邻像素值进行加算来计算初始低频系数:

Li=(P2i+P2i+1)12

其中,L是低频小波系数,i是小波系数的索引号,并且P是来自图像数据的像素值。

随后也可以由特征检测器218(图2)或其它合适的实体通过根据以下公式对相邻像素值进行减算来计算初始高频系数:

Hi=(P2i-P2i+1)12

其中,H是高频小波系数,i是小波系数的索引号,并且P是来自图像数据的像素值。

前述初始低频系数的垂直列随后可以被划分为低频部分(LL子带418和HL子带426)和高频子带(LH子带422和HH子带430)。随后可以通过如上所述地对相邻初始小波系数进行加算,针对LL子带418和HL子带426来计算最终的第一级小波系数(final level-one waveletcoefficient)312(图3)。也可以由特征检测器218(图2)或其它合适的实体通过如上所述地对相邻初始小波系数进行减算,针对LH子带422和HH子带430来计算最终的第一级小波系数312。

对用于执行和利用Haar变换的各种技术的进一步讨论可以在以下论文中找到:S.G.Mallat等人的“A Theory for Multiresolution SignalDecomposition:The Wavelet Representation(多分辨率信号分解的理论:小波表示)”,IEEE Transactions on PatternAnalysis and Machine Intelligence,Vol.11,No.7,pp.674-693,July 1989。

现在参考图5,根据本发明一个实施例的、图示出Haar小波变换四级516的示图被示出。图5的实施例被呈现用于图示的目的,并且在替代实施例中,本发明可以容易地包括除了结合图5的实施例所讨论的那些技术和要素之外(或者取代那些技术和要素)的各种其它技术和要素。例如,在其它实施例中,可以利用不同数目的变换级来生成小波系数312(图3)。

在图5的实施例中,根据以上结合图4所讨论的第一级416,示出了三个子带(LH、HL和HH)。在图5的实施例中,图4的第四子带(LL418)被用于通过执行与以上结合图4讨论的那些相类似的过程来计算针对Haar变换的第二级518的小波系数312。类似地,第二级518的第四子带(LL)被用于计算针对针对Haar变换的第三级520的小波系数312,并且第三级520的第四子带(LL)被用于计算针对Haar变换的第四级522的小波系数312。

在某些实施例中,特征检测器218(图2)或其它合适的实体随后可以利用来自前述图5小波变换的四级516的小波系数312(图3),计算被存储为特征信息222(图3)的某些图像参数。在某些实施例中,一种图像参数可以是系数平均绝对值316(图3)。特征检测器218(图2)或其它合适的实体可以针对图5所示的四级516的各个子带来计算系数平均绝对值316。

例如,在某些实施例中,特征检测器218(图2)或其它合适的实体可以通过利用以下公式,计算针对给定的子带LH的系数平均绝对值μ:

μLH(i)=1MNΣm=1MΣn=1N|WLH(i)[m,n]|

其中,LH(i)是在第i级的LH子带,W是小波系数,m是系数行,n是系数列,M等于系数行的总数,并且N等于系数列的总数。针对其它子带的系数平均绝对值316可以按相似方式来计算。

另外,在某些实施例中,另一种图像参数可以是系数方差值320(图3)。特征检测器218或其它合适的实体可以针对图5所示的四级516的各个子带来计算系数方差值320。例如,在某些实施例中,特征检测器218或其它合适的实体可以利用以下公式来计算针对给定子带LH的系数方差值σ:

σLH(i)2=1MNΣm=1MΣn=1N(|WLH(i)[m,n]|-μLH(i))2

其中,LH(i)是在第i级的LH子带,W是小波系数,m是系数行,n是系数列,M等于系数行的总数,N等于系数列的总数,并且μ是相应的系数平均绝对值316。针对其它子带的系数方差值320可以按相似方式来计算。

在本发明的某些实施例中,特征检测器218或其它合适的实体可以利用前述系数平均绝对值316和系数方差值320来计算相应的纹理角度324(图3),纹理角度324指示出在特定图像中纹理是如何定向的。例如,在图5的实施例中,可以根据以下公式来计算平均绝对值纹理角度:

θμ(i)=arctanμLH(i)μHL(i)

其中,θμ(i)是平均绝对值纹理角度,μ是系数平均绝对值316,i是子带级,LH是低-高子带422(图4),并且HL是高-低子带426(图4)。类似地,在图5的实施例中,可以根据以下公式来计算方差值纹理角度:

θσ(i)=arctanσLH(i)σHL(i)

其中,θσ(i)是方差值纹理角度,σ是系数方差值,i是子带级,LH是低-高子带422(图4),并且HL是高-低子带426(图4)。

在,某些实施例中,特征检测器218或其它合适的实体可以利用针对各个小波级的各个子带的前述系数平均绝对值316和系数方差值320来计算针对各个小波级的总平均绝对值和总方差值。例如,在图5的实施例中,特征检测器218或其它合适的实体可以根据以下公式来计算总平均绝对值:

μ(i)=[μLH(i)2+μHH(i)2+μHL(i)2]12

其中,μ(i)是总平均绝对值,i是小波级,μLH(i)是针对LH子带422(图4)的系数平均绝对值316,μHH(i)是针对HH子带430(图4)的系数平均绝对值316,并且μHL(i)是针对HL子带426(图4)的系数平均绝对值316。

类似地,在图5的实施例中,特征检测器218或其它合适的实体可以根据以下公式来计算总方差值:

σ(i)2=σLH(i)2+σHH(i)2+σHL(i)2

其中,σ(i)是总方差值,i是小波级,σLH(i)是针对LH子带422(图4)的系数方差值320,σHH(i)是针对HH子带430(图4)的系数方差值320,并且σHL(i)是针对HL子带426(图4)的系数方差值320。

在某些实施例中,特征检测器218或其它合适的实体于是可以利用前述参数值来计算距离值328(图3),以识别图像数据216(图2)中的匹配测试图像。一种用于计算距离值328的技术将在以下结合图6来进一步讨论。

现在参考图6,根据本发明一个实施例的图示出复合图像616的示图被示出。图6的实施例被呈现用于示例的目的,并且在替代实施例中,本发明可以容易地包括除了结合图6的实施例所讨论的那些技术和要素中的某些之外(或者取代那些技术和要素中的某些)的技术和要素。

在图6的实施例中,具有均一的(homogenous)纹理特性的一组样本图像(sample image)618可以被选择并被合并以创建复合图像616。样本图像618通常被选择作为用以表示特定图像搜索对象或类别的模型。例如,样本图像618可以因为它们都是相似或相关主题的图像而被选择。在图6的实施例中,特征检测器218或其它合适的实体随后可以利用复合图像616,通过计算整个复合图像616的复合小波系数312(图3)来创建纹理模型,如以上结合图4所讨论的。

在图6的实施例中,特征检测器218或其它合适的实体可以利用复合小波系数312来计算各种图像参数,如以上结合图5所讨论的。特征检测器218或其它合适的实体随后可以利用前述复合图像参数来计算距离值328(图3),距离值328量化了纹理模型和来自图像数据216(图2)的各幅测试图像之间的纹理相似度特性。

例如,在图6的实施例中,特征检测器218或其它合适的实体可以根据以下公式,针对纹理模型和给定的测试图像来计算距离值328:

D=Σi=1412i[μ(i)T|θμ(i)T-θμ(i)I|+15σ(i)T|θσ(i)T-θσ(i)I|]

其中,D是距离值328,T指示了纹理模型,I指示了测试图像,i是小波级,μ是总平均绝对值,σ是总方差值,θσ是方差值纹理角度,并且θμ是平均绝对值纹理角度。根据本发明,在某些实施例中,前述公式可以类似地被用于计算针对任何其它类型的用于执行图像搜索或检索过程的查询图像的距离值328。

创建复合图像616的目的是提供相应的纹理模型。具有相似纹理的样本图像618的集合被选择并被合并。随后可以针对复合图像616来确定纹理参数以描述复合图像616的各个纹理。系统用户随后可以选择合适的纹理模型616来搜索具有那些特定相应的纹理特性的测试图像。

现在参考图7,根据本发明一个实施例的、用于执行基本图像检索过程的方法步骤的流程图被示出。图7的示例被呈现用于图示的目的,并且在替代实施例中,本发明可以容易地利用除了结合图7的实施例所讨论的那些步骤和序列中的某些之外(或者取代那些步骤和序列中的某些)的步骤和序列。

在图7的实施例中,在步骤712中,计算机设备110或另一合适的实体选择用于执行图像检索过程的查询图像以从图像数据216中识别匹配测试图像。然后,在步骤714中,特征检测器218或另一合适的实体计算与该查询图像的四级Haar小波变换相对应的小波系数312,如以上结合图4-6所讨论的。

在步骤716中,特征检测器218或另一合适的实体基于前述小波系数312,针对四级小波变换的各个子带来计算平均绝对值316和方差值320。在步骤718中,特征检测器218或另一合适的实体利用前述平均绝对值316和方差值320来计算针对小波变换的各个小波级的纹理角度324。

在步骤720中,特征检测器218或另一合适的实体利用前述纹理角度324、平均绝对值316和方差值320来计算表示查询图像和来自图像数据216的各幅测试图像之间的纹理相似度特性的距离值328。最后,在步骤722中,特征检测器218或另一合适的实体对距离值328进行评估,以从测试图像中识别一幅或多幅匹配图像。

图7的流程图描述了用于评估具有相对均一的纹理特性的图像的处理。但是,前述处理也可以用于评估具有不均一的纹理特性的图像。在某些实施例中,不均一的图像可以被划分成较小的像素块。例如,不均一的图像可以被划分为32像素×32像素的块,或者划分成任何其它有效的块大小。随后可以根据图7中的上述过程,作为个体图像来处理各个像素块。针对所有像素块的平均距离值随后可以被用作针对不均一图像的总距离值,以用于执行图像检索过程的目的。

现在参考图8,根据本发明一个实施例的用于执行模型图像检索过程的方法步骤的流程图被示出。图8的示例被呈现用于图示的目的,并且在替代实施例中,本发明可以容易地利用除结合图8的实施例所讨论的那些步骤和序列中的某些之外的步骤和序列。

在图8的实施例中,在步骤810中,计算机设备110或另一合适的实体选择均一的样本图像618来创建纹理模型,以用于执行针对来自图像数据216的一幅或多幅匹配测试图像的图像检索过程。然后,在步骤812中,计算机设备110或另一合适的实体将样本图像618合并为复合图像616。

在步骤814中,特征检测器218或另一合适的实体计算与复合图像616的四级Haar小波变换相对应的小波系数312,如以上结合图6所讨论的。在步骤816中,特征检测器218或另一合适的实体基于前述小波系数312,针对四级小波变换的各个子带来计算平均绝对值值316和方差值320。在步骤818中,特征检测器218或另一合适的实体利用前述平均绝对值316和方差值320来计算针对小波变换的各个小波级的纹理角度324。

在步骤820中,特征检测器218或另一合适的实体利用前述纹理角度324、平均绝对值316和方差值320来计算表示在复合图像和来自图像数据216的各幅测试图像之间的纹理相似度特性的距离值328。最后,在步骤822中,特征检测器218或另一合适的实体对距离值328进行评估,以从测试图像中识别一幅或多幅匹配图像。

现在参考图9,根据本发明一个实施例的用于执行纹理/彩色图像检索过程的方法步骤的流程图被示出。图9的示例被呈现用于图示的目的,并且在替代实施例中,本发明可以容易地利用除结合图9的实施例所讨论的那些步骤和序列中的某些之外的步骤和序列。

在图9的实施例中,在步骤912中,计算机设备110或另一合适的实体选择用于执行图像检索过程的测试图像,以从图像数据216中识别一幅或多幅匹配图像。该测试图像是用于判断其是否是匹配图像而不是查询图像的。在步骤916中,特征检测器218或另一合适的实体利用彩色模型来从测试图像中滤除不想要的色彩信息,从而生成过滤后的图像。在步骤920中,特征检测器218或另一合适的实体通过作为具有经过过滤的色彩系数的四级过滤后小波变换,将该过滤后的图像转换到小波域,从而创建针对Haar小波的色彩查找表。

在步骤924中,特征检测器218或另一合适的实体从所选择的测试图像中滤除所有色彩信息以生成亮度图像。然后,在步骤928中,特征检测器218或另一合适的实体对该亮度图像执行四级Haar小波变换过程以创建小波系数312,如以上结合图4-5所讨论的。

在步骤932中,特征检测器218或另一合适的实体通过将来自Haar小波变换的各个小波系数312与来自四级过滤后小波变换的过滤后的色彩系数中的相应一个相乘来执行逐点乘积计算,以生成纹理/彩色图像模型。最后,在步骤936中(如以上结合图8的步骤820-822所讨论的),纹理/彩色图像模型可以被用于执行以上结合图7所讨论的各种图像检索过程。

在图9的实施例中,可以利用通过使用与以上结合图5-6讨论的那些相似的技术和公式来计算得到的纹理角度324、总平均绝对值316和总方差值320,执行基于纹理/彩色模型的图像检索过程。

但是,在某些实施例中,特征检测器218(图2)或其它合适的实体可以利用以下公式、针对给定的子带LH来计算系数平均绝对值μ:

μLH(i)=Σm=1MΣn=1N|CLH(i)[m,n]WLH(i)[m,n]|Σm=1MΣn=1NCLH(i)[m,n]

其中,LH(i)是在第i级的LH子带,W是小波系数,C是过滤后的色彩系数,m是系数行,n是系数列,M等于系数行的总数,并且N等于系数列的总数。针对其它子带的系数平均绝对值316可以按相似方式来计算。

另外,在某些实施例中,特征检测器218或其它合适的实体可以利用以下公式、针对给定的子带LH来计算系数方差值σ:

σLH(i)2=Σm=1MΣn=1N(|CLH(i)[m,n]WLH(i)[m,n]|-μLH(i))2Σm=1MΣn=1NCLH(i)[m,n]

其中,LH(i)是在第i级的LH子带,W是小波系数,C是过滤后的色彩系数,m是系数行,n是系数列,M等于系数行的总数,N等于系数列的总数,并且μ是相应的系数平均绝对值316。针对其它子带的系数方差值320可以按相似方式来计算。

由于前述的所有原因,本发明因而提供了用于执行基于小波的纹理特征提取和分级过程的改进型系统和方法。

以上已经参考某些实施例来说明了本发明。根据本公开,其它实施例对本领域技术人员而言是显而易见的。例如,可以容易地使用除以上实施例中所述的那些之外的配置和技术来实现本发明。另外,结合除以上所述那些之外的系统可以有效地使用本发明。因此,针对所讨论的实施例的这些和其它变形例应当为本发明所覆盖,其中,本发明仅仅由所附权利要求来限定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号