确定代表多媒体项目的信号的描述子的方法和设备

摘要

本发明涉及对代表多媒体项目的信号的描述子进行确定的方法和设备。所述方法包括对所述信号应用(S1)第一定向滤波器组以获得第一系数集的步骤。根据本发明，所述方法包括如下步骤：对所述信号应用(S2)第二滤波器组，以获得代表低通滤波信号的第二系数集；通过计算所述第一系数集与所述第二系数集之间的差值，计算(S3)代表所述多媒体元素的描述子；以及计算(S4)所述差值的相关功率。本发明还涉及多媒体项目的分类和检索的应用。

说明书

技术领域

本发明涉及用于确定多媒体项目的描述子(descriptor)的方法和设备。本发明还涉及用于检索数据库中的多媒体项目的设备以及用于对数据库中的多媒体项目进行分类的设备。

背景技术

在例如多媒体资产管理之类的多种信号和数据处理领域中，针对多媒体项目来计算小型紧凑的描述子，以比较两个项目或在数据库中搜索与给定项目相似的项目。

例如，数据库中例如人物照片或视频图像等图像可以具有相关描述子，以易于将数据库组织为相似图像组或检索与给定图像相似的图像。

描述子的问题在于它们应该最佳地反映两个项目的相似性，同时又要是小型的。

一种公知的常用描述子基于多媒体项目的信号的频率分解。因此，使用滤波器组来分别产生与频带相对应的滤波信号。然后，通常计算每个频带中滤波信号的功率。功率值的总体构成描述子。例如，滤波器组普遍用于音频处理。对于图像，诸如小波或Gabor滤波器组等的滤波器组也广泛用于图像分析和检索。

为了增强描述子反映图像特征和图像相似性的能力，普遍应用如下措施之一：

1.增加滤波器的数目；

2.优化滤波器的重新分配和类型；

3.提高每个滤波器的精度。

例如，可以采用12而不是8个滤波器来实现第一种措施。这样，更好地描述了信号的频谱。

对于图像的情况，可以通过用Gabor滤波器取代小波滤波器，来实现第二种措施。小波滤波器通过考虑水平、垂直和对角线频率，涵盖二维频谱，而Gabor滤波器更加灵活，可以在更多方向上描述频率。因此，可以更好地描述图像，特别是图像中的纹理。

第三种措施解决了滤波器的实现，特别是数字滤波器的实现，并可以通过增加用于表示滤波核的样本的数目来实现。例如，当用32×32核取代16×16核时，可以增强Gabor滤波器。

滤波器组的问题通常在于滤波器的频谱交迭，从而无法正确地计算频带。例如，Gabor滤波器具有高斯形状的频谱。这些频谱本质上是交迭的。这种交迭降低了图像检索性能，特别是在一个或多个滤波器包括相当多的频率零的部分时。

以显示条纹的两幅图像为例。在两幅图像中，条纹的方向和频率相同。仅有的区别是两幅图像之间的空间常数偏移。基于Gabor子带的功率，计算每幅图像的描述子。即使图像显示相同类型的纹理，偏移越高，描述子越不相同。

另外，以显示在白天不同时间的相同场景的两幅图像为例。光照越不同，描述子也越不同。例如，使用显示在白天的车辆的给定图像，在数据库中检索显示车辆的图像，则可能无法找出显示诸如夜间之类的较低光线等级下的车辆。

这种效果导致在数据库执行检索更加困难，特别是在搜索语义上相似的项目时。例如，搜索具有与给定节奏相似的节奏的音频片断。当由于技术原因而导致音频片断具有不同的信号偏移时，可能无法找到具有相同节奏但偏移不同的一些音频片断。

当使用基于滤波器组的描述子对多媒体项目进行分类时，也可能产生消极效果。因此，将描述子馈入将一个或多个标签归属于图像的分类器。例如，用于图像中户外场景的分类器可以检测给定图像中的户外场景，并产生该图像的标签“户外”。通常用典型图像集对分类器进行训练。当这些图像只包括日光图像时，分类器可能无法检测到例如早上的具有较低光线等级的户外场景。

发明内容

本发明提出了一种方法，以使用滤波器组来计算多媒体项目的描述子，并避免上述缺点中的至少一个。

为此，本发明提供了一种对代表多媒体项目的信号的描述子进行确定的方法，该方法包括对所述信号应用第一定向滤波器组以获得第一系数集的步骤。

根据本发明，所述方法包括如下步骤：

-对所述信号应用第二滤波器组，以获得代表低通滤波信号的第二系数集，

-通过获得第一系数集与第二系数集之间的差值，计算代表所述多媒体元素的描述子；以及

-计算所述差值的相关功率。

根据优选实施例，定向滤波器是Gabor型滤波器。

根据优选实施例，第二滤波器组包括低通滤波器。

根据第二实施例，第二滤波器组包括定向滤波器，所述定向滤波器计算沿与Gabor滤波器的灵敏度方向垂直的行的均值。

优选地，对二次系数组执行所述差值的相关功率的计算，获得的描述子是值的集合，每个值与针对每个组而获得的描述子相对应。

根据另一实施例，对所有描述子执行所述差值的相关功率的计算，所获得的描述子是唯一值。

优选地，第一系数集和第二系数集中的系数分别与滤波器的一个方向和一个尺度相对应。

本发明还涉及一种用于对代表多媒体项目的信号的描述子进行确定的设备，所述设备包括对所述信号应用第一定向滤波器组以获得第一系数集的装置。根据本发明，所述设备包括：

-用于对所述信号应用第二滤波器组以获得代表所述信号均值的第二系数集的装置；

-用于通过获得第一系数集与第二系数集之间的差值来计算代表所述多媒体元素的描述子、并计算所述差值的相关功率的装置。

根据第二方面，本发明涉及一种用于检索数据库中的多媒体项目的设备。根据该方面，所述设备包括：

-根据本发明的用于确定描述子的设备；

-用于对样本图像的描述子和所述数据库的图像描述子进行比较的装置；

-用于检索所述数据库中与所述样本图像的描述子差值低于预定阈值的图像的装置。

根据第三方面，本发明还涉及一种对数据库中的多媒体项目进行分类的设备。根据第三方面，所述设备还包括：

-根据本发明的用于确定描述子的设备；

-对所述描述子进行分类的聚类装置。

附图说明

通过借助附图而描述的本发明的非限制性实施例，本发明的其他特征和优点将显而易见。

-图1表示本发明实施例的流程图；

-图2表示根据本发明实施例的设备；

-图3表示本发明在图像检索中的应用；

-图4表示对多媒体元素进行分类的本发明实施例。

具体实施方式

本发明实施例可以采用软件、固件、硬件或多种技术的任意组合来实施。例如，在一些实施例中，可以将本发明提供为可以包括机器或计算机可读介质的计算机程序产品或软件，该机器或计算机可读介质上存储有用于对计算机(或其他电子设备)编程以使其执行根据本发明的过程的指令。在其他实施例中，可以由包含用于执行本发明步骤的硬连线逻辑的特定硬件部件、或由已编程计算机组件和定制硬件组件的任意组合来执行本发明的步骤。

因此，机器可读介质可以包括用于以机器(例如，计算机)可读形式存储或传输信息的任意机构。这些机构包括但不限于软盘、光盘、硬盘驱动、全息盘、压缩盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EEPROM)、磁或光卡、闪存存储器、因特网上的传输、传播信号的电、光、声或其他形式等。

除非特别声明，否则要理解，如从以下论述中显而易见的一样，利用诸如“处理(processing)”、“计算(computing)”、“计算(calculating)”或“确定(determing)”等术语的论述可以表示计算机系统或相似电子计算设备的动作和过程，该计算机系统或相似电子计算设备对表示为计算机系统存储器、寄存器或其他信息存储、传输或显示设备内的物理量的数据进行操纵和变换。

在以下详细的实施例描述中，参照作为示例示出的可以实施本发明的特定实施例的附图。在全部附图中，类似的数字实质上描述相似的部件。这些实施例的描述非常详细，足以使本领域技术人员能够实施本发明。可以利用其他实施例，并且在不背离本发明范围的前提下，可以进行结构、逻辑和电气方面的改变。此外，要理解，虽然本发明的多种实施例彼此不同，但并不一定是相互排斥的。例如，一个实施例中描述的特定特征、结构或特点可以包括在其他实施例中。

图1表示本发明实施例的流程图。

在步骤S1中，对于代表多媒体项目的信号，应用滤波器组。

为了捕获图像中的纹理，以便对数据库编制索引和进行图像检索，通常使用表达出例如垂直和水平等多个方向上的细节程度的导向(或定向)滤波器。在导向滤波器中，Gabor滤波器以其良好的索引编制效率而闻名。

根据在此所述的优选实施例，滤波器组是基于Gabor型滤波器的。可以使用其他滤波器，例如Hermite滤波器或一般的高斯滤波器。根据如下公式定义Gabor滤波器：