一种基于多特征和稀疏表示的图像检索系统及方法

摘要

本发明公开了一种基于多特征和稀疏表示的图像检索系统及方法，系统包括特征提取模块、特征字典构造模块、相似性度量模块、信息存储模块、查询交互模块。所述特征提取模块，采用结合形状和颜色的图像特征，色彩增强高斯拉普拉斯特征(CLOG特征)和SURF特征；所述特征字典构造模块，通过在线字典学习算法，将原始特征压缩为过完备字典特征，弥补了原始特征过于稠密的缺点；所述相似性度量模块，引入稀疏表示理论，比较查询图像由原字典和相关字典表示产生的残差大小，判断两幅图像的相似度，避免了传统相似性度量方法特征依赖性较高的问题。本发明可以有效检索旋转、噪声、光照变化图像，显著提高了图像检索的鲁棒性。

说明书

技术领域

本发明涉及基于内容的图像检索技术领域，具体涉及一种基于多特征和稀 疏表示的鲁棒性的图像检索系统及方法。

背景技术

随着计算机、多媒体、网络、数字通信技术的迅速发展，数字图像作为各 种信息的重要载体之一，以其直观、形象、易懂、信息量大的特点深入到与人 们生活息息相关的各个方面，成为人们获取信息的一个重要途径。对于数字图 像来讲，如何有效的描述图像的内容，进而从数以万计的图像数据中寻找出符 合用户需求的图像，正是图像检索领域所要研究的内容。由于人工进行标注工 作量巨大，基于关键字的信息检索技术难以满足用户的要求，这就需要有一种 针对类型复杂图像库的有效检索方式，于是基于内容的图像检索(CBIR)技术应 运而生，从20世纪90年代初起，CBIR就成为多媒体技术应用领域的研究热点。

基于内容的图像检索(CBIR)的任务是：给定查询图像，根据图像的视觉内 容在图像数据库中找出与其具有相似特性的其他图像。通过从图像中获得的客 观内容特征，如颜色、纹理、形状等来描述图像，不再依赖于人工标注，并基 于这些特征来进行相似度匹配，检索出用户满意的图像，即从图像数据库中检 索出与此图像相似的图像。

目前，大多数的图像检索系统的相似性度量是基于欧式距离函数，它也是 最常见的距离度量函数。它的缺点是事先假定了图像特征的各分量之间是正交 无关的，而且各维数的重要程度相同。Mahalanobis距离在基于欧氏距离的基础 上加入了协方差矩阵的权重影响，它适用于特征向量的各个分量间具有相关性 或者具有不同权重的情形。另外，常用的相似性度量方法还有直方图相交法、 余弦距离、相关系数、Kullback-Leibler散度、Jefrrey散度等。但上述的度量方 法主要关注于度量测试图像和相关图像在无几何变换，如压缩、变形、亮度或 对比度增强等，情况下的相似程度。

此外，已有的基于内容的图像检索系统一般是在图像无压缩、变形、仿射、 光照变化、噪音污染等情况下的检索。然而在现实生活中，往往需要检索的图 像质量不高，存在噪声污染或者压缩变形，而且在特殊领域中，如安防和公安 单位的工作中，理想的图像采集条件很难满足，待检索的图像往往有仿射或光 照变化，甚至存在遮挡和伪装。因此，对鲁棒性的图像检索系统的需求更加显 著。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种能够有效检索压 缩、变形、仿射、光照变化、噪音污染图像，具有较强鲁棒性的基于多特征和 稀疏表示的图像检索系统及方法。本发明的技术方案如下：一种基于多特征和 稀疏表示的图像检索系统，其包括特征提取模块、特征字典构造模块、相似性 度量模块、信息存储模块和查询交互模块；

所述特征提取模块用于提取图像数据库中的相关图像和查询图像的原始图 像特征，所述原始图像特征包括色彩增强高斯拉普拉斯CLOG特征及快速鲁棒 SURF特征；

所述特征字典构造模块用于将特征提取模块提取到的相关图像和查询图像 的原始图像特征采用在线字典学习算法压缩重构为相关特征字典和原特征字 典；

所述相似性度量模块用于计算相关图像和查询图像的相似度，根据特征字 典构造模块得到的相关特征字典和原特征字典，采用正交匹配追踪OMP算法计 算出稀疏向量，并比较分别由原特征字典和相关特征字典稀疏向量所产生的残 差大小，计算出加权后的相似度；

所述信息存储模块用于存储查询图像的原特征字典以及相关图像的相关特 征字典，并存储查询图像与相关图像的相似度；

所述查询交互模块检索出图像库中与查询图像相似度最高的前n幅图像， 并根据用户反馈调整查询结果。

一种基于多特征和稀疏表示的图像检索方法，其包括以下步骤：201、从图 像数据库的相关图像中分别提取色彩增强高斯拉普拉斯CLOG特征向量和 快速鲁棒SURF特征向量其中表示从相关图像中提取 的CLOG特征向量的个数；表示从相关图像中提取的SURF 特征向量的个数，并通过在线字典学习算法得到相关字典和

202、从待查询图像中分别提取CLOG和SURF特征向量，记为$j=\mathrm{1,2},...,K_2^{\mathrm{CLOG}}$和$j^{\prime }=\mathrm{1,2},...,K_2^{\mathrm{SURF}},$为从待查询图像中提取的CLOG特 征向量的个数；为从待查询图像中提取的SURF特征向量的个数，并通过在 线字典学习算法得到原字典和

203、构建联合字典$D_{\mathrm{CLOG}}=\left[D_1^{\mathrm{CLOG}}\right|D_2^{\mathrm{CLOG}}]$和$D_{\mathrm{SURF}}=\left[D_1^{\mathrm{SURF}}\right|D_2^{\mathrm{SURF}}],$分别稀疏编 码查询图像特征和利用正交匹配追踪OMP算法得稀疏系数向量和计算稀疏系数；

204、计算重构残差，对于查询图像中的一个CLOG特征向量令稀疏 系数向量中对应相关字典的部分为0，得原字典对应的残差 然后令稀疏系数向量中对应原字典的部分为0，得相关字典对 应的残差比较残差和大小，如果$E_{2j}^{\mathrm{CLOG}}<E_{1j}^{\mathrm{CLOG}},$原字典得 到一票，得票数记为n1；如果相关字典得到一票，得票数记 为n2；n1/(n1+n2)的百分比即为两幅图像CLOG相似度，记为V₁^CLOG，同理可得， 两幅图像SURF相似度记为V₁^SURF；

205、加权相似度融合，迭代循环0-1之间最优的组合作为V₁^CLOG和V₁^SURF的权 值，计算加权融合后待查询图像与相关图像的相似度 Sim(I₁,I₂)＝ω₁·V₁^CLOG+ω₂·V₁^SURF；其中ω₁表示加权系数，ω₂表示另一加权系数；

206、存储步骤205中得到的待查询图像与相关图像的相似度 Sim(I₁,I₂)＝ω₁·V₁^CLOG+ω₂·V₁^SURF，当用户检索时，则导出图像库中与查询图像相似 度最高的前n幅图像，并根据用户反馈调整查询结果，完成检索。

本发明的优点及有益效果如下：

本发明专利采用结合颜色和形状的CLOG特征和SURF特征，弥补了仅仅 使用一种特征对图像内容的描述比较片面，在图像变换较大的情况下不能取得 理想的检索效果的缺点。CLOG特征为颜色显著性特征，能充分表达图像的颜 色信息，而SURF特征在图像形状描述上具有压缩，变形，光照、仿射不变性 等特点。这两种特征的使用不仅能够更加全面的描述图像内容，而且对于压缩、 变形、仿射、光照变化等有较强的鲁棒性。

本发明专利通过在线字典学习方法将原始特征压缩为过完备字典特征，使 其尽可能地逼近目标特征结构，进而可从过完备字典中找到具有最佳线性组合 的原子来表示图像特征。在线字典学习在每次迭代的过程中，仅处理训练集中 的一个数据或者进行微型批处理，使之可以处理大的数据集或图像序列，是一 种有效快速的字典构造方法，大大减少了构造特征字典的内存消耗和计算时间。

本发明专利引入稀疏表示理论，度量两幅图像的相似程度。通过比较查询 图像分别由原字典和相关字典稀疏表示所产生的残差大小，对原字典和相关字 典进行投票，相关字典得票总数的百分比记为两幅图像的相似度。避免了传统 相似性度量方法特征依赖性较高的问题，且当图像存在压缩、变形、仿射、光 照变化、噪音污染等情况下仍能准确给出相似度。

本发明专利为具有较高鲁棒性的图像检索系统。已有的基于内容的图像检 索系统一般是在图像无压缩、变形、仿射、光照变化、噪音污染等，理想情况 下的检索。然而在现实生活中，往往待检索的图像质量不高，而且在安防和公 安单位的工作中，标准的图像采集条件很难满足。鲁棒性的图像检索系统有助 于特殊环境和特殊条件下的检索，扩大了图像检索的应用范围。另外，通过对 图像内容进行过滤，快速而准确的检测出不良图像，这对于青少年的健康成长 以及净化网络环境，有着极其重要的意义。

附图说明

图1所示为本发明优选实施例基于多特征和稀疏表示的图像检索系统功能 结构示意图；

图2为本发明优选实施例基于多特征和稀疏表示的图像检索系统整体工作 流程示意图；

图3为本发明优选实施例基于多特征和稀疏表示的图像检索系统两幅图像 相似程度比较流程示意图；

图4为本发明优选实施例基于多特征和稀疏表示的图像检索系统算法描述 示意图。

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。

下面结合附图给出一个非限定的实施例对本发明作进一步的阐述。但是应 该理解，这些描述只是示例的，而并非要限制本发明的范围。此外，在以下说 明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是本发明专利提供的一种基于多特征和稀疏表示的图像检索系统功能 结构示意图，图1中，一种基于多特征和稀疏表示的图像检索系统，包括特征 提取模块(1)、特征字典构造模块(2)、相似性度量模块(3)、信息存储模块(4) 和查询交互模块(5)。

所述特征提取模块(1)用于提取图像的原始特征；所述特征字典构造模块 (2)用于将原始图像特征压缩重构为特征字典，并使字典特征尽可能的逼近目标 特征的结构，弥补了原始特征过于稠密的缺点；所述相似性度量模块(3)用于 度量两幅图像的相似程度，引入稀疏表示理论，比较查询图像分别由原字典和 相关字典稀疏表示所产生的残差大小，判断两幅图像的相似度，避免了传统相 似性度量方法特征依赖性较高的问题；所述信息存储模块(4)用于存储查询图 像以及所有相关图像的特征字典，并存储查询图像与图像库中每幅相关图像的 相似度；所述查询交互模块(5)检索出图像库中与查询图像相似度最高的前n 幅图像，并根据用户反馈调整查询结果。

图2是本发明专利提供的一种基于多特征和稀疏表示的图像检索系统整体 工作流程示意图，图2中，首先提取图像库中的相关图像的CLOG和SURF特 征，通过在线字典学习算法将CLOG和SURF特征分别压缩重构为特征字典， 并存储图像库中所有相关图像对应的特征字典到相关字典库；同样的，对于查 询图像，提取CLOG和SURF特征，并通过在线字典学习算法将其压缩重构为 特征字典；相关字典库中的一个相关字典与从查询图像所得特征字典组合为联 合字典，联合字典和从查询图像中提取的CLOG和SURF特征输入相似性度量 模块中，得相关图像与查询图像的相似度，存储到相似度数据库；以此类推， 计算图像库中所有相关图像与查询图像的相似度。最后，查询相似度数据库中 相似度最高的前n幅图像并输出结果，根据用户反馈，调整查询输出结果。

图3是本发明专利提供的一种基于多特征和稀疏表示的图像检索系统两幅 图像相似程度比较流程示意图，图3中，所描述的具体步骤如下：

a)从相关图像中分别提取CLOG和SURF特征向量，记为和并通过在线字典学习算法得到相关字典 和

b)从查询图像中分别提取CLOG和SURF特征向量，记为和并通过在线字典学习算法(参考文献1)得 到原字典和

c)计算稀疏系数。构建联合字典$D_{\mathrm{CLOG}}=\left[D_1^{\mathrm{CLOG}}\right|D_2^{\mathrm{CLOG}}]$和$D_{\mathrm{SURF}}=\left[D_1^{\mathrm{SURF}}\right|D_2^{\mathrm{SURF}}],$分别稀疏编码查询图像特征$i=\mathrm{1,2},...,K_2^{\mathrm{CLOG}}$和$i=\mathrm{1,2},...,K_2^{\mathrm{SURF}},$利用 OMP正交匹配追踪算法(参考文献2)得稀疏系数向量和

d)计算重构残差。对于查询图像中的一个CLOG特征列向量令稀疏 系数向量中响应相关字典的部分为0，得原字典对应的残差 同样的，令稀疏系数向量中响应原字典的部分为0，得相关字典对应的 残差比较残差和大小，如果$E_{2j}^{\mathrm{CLOG}}<E_{1j}^{\mathrm{CLOG}},$原字典得到一 票；如果相关字典得到一票。以此类推，对于所有的查询图 像CLOG特征向量相关字典得票总数百分比即为 两幅图像CLOG相似度记为V₁^CLOG。同理可得，两幅图像SURF相似度记为V₁^SURF。 e)加权相似度融合。迭代循环0-1之间最优的组合作为V₁^CLOG和V₁^SURF的权值，计 算加权融合后的相似度Sim(I₁,I₂)＝ω₁·V₁^CLOG+ω₂·V₁^SURF。参考文献

[1].J.Mairal,F.Bach,J.Ponce,and G.Sapiro,“Online dictionary learning for sparse coding,”Proceedings of the 26th Annual International Conference on Machine Learning.ACM,pp.689-696,2009.

[2].S.G.Mallat and Z.Zhang,“Matching pursuits with time-frequency dictionaries,”Signal Processing,IEEE  Transactions on,1993,41(12):3397-3415.

图3中，为了使相似度更具有区分性，即当两幅图像在视觉上相似时，查 询图像特征更倾向于选择相关字典进行稀疏编码，相反的，当两幅图像差异很 大时，查询图像特征更倾向于选择从它本身训练得来的字典进行稀疏编码，规 定在使用在线学习算法训练字典的过程中，训练相关字典的迭代次数要大于训 练原字典的迭代次数；相关字典中的列数大于原字典的列数。

图4是本发明专利提供的一种基于多特征和稀疏表示的图像检索系统算法 描述示意图。图4中，执行步骤1到步骤6可以得到两幅图像的相似度，循环 执行步骤1到6直到得出图像库中所有相关图像与查询图像的相似度的值，存 储到数据库中。最后检索相似度最高的前n幅图像，输出结果。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明方法权利要求所限定的范围。