一种基于图像间内容约束的超像素编码图像检索方法

摘要

本发明属于图像处理技术领域，具体公开了一种基于图像间内容约束的超像素编码图像检索方法。其步骤为：1)对图像进行超像素分割，记录各超像素块的位置信息；2)提取图像的超像素块的SIFT和LBP融合特征；3)从图像库中随机选取训练图像的超像素块融合特征，通过K-means聚类生成字典；4)输入检索图像，通过该字典对检索图像编码，并对除检索图像外的图像进行初始编码；5)对图像库中的图像进行初始编码，通过在待检索图像相应区域内筛选最相似的编码值作为预测编码之后再对图像库中的图像进行约束编码；6)对待检索图像和图像库中的其余图像编码，并计算相似度匹配，按照匹配值显示检索结果。本发明具有较高准确率和回调率。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于图像间内容约束的超 像素编码图像检索方法，可应用于人机交互、信息检索等方面。

背景技术

图像检索一直是计算机视觉领域备受关注的关键技术之一，也是目前学 界和各大互联网公司研究的热点。虽然目前已有大量的算法来实现图像的检 索，但由于人们对图像的标注和理解没有统一的标准，随着人们对信息需求 的精确性的提高，图像检索的效率和准确率也使得图像检索的发展难以满足 人们的需求。

近年来，超像素分割逐渐成为计算机视觉领域流行的图像处理方法。它 不同于以往人们对像素概念的理解，它是将图像中像素点的空间信息，文理 信息分析和计算，将一些像素点连接在一起组成一个超像素块。它在去除图 像冗余信息的同时保证了块内信息的一致性，且不会破坏图像的边缘等信 息。此外，建立在超完备集基础之上的稀疏表示由于只采用少数码字来表示 图像特征，它更符合人眼的视觉特性，也在图像处理中得到广泛的应用。

国家计算机网络与信息安全管理中心提出的专利申请“一种图像检索/ 匹配方法及系统”(专利申请号CN201110427104.7,公开号CN102521838A) 公开了一种基于匹配特征点集的图像检索方法。在两幅图像中，分别以初始 匹配特征点为中心，将图像划分为两个以上区域，将图像均划分为两个以上 的区域,并对各区域编号；在两幅图像中,分别以其他各初始匹配特征点所处 区域的编号构成的矢量来描述该初始匹配特征点的全局特征；对两个矢量进 行比较,如果相似度达到要求,则为正确的匹配特征点对。该方法未能考虑图 像库中图像与待检索图像之间的关系，导致检索准确率较低。

辽宁师范大学的专利“基于重要位平面的图像检索新方法”(申请号 CN200610067581.6，公开号CN101038668)公开了一种基于重要位平面的图 像检索方法，首先从原始图像中提取重要位平面；然后选取重要位平面图像 的颜色直方图作为颜色特征,选取重要位平面图像的颜色标准偏差作为空 间特征；最后综合利用上述颜色、空间两个特征计算图像间内容的相似度, 根据相似度排序,输出相似图像集合。该方法的不足是未能考虑图像的空间 位置信息，且对图像的颜色特征比较敏感。当图像的颜色发生较大改变时难 以实现较好的检索效果。

以上两种方法均是对待检索图像和图像库中图像分别提取特征编码，未 能利用待检索与图像库中图像的信息，当图像颜色特征，空间位置发生较大 改变时难以实现高效的检索。

发明内容

本发明针对上述现有技术的不足，提出一种基于图像间内容约束的超像 素编码图像检索方法，充分利用图像之间的信息，得到高准确率高回调率检 索的目的。

本发明提供的这种基于图像间内容约束的超像素编码图像检索方法，包 括以下步骤：

(1)对图像进行超像素分割：

(1a)根据SLIC超像素分割方法对图像库中所有图像进行超像素分割， 将图像分割为不同的超像素块，并记录每个像素点所属的超像素块；

(1b)将图像中的每一个超像素块中的所有像素点的坐标按式(1)所示 方法求平均值，并将该平均值作为超像素块的坐标，

$\left(\begin{array}{c}{r}_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Sigma }}{r}_{\mathrm{ij}}\\ c_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Sigma }}{c}_{\mathrm{ij}}\end{array}\right)---\left(1\right)$

式中，K_i表示第i个超像素块中的像素点个数，r_ij表示第i个超像素块中 第j个像素点的行数，r_i表示第i个超像素块的行数，c_ij表示第i个超像素块 中第j个像素点的列数，c_i表示第i个超像素块的列数；

(2)图像库中所有图像的特征提取:

(2a)根据dense-SIFT方法，提取图像库中每张图像每个像素点的128维 SIFT特征描述子，并记录相应特征描述子的行列信息；将图像中的每一 个超像素块中的所有像素点的SIFT特征通过下式求平均值，并将该平均 值作为每个像素块的SIFT特征描述子，

$s_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Sigma }}{x}_{\mathrm{ij}}---\left(2\right)$

式中，K_i表示第i个超像素块中的像素点个数，x_ij表示第i个超像素块中第 j个像素点的特征，s_i表示第i个超像素块的SIFT特征描述子；

(2b)提取图像中每个超像素块的59维LBP特征：

(a)根据图像中每个像素点与其相邻八个点的灰度值的大小关系计算 出一个0到255之间的数字并用该数字代表相应的像素点；(b)根据均匀 LBP模式的映射方式将每个像素点通过(a)获取的数字映射到0-58之间的 相应的数字；(c)对于某一个超像素块我们将其包含的所有像素点在(b) 中对应的数字进行直方图统计，并将该直方图统计值作为该超像素块的LBP 特征；

(2c)将图像库中每个图像的每个超像素块的SIFT和LBP特征直接连接 在一起，形成187维融合特征，并将它作为该超像素块的特征；

(3)构建字典：

随机选取图像库中20％的图像的超像素块融合特征描述子作为构建字 典的训练样本，采用K均值聚类的方法，得到187*k的字典B，其中k为字 典中码字的个数；

(4)获取图像的初始编码：

根据式(3)对每一张图像进行初始编码，

$\left(\begin{array}{c}\underset{c_i^{\prime }}{\arg \min }{\Sigma }_{i=1}^N{\left|\right|x_i-B_i{c}_i^{\prime }\left|\right|}^2\\ s.t.1^T{c}_i^{\prime },\forall i\end{array}\right)---\left(3\right)$

式中，c′_i表示图像的初始编码，N表示该图像中超像素块的个数，i表 示图像中第i个超像素块，x_i表示第i个超像素块的特征，B_i是字典的字典B 的子集，它是由与特征x_i最近的L个码字构成，将L取值为5，arg min(·)表示 取最小值操作对应的c_i',||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

随机选择图像库中一张图像作为待检索图像，对于待检索图像，c'_i表示 其编码，对于图像库中的除待检索图像外的其他图像，c'_i表示其初始编码；

(5)基于待检索图像计算图像库中除待检索图像外其他图像的编码：

(5a)按照式(4)计算图像库中除待检索图像之外的其他所有图像进行 预测编码：

$c_i^{\mathrm{re}}=\underset{c_{\partial i}^{\mathrm{re}}}{\arg \min }\left|\right|c_i^{\prime }-c_{\partial i}^{\mathrm{re}}\left|\right|---\left(4\right)$

式中，c'_i表示图像库中图像的超像素块i通过步骤(4)的初始编码，表示图像库中图像的超像素块i在检索图像中邻域的所有超像素块编码， ||·||表示求一范数操作，arg min(·)表示在选取取得最小值时所对应的像 素点的值，表示图像库中图像的超像素块i在检索图像编码约束后的预 测编码，

其中，将所有图像等分为四个区域，当图像库中图像的超像素块i在该 图像中属于第M块区域时，M取值为1,2,3,4中的一个，图像库中除待检索 图像外的其他图像的超像素块i在检索图像中邻域是指待检索图像中的第M 块区域；

(5b)根据步骤(5a)中所求得的图像的预测编码以及步骤(3)中聚类得 到的字典，利用式(5)对图像库中除检索图像之外的图像进行编码：

$\left(\begin{array}{c}\underset{c_i}{\min }{\Sigma }_{i=1}^N{\left|\right|x_i-{\mathrm{Bc}}_i\left|\right|}^2+\lambda {\left|\right|c_i^{\mathrm{re}}-c_i\left|\right|}^2\\ s.t.1^T{c}_i=1,\forall i\end{array}\right)---\left(5\right)$

式中，c_i表示图像的第i个超像素块基于待检索图像的精确编码，表 示通过步骤(5a)得到的图像的第i个超像素块基于待检索图像的预测编码， B表示通过步骤(3)获取的字典，x_i表示第i个超像素块的特征，||·||²表示 求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取 1～N中的一个整数；式(5)是凸函数；

(6)图像的相似性检索：

(6a)图像的表示：

如步骤(5a)所述，图像等分为四个区域，分别对每个区域进行编码， 对于每一区域的编码中，对每一个码字选择该区域内所有超像素在该码字上 的编码值最大的码值作为该区域在该码字上的编码值；对于每一个区域，会 得到一个k维的向量，向量的每一维的值表示该区域在对应码字的编码值， 此K维向量作为该区域的表示；将四个区域各自的k维向量直接连接起来， 作为该图像基于待检索图像的表示；

(6b)相似度匹配：

通过计算待检索图像与图像库中其他图像编码的一范数距离，作为待检 索图像与图像库中除待检索图像外的其他图像的相似度，将待检索图像与图 像库中其他图像的相似度作从小到大排序，作为该检索图像的检索结果。

上述步骤(2)的(2b)超像素块的LBP特征的提取方式为：(a)比较 图像中每个像素点和以该像素点为中心的相邻八个像素点的灰度值的大小 关系，如果相邻点灰度值大于中心像素点灰度值，则该相应位置标记为1， 否则标记为0，以中心像素点的正上方位置为起始位置，按顺时针方向链接 各相邻点位置的标记则可获取一个8位二进制数，对应于一个0到255之间 的十进制数字并用该数字代表相应的中心像素点；(b)根据均匀LBP模式 的映射方式将每个像素点的通过(a)获取的数字映射到0到58之间的数字； (c)以每个超像素块为一个提取LBP特征的区域，对于图像的任一个超像 素块我们将其包含的所有像素点在(b)中对应的数字进行直方图统计，并 将该直方图统计值作为该超像素块的59维LBP特征。

本发明的有益效果：本发明通过待检索图像和图像库中图像的内容约束 关系,以待检索图像为基准,对图像库中图像进行约束编码,保证了同类图像 间的连续性稳定性.本发明可用于各种检索情况,具有较高的检索准确率和回 调率。本发明与现有技术相比有以下优点：

1、本发明通过对SIFT特征和LBP特征进行特征融合的方式，融合之后 的特征可以更好的表示的提取图像的信息，提高检索准确率。

2、本发明由于通过筛选图像超像素块编码与检索图像对应邻域超像素块 编码的最小距离所对应的超像素块的编码，然后根据该编码，采用图像间像 素点编码相约束的方法确保图像空间位置的一致性，很好地克服了现有技术 中因丢失空间信息导致效果不理想的缺点。

3、本发明由于在求解超像素块编码时将求范数公式的最优问题转化为求 解析解的问题，减少了计算复杂度。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1为本发明的图像检索流程示意图；

图2为本发明与现有技术中5种检索方法的平均检索准确率对比曲线图；

图3为本发明与现有技术中5种检索方法的平均检索回调率对比曲线图。

具体实施方式

参照图1，本发明具体实现步骤如下：

(1)对图像进行超像素分割：

(1a)根据SLIC超像素分割方法对图像库中所有图像进行超像素分割， 将图像分割为不同的超像素块，并记录每个像素点所属的超像素块；

(1b)将图像中的每一个超像素块中的所有像素点的坐标求平均值，并将 该平均值作为超像素块的坐标，

$\left(\begin{array}{c}{r}_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Sigma }}{r}_{\mathrm{ij}}\\ c_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Sigma }}{c}_{\mathrm{ij}}\end{array}\right)---\left(1\right)$

式中，K_i表示第i个超像素块中的像素点个数，r_ij表示第i个超像素块中 第j个像素点的行数，r_i表示第i个超像素块的行数。c_ij表示第i个超像素块 中第j个像素点的列数，c_i表示第i个超像素块的列数。

(2)图像库中所有图像的特征提取与融合:

(2a)根据dense-SIFT方法，提取图像库中每张图像每个像素点的128维 SIFT特征，并记录相应特征的行列信息；将图像中的每一个超像素块中 的所有像素点的SIFT特征通过(2)式求平均值，并将该平均值作为每个 像素块的SIFT特征，

$s_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Sigma }}{x}_{\mathrm{ij}}---\left(2\right)$

式中，K_i表示第i个超像素块中的像素点个数，x_ij表示第i个超像素块中第 j个像素点的特征，s_i表示第i个超像素块的SIFT特征；

(2b)提取图像中每个超像素块的59维LBP特征：

(a)比较图像中每个像素点和以该像素点为中心的相邻八个像素点的 灰度值的大小关系，如果相邻点灰度值大于中心像素点灰度值，则该相应位 置标记为1，否则标记为0，以中心像素点的正上方位置为起始位置，按顺 时针方向链接各相邻点位置的标记则可获取一个8位二进制数，对应于一个 0到255之间的十进制数字并用该数字代表相应的中心像素点；(b)根据均 匀LBP模式的映射方式将每个像素点的通过(a)获取的数字映射到0到58 之间的数字；(c)以每个超像素块为一个提取LBP特征的区域，对于图像 的任一个超像素块我们将其包含的所有像素点在(b)中对应的数字进行直 方图统计，并将该直方图统计值作为该超像素块的59维LBP特征。

(2c)将图像库中每个图像的每个超像素块的SIFT和LBP特征直接连接 在一起，形成187维特征，并将它作为该超像素块SIFT-LBP的融合特征；

(3)构建字典：

随机选取图像库中20％的图像的超像素块融合特征作为构建字典的训 练样本，采用K均值聚类的方法，可以得到得到187*k的字典B，其中k为 字典中码字的个数。

(4)获取图像的初始编码：

根据式(3)对每一张图像进行初始编码，

$\left(\begin{array}{c}\underset{c_i^{\prime }}{\arg \min }{\Sigma }_{i=1}^N{\left|\right|x_i-B_i{c}_i^{\prime }\left|\right|}^2\\ s.t.1^T{c}_i^{\prime },\forall i\end{array}\right)---\left(3\right)$

式中，c′_i表示图像的初始编码，N表示该图像中超像素块的个数，i表 示图像中第i个超像素块，x_i表示第i个超像素块的特征，B_i是字典B的子集， 它是由与特征x_i最近的L个码字构成，L在本发明中取值为5，arg min(·)表示 取最小值操作对应的c_i',,||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

任选一张图像作为待检索图像，对于待检索图像，c'_i表示其编码，对于 图像库中的除待检索图像外的其他图像，c'_i表示其初始编码；

(5)基于待检索图像计算图像库中除待检索图像外其他图像的编码：

(5a)按照式(4)计算图像库中除待检索图像之外的其他所有图像进行 预测编码：

$c_i^{\mathrm{re}}=\underset{c_{\partial i}^{\mathrm{re}}}{\arg \min }\left|\right|c_i^{\prime }-c_{\partial i}^{\mathrm{re}}\left|\right|---\left(4\right)$

式中，c'_i表示图像库中除待检索图像外的图像的超像素块i通过步骤(4) 的初始编码，表示图像库中图像的超像素块i在检索图像中邻域的所有超 像素块编码，||·||表示求一范数操作，arg min(·)表示在选取取得最小 值时所对应的像素点的值，表示图像库中除待检索图像外的图像的超 像素块i在检索图像编码约束后的预测编码；

其中，我们将所有图像等分为四个区域，当图像库中图像的超像素块i在 该图像中属于第M块区域时，M取值为1,2,3,4中的一个，图像库中除待检 索图像外的其他图像的超像素块i在检索图像中邻域是指待检索图像中的第 M块区域；

(5b)根据步骤(5a)中所求得的图像的预测编码以及步骤(3)中聚类得 到的字典，利用式(5)对图像库中除检索图像之外的图像进行编码：

$\left(\begin{array}{c}\underset{c_i}{\min }{\Sigma }_{i=1}^N{\left|\right|x_i-{\mathrm{Bc}}_i\left|\right|}^2+\lambda {\left|\right|c_i^{\mathrm{re}}-c_i\left|\right|}^2\\ s.t.1^T{c}_i=1,\forall i\end{array}\right)---\left(5\right)$

式中，c_i表示图像的第i个超像素块基于待检索图像的精确编码，表 示通过步骤(5a)得到的图像的第i个超像素块基于待检索图像的预测编码， B表示通过步骤(3)获取的字典，x_i表示第i个超像素块的特征，||·||²表示 求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取 1～N中的一个整数；

通过此步骤我们建立起待检索图像与图像库中除待检索图像外的其他 图像之间的的联系，并在建立联系的过程中把图像的空间位置信息考虑进 去。对图像库中除待检索图像外的其他图像编码的过程中都加入了带检索图 像的信息，可以提高检索准确率。

(6)图像的相似性检索：

(6a)图像的表示：

如步骤(5a)所述，图像等分为四个区域，对于每一区域的编码中，对 每一个码字选择该区域内所有超像素在该码字上的编码码值最大的码值作 为该区域在该码值的编码；对于每一个区域，我们可以得到一个k维的向量， 作为该区域的表示；将四个区域各自的k维向量直接连接起来，作为该图像 基于待检索图像的编码，并把此编码作为图像的表示；

(6b)相似度匹配：

通过计算待检索图像与图像库中其他图像编码的一范数距离，作为待检 索图像与图像库中除待检索图像外的其他图像的相似度，将待检索图像与图 像库中其他图像的相似度作从小到大排序，作为该检索图像的检索结果。

在计算相似度的过程中，同样依据步骤(5a)将图像分为相同的四块分 别进行相似度匹配这一过程将图像空间位置信息考虑进去，进一步提高检索 准确率。

以下是将本发明方法应用在Corel-1000图像数据库以测试检索准确率和 回调率：

Corel-1000图像数据库包括10类图像，每一类包括100张图像；将 图像库中每一张图像作为待检索图像按照步骤(1)到步骤(6)中的方法可 获取对每一张图像作为检索图像时的检索结果。由此可以得到图像库中十类 图像每一类图像在给定返回数目图像时的平均准确率和平均回调率。图2 和图3分别给出了本方面方法与其他四类图像检索方法的效果对比图。

因此，本发明通过待检索图像和图像库中图像的内容约束关系,以待检索 图像为基准,对图像库中图像进行约束编码,保证了同类图像间的连续性稳定 性.本发明可用于各种检索情况,具有较高的检索准确率和回调率。本发明与 现有技术相比有以下优点：

1、本发明通过对SIFT特征和LBP特征进行特征融合的方式，融合之后 的特征可以更好的表示的提取图像的信息，提高检索准确率。

2、本发明由于通过筛选图像超像素块编码与检索图像对应邻域超像素块 编码的最小距离所对应的超像素块的编码，然后根据该编码，采用图像间像 素点编码相约束的方法确保图像空间位置的一致性，稳定性，很好地克服了 现有技术中因丢失空间信息导致跟踪效果不理想的缺点。

3、本发明由于在求解超像素块编码时将求范数公式的最优问题转化为求 解析解的问题，减少了计算复杂度。

本实施方式没有详细叙述的部分属本行业的公知的常用手段，这里不 一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保 护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围 之内。