一种基于k邻域分布得分的图像重排序方法

摘要

本发明公开了一种基于k邻域分布得分的图像重排序方法，在根据图像相似度进行降排序的初始排序列表的基础上，再根据k邻域分布得分的高低进行重新排序；包括获得初始排序列表

说明书

技术领域

本发明涉及图像检索领域，尤其是一种用于对图像进行排序的方法。

背景技术

图像检索主要基于图像相似度判断：通过计算待测图像与参考图像数据集中各参考图像的相似度，然后根据相似度的高低进行排序，一般是将与待测图像相似度最高的参考图像作为top-1，top-1的准确率对图像检索结果的准确率起到至关重要的作用。但是，由于参考图像数据集中既存在正样本，又存在负样本，负样本对图像相似度计算存在干扰，由于正样本存在拍照角度、遮挡等问题，这会造成某些角度或没有遮挡的负样本与待测图像的相似度高于正样本与待测图像的相似度，那么采用现有技术中单纯依赖相似度计算得到的排序不准确，甚至出现负样本排到top-1的情况。

发明内容

针对上述现有技术的不足，本发明提供一种基于k邻域分布得分的图像重排序方法，解决单纯依赖图像相似度进行排序容易受到负样本干扰的技术问题，能够降低负样本对排序的干扰，提高图像检索的准确率。

为了解决上述技术问题，本发明采用了如下的技术方案：一种基于k邻域分布得分的图像重排序方法，在根据图像相似度进行降排序的初始排序列表的基础上，再根据k邻域分布得分的高低进行重新排序；包括以下步骤：

步骤1：获取包含N张参考图像的初始参考图像集G＝{g_i|i＝1,2,3,...,N}，并计算单张测试图像p与各参考图像的相似度，根据图像相似度从高到低进行排序，从而获得初始排序列表其中，是在初始排序列表中排在第i位的参考图像；

步骤2：建立测试图像p的扩展查询集Q(p,k)，按如下公式：

Q(p,k)＝{p}+N(p,k-1)；

其中，p为测试图像，N(p,k-1)来自于初始排序列表Ω(p,G)中的前k-1张参考图像，

步骤3：将初始排序列表作为新的测试图像集并且，

步骤4：将测试图像p添加到初始参考图像集G中，从而得到新的参考图像集G^new＝{p}+G；

步骤5：遍历新的测试图像集P^new，计算以P^new中各图像依次作为新的测试图像到新的参考图像集G^new中各参考图像的相似度，并根据相似度从高到低对新的参考图像集G^new中各参考图像进行排序，从而对应每个新的测试图像均获得临时排序列表；

步骤6：根据各新的测试图像所对应的临时排序列表，搜索扩展查询集Q(p,k)中k张图像在各个临时排序列表中的排序位置L；

步骤7：计算初始排序列表Ω(p,G)中各参考图像的以下得分：位置得分S_d-l、重叠得分S_d-o以及离散得分S_d-d；其中，的各项得分分别按如下公式计算：

其中，扩展查询集Q(p,k)中测试图像p在新的测试图像所对应的临时排序列表中的排序位置为L(p)；扩展查询集Q(p,k)中参考图像在新的测试图像所对应的临时排序列表中的排序位置为测试图像p的权重系数为k-1张参考图像的权重系数均为

其中，N(p,k)表示测试图像p的最近k领域，即初始排序列表Ω(p,G)中的前k张参考图像组成的图像集；表示新的测试图像的最近k领域，即新的测试图像所对应的临时排序列表中的前k张参考图像组成的图像集；card[·]表示求N(p,k)与相同图像的数量；

其中，var[·]表示方差计算；

步骤8：构造各个初始排序列表Ω(p,G)中各参考图像的k领域分布得分S_d，按以下任意一种方式：

以位置得分作为k领域分布得分：S_d＝S_d-l；

以重叠得分作为k邻域分布得分：S_d＝S_d-o

以位置得分与重叠得分的乘积作为k邻域分布得分：S_d＝S_d-l×S_d-o；

以离散得分与重叠得分的乘积作为k邻域分布得分：S_d＝S_d-d×S_d-o；

以位置得分、离散得分与重叠得分的乘积作为k邻域分布得分：S_d＝S_d-l×S_d-d×S_d-o；

步骤9：根据初始排序列表Ω(p,G)中各参考图像的k领域分布得分，从高到低，对初始排序列表Ω(p,G)中各参考图像进行重新排序，从而得到基于k邻域分布得分的重排序列表。

优选的，采用特征距离作为测试图像与参考图像的相似度判断指标。

优选的，k值根据初始参考图像集G中同一目标对象所拥有的平均参考图像数量n进行确定，k的取值区间为[0.6n,0.7n]。

与现有技术相比，本发明具有以下有益效果：

1、本发明在以图像相似度进行降排序的初始排序列表的基础上，再计算各参考图像的根据k邻域分布得分，并根据k邻域分布得分的高低进行重新排序，从而克服了单纯依赖图像相似度进行排序，而无法避免负样本干扰的缺陷，能够降低负样本对排序的干扰，提高图像检索的准确率。

2、本发明提供的5种构造k领域分布得分S_d的方式，均能在初始排序列表的基础上提高准确率。其中，尤其当S_d＝S_d-l×S_d-d×S_d-o时，具有最高的准确率。

3、本发明采用特征距离作为相似度判断指标，如现有技术中的欧氏距离、余弦距离等。

4、本发明中k值根据初始参考图像数据集的构成进行确定，根据大量实验统计，k的取值区间为[0.6n,0.7n]时，重排序能够获得最高的准确率。

5、本发明的重排序方法，计算简洁，复杂度低，可以实现高效的重排序。

附图说明

图1是步骤5中各新的测试图像对应的临时排序列表的参考示意图；

图2是重叠得分的计算原理示意图；

图3是基于k邻域分布得分的图像重排序方法的效果示意图；

图4是改变k值对图像数据集CUHK03的重识别性能评估图；

图5是是改变k值对图像数据集Market1501的重识别性能评估图。

具体实施方式

下面结合附图和优选实施方式对本发明作进一步的详细说明。

一种基于k邻域分布得分的图像重排序方法，在以图像相似度进行降排序的初始排序列表的基础上，再根据k邻域分布得分的高低进行重新排序；包括以下步骤：

步骤1：获取包含N张参考图像的初始参考图像集G＝{g_i|i＝1,2,3,...,N}，并计算单张测试图像p与各参考图像的相似度，根据图像相似度从高到低进行排序，从而获得初始排序列表其中，是在初始排序列表中排在第i位的参考图像。

步骤2：建立测试图像p的扩展查询集Q(p,k)，按如下公式：

Q(p,k)＝{p}+N(p,k-1)；

其中，p为测试图像，N(p,k-1)来自于初始排序列表Ω(p,G)中的前k-1张参考图像，

步骤3：将初始排序列表作为新的测试图像集并且，

步骤4：将测试图像p添加到初始参考图像集G中，从而得到新的参考图像集G^new＝{p}+G。

步骤5：遍历新的测试图像集P^new，计算以P^new中各图像依次作为新的测试图像到新的参考图像集G^new中各参考图像的相似度，并根据相似度从高到低对新的参考图像集G^new中各参考图像进行排序，从而对应每个新的测试图像均获得临时排序列表，参考图1所示，对应各新的测试图像新的参考图像集G^new中各参考图像均得到新排名，图1中I表示来新的自参考图像集G^new但不属于p的扩展查询集Q(p,k)的图像。

步骤6：根据各新的测试图像所对应的临时排序列表，搜索扩展查询集Q(p,k)中k张图像在各个临时排序列表中的排序位置L，排序位置即排序中的序号，排序位置的倒数即为排序位置得分。

步骤7：计算初始排序列表Ω(p,G)中各参考图像的以下得分：位置得分S_d-l、重叠得分S_d-o以及离散得分S_d-d；其中，的各项得分分别按如下公式计算：

其中，扩展查询集Q(p,k)中测试图像p在新的测试图像所对应的临时排序列表中的排序位置为L(p)；扩展查询集Q(p,k)中参考图像在新的测试图像所对应的临时排序列表中的排序位置为测试图像p的权重系数为k-1张参考图像的权重系数均为

其中，重叠得分的计算原理参考图2所示：

N(p,k)表示测试图像p的最近k领域，即初始排序列表Ω(p,G)中的前k张参考图像组成的图像集；表示新的测试图像的最近k领域，即新的测试图像所对应的临时排序列表中的前k张参考图像组成的图像集；card[·]表示求N(p,k)与相同图像的数量；

其中，var[·]表示方差计算。

步骤8：构造各个初始排序列表Ω(p,G)中各参考图像的k领域分布得分S_d，按以下任意一种方式：

以位置得分作为k领域分布得分：S_d＝S_d-l；

以重叠得分作为k邻域分布得分：S_d＝S_d-o

以位置得分与重叠得分的乘积作为k邻域分布得分：S_d＝S_d-l×S_d-o；

以离散得分与重叠得分的乘积作为k邻域分布得分：S_d＝S_d-d×S_d-o；

以位置得分、离散得分与重叠得分的乘积作为k邻域分布得分：S_d＝S_d-l×S_d-d×S_d-o。

步骤9：根据初始排序列表Ω(p,G)中各参考图像的k领域分布得分，从高到低，对初始排序列表Ω(p,G)中各参考图像进行重新排序，从而得到基于k邻域分布得分的重排序列表。

其效果可参考图3所示：设置k＝5；顶端:测试图像p和在初始排序表中前9个样本，其中N1-N2是负样本,P1-P7为正样本.测试图像p的查询扩展集Q(p,5)由p,N1,P1,P2和N2组成,然后设置N1为新的测试图像。中间:图像N1的最近邻域N(N1,5)和Q(p,5)在新的排名表中的5个位置标签,分别是39,1,504,437和47,得出分布和离散得分各为0.141和4.11×10-3。Q(p,5)和N(N1,5)相同图像的数目为1,所以重叠的分为1,三种得分相乘得到最终得分0.58×10-3,利用相同的方法求取其余图像的得分。底端：根据得分高低修改排序表,发现正样本P1,P2,P3,P4和P5在最终的排名表中处于前五的位置。

为进一步验证本发明的效果，采用特征距离作为图像相似度判断指标，在两个大型数据集上评估所提出的方法：CUHK03和Market1501。

CUHK03由13164张图像组成，一共1467个行人，由两个不同的摄像头收集，包括手动标注的边界框和由可变形部件模型(Deformable Part Model，DPM)检测的边界框，在本文中采用单镜头模式，数据集可分为包含1367人的训练集和100人的测试集，从第二个摄像头选择图像作为测试集，从第一个摄像头视角的图像中每个行人随机选取一张图像组成参考图像集。

Market1501包含来自六个摄像机的1501个行人的32668张图像，它被分成两个部分：来自751个行人的12,936张图像作为训练集和来自750个行人的19,732个图像作为测试集，利用DPM检测边界框。采用与CUHK03数据集类似的测试协议。

(一)整体评估基于k领域分布的图像重排序方法

在具体实施方式中，将提出的基于k领域分布的图像重排序方法与其他现有的重排序方法进行比较，将没有使用任何重排序方法的识别性能作为基准线，如表1所示：

表1

重排序方法CUHK03Market1501基准线91.282.9CDM91.583.3AQE91.383.1SCA92.083.5k-NN91.983.4k-reciprocal neighbors92.184.1k分布重排序93.585.7

将上下文相异性度量(Contextual Dissimilarity Measure，CDM)，平均查询扩展(Average Query Expansion，AQE)，稀疏上下文激活(Sparse Contextual Activation，SCA)，k-最近邻域重排序(k-Nearest Neighbor re-ranking，k-NN)和k倒数编码(k-reciprocal encoding)与本发明的方法相比较。实验结果如表1所示，结果表明本发明的重排序方法可以实现有效的top-1准确率提高，CUHK03和Market1501数据集的基准线分别为91.2％和82.9％，对应于两个数据集k的值为7和17，用k分布重排序可以获得2.3％和2.8％的提升，可以发现这种策略已经超过了其他方法。

(二)评估k领域分布得分的不同构造方式

前面已经提到k分布重排序得分可由三部分组成：位置得分、离散得分和重叠得分，因此这三个独立得分和由其两两组合产生获得另外三个潜在得分：“位置得分×离散得分”、“位置得分×重叠得分”和“离散得分×重叠得分”可以组成六种得分类型。以数据集CUHK03为例，每种得分的实验结果见表2。

表2

分数类型Top-1位置得分92.9离散得分6.7重叠得分93.2位置得分×离散得分84.9位置得分×重叠得分92.6离散得分×重叠得分92.9位置得分×离散得分×重叠得分93.5

可以发现包含三部分的得分达到最佳效果，优于其他分数组合，比性能最优的单种类型“重叠得分”和组合类型“离散得分×重叠得分”分别高0.3％和0.6％。值得注意的是，基于“离散得分”的效果较差，只能达到6.7％，与基准线91.2％相比下降较多，但舍弃这项得分后，“位置得分×重叠得分”组合获得了92.6％的top-1准确率，比含有三种分数的组合降低了0.9％。因此，将其与“位置得分”和“重叠得分”相组合以实现不同属性信息的互补并最终获得最佳性能提升。

(三)评估k值的影响

参数影响：在k领域分布得分的图像重排序方法中，k值是可变的，之前呈现的所有图表中，对应于两个数据集取值为k＝7和k＝17，考虑到每个数据集的组成不同，评估改变k值对重识别性能的影响。如图4与图5所示，发现在两个数据集上当参数k取值在区间[6,14]和[9,23]之内时，性能优于基准线，对于CUHK03，提升为0.8～2.3％，当k＝7时，达到最佳的top-1准确率为93.5％，对于Market1501，提升为0.5～2.8％，在k＝17时可获得85.7％的最高精度。两个数据集的参考图像集中同一行人平均有9.76和26.3张图像，可见当k的取值是该值的0.6～0.7倍时，提出的重排序策略可以实现较高的重识别性能。此外，当k超过一定阈值后，top-1准确率将逐渐降低，主要是因为较大的参数k将引入更多负样本并增加误差，以至于降低性能并提高计算复杂度。

综上所述，本发明的基于k邻域分布得分的图像重排序方法，通过构造k邻域分布得分，选择合适的于k值，能够提高正样本的得分，从而降低负样本对重排序的干扰，并且它是无监督的，能够适应各种图像检索任务。