基于卷积神经网络和空间金字塔匹配的图像排序模型

摘要

基于卷积神经网络和空间金字塔匹配的图像排序模型，结合近似最近邻匹配算法和类似的SPM算法作为图像之间相似性的度量。该模型包括卷积神经网络、近似最近邻匹配算法、类似空间金字塔匹配算法的应用。图像块的特征没有类别的划分，而是对利用快速最近邻查找算法找到的匹配的图像块的数量进行计数作为不同分辨率下的不同匹配数的度量，最后对这些不同分辨率下的不同匹配数加权求和作为两幅图像相似性的度量。将训练好的卷积神经网络提取的图像块的特征在同一个训练集上用三种相似性度量方法进行了测试；利用卷积神经网络提取图像块的特征得到特征向量集，利用最近邻匹配算法同时考虑空间信息的方法对图像之间相似性的度量有一定的研究价值。

说明书

技术领域

本发明属于计算机视觉领域，具体地涉及基于内容的图像检索中 的图像排序模型。

背景技术

图像检索的主要目的是找到人们需求的图像。以图搜图的需求日 益明显，作为图像检索的一个子问题，研究热度也正超过基于文本的 图像检索。以图搜图的研究越来越受到关注，并且取得了一定的研究 成果。

大部分比较图像之间相似性的方法是建立在图像特征描述符的基 础上，利用某种计算方法通过特征描述符的相似性来作为图像之间相 似性的判断准则。其中特征描述符大多是人为设计的特征提取算法， 例如SIFT，MSERs。虽然人为设计的算法不断考虑视角、光照强度、 阴影等因素的影响，但是图像所受到的影响因素之多，目前还没有一 个很好的算法来完全地合理地考虑所有影响因素或者合理地表征一 幅图像。故人为设计的特征提取算法有一定的局限性，对于图像相似 性的计算相对来说没有扩展性。随着深度学习算法的提出和应用，针 对不同的问题，调整神经网络的结构，通过训练得到解决问题的合适 模型越来越受到关注，从原始数据集中直接学习训练得到模型的方式 也越来越受到青睐。Krizhevsky证明了卷积神经网络在图像分类领域 的成功。Matthew和Rob对卷积神经网络的可视化，表明了卷积神经 网络通过学习得到的图像描述符能够很好的表征图像，同时清楚地说 明了为何卷积神经网络有如此大的优势。将卷积神经网络提取的特征 描述符应用于图像检索领域，证明了卷积神经网络高层提供的特征描 述符能很好的表征图像，为该结构应用于图像检索领域提供了有利的 证明。图像检索最后要得到排序模型，所以成对比较模型也被广泛提 出。深度排序模型通过在成组的图像所组成的训练集上的训练来得到 排序模型，但是通过不同的人为设计的特征提取算法的线性组合来自 动产生训练集，不仅计算代价高，而且受人为设计的特征提取算法的 局限性的影响，这些缺点导致训练集的不严格，对模型的训练起到了 关键的影响。

通过卷积神经网络学习图像块间相似性模型，比较的是两个图像 块之间的相似性与否。通过对比图像中图像块之间的相似性是计算机 视觉领域中一个基础的研究课题。图像块相似性模型可以应用于物体 识别，图像检索和分类等领域。空间金字塔匹配(SPM)算法利用图 像的空间结构来定义图像之间的距离。通过在空间上对图像进行金字 塔式切分，不同的金字塔层有不同的块数。通过对每一层中的每一块 提取特征直方图，得到图像的直方图，将两幅图像的对应的直方图进 行加权求和来度量图像之间的距离。但是，SPM算法中对特征进行 分类，将特征强制划分为不同的种类，损失了特征表示的信息。图像 检索的核心问题是图像之间的相似性度量，因此，可以将图像划分为 固定大小的图像块，利用卷积神经网络的可扩展性和其对图像的表征 能力提取图像块的特征，用最近邻匹配算法高效查找图像之间匹配的 图像块，对匹配的图像块应用类似于SPM的算法即结合空间位置信 息作为衡量图像相似性的依据。

发明目的

本发明给出一种基于内容的图像检索的图像排序模型。主要解决 的技术问题是提供一种新的衡量图像相似性的算法，以卷积神经网络 为基础，结合近似最近邻匹配算法和类似的SPM算法作为图像之间 相似性的度量。

本发明主要涉及基于内容的图像排序模型，其中包括卷积神经网 络、近似最近邻匹配算法、类似空间金字塔匹配(SPM)算法的应用。 发明的流程如图1，主要步骤如下：

S1基于卷积神经网络的图像块的特征提取

图像块的特征描述符，是为了计算图像块之间的相似度，利用卷 积神经网络的学习能力直接从图像数据集中学习到图像的特征描述 符。利用卷积神经网络进行特征提取，最主要的就是网络结构的设计， 防止过拟合的发生。

模型由两个分支构成，对输入的图像块，进行下采样和中间部分 的切割，得到的两个大小相同的部分分别进行特征提取，每一个分支 均由四个卷积层、两个池化层和四个ReLU层组成，最后对两个部分 得到的特征进行线性组合得到图像块的特征描述符，每一个模型的输 入是一组数据，即两个图像块，两个图像块共享相同的网络结构和参 数。两个图像块的特征描述符最终要被输入要决策层，来判断两个图 像块是否相似，输出的结果与这组数据对应的标签进行对比，并利用 反向传播算法对模型进行优化，直到模型收敛。将模型的结构设计成 两个分支是考虑到图像块中间部分的信息比图像块边缘部分更具有 价值，同时多分辨率下的信息对提高图像的匹配度至关重要。

S2快速最近邻查找算法

在图像检索领域中，在高维的图像特征向量中进行查找和匹配是 常用的两种操作，从大规模的高维数据空间中快速准确定位结果向量 是至关重要的问题。Kd树(K-dimensionTree)，是一种针对高维索 引的树形数据结构，是一种常用于高维空间中的近似最近邻查找技术。 这种数据结构最主要的就是Kd树的构建和查找过程，下面主要介绍 Kd树的构建和查找算法过程如下。

Kd树的构建类似于二叉查找树的构建过程，但是仍然有其自身特 点，具体过程表述如下：

a)对数据集中的所有数据的每一个维度计算方差，判断所有方差 是否相等，如果相等，则建立一个叶子节点，将数据集中所有数据储 存到该节点中，结束；否则转至b)；

b)选择方差最大的维度作为划分的维度k，计算所有数据在这一 个维度下的数值的中值作为划分的数值m，同时建立一个新的节点用 于储存划分维度和划分值；

c)将数据集中的所有数据按照c)步中确定的维度k下的数据和 划分数值m对比，以不大于和大于为依据，将数据集划分为两个子 集；

d)对划分的两个集合分别看作新的数据集，转至步骤a)。

参照Kd树的构建，其查找过程可以按照构建的过程来查找到叶 子节点，进而分别计算查找点和叶子节点中的数据点的距离，距离最 近的可以认为是查询点的匹配点，但是，划分数据时仅选择一个维度 的值进行比较，所以，可能导致按照这种方式得到的点不是最紧邻点， 误差较大。针对这个问题，查找过程中进行了回溯操作，但是，这又 导致面对较高维度的图像块的特征描述符，这样查找算法效率低下。

为此，采用改进的查找算法BBF：

a)取节点中保存的划分维度k和数值，将查询点在维度k上的值 同m进行比较，根据比较结果选择该节点下的某一个分支下继续访 问；同时将另一个未被选择的分支在Kd树中的位置和其同查询点的 距离保存到一个优先级队列中；

b)如果当前访问的节点不是叶子节点，则重复a)中的比较过程； 否则，计算查询点和叶子节点中保存的数据点之间的距离，记录最小 的距离为Min以及对应的数据点P；

c)如果当前回溯的次数小于所给定的最大回溯次数并且优先级 队列不为空，则从队列中取出和查询点距离最小的节点访问，转至步 骤a)；否则，查找结束，此时变量Min中记录的就是和查询点的最 小距离，变量P中就是和查询点匹配的近似最近邻点。

通过上述方法，能够高效快速地得到两幅图像中匹配的图像块。

S3类似空间金字塔匹配算法

空间金字塔匹配(SPM)算法受金字塔匹配核函数的启发，但是 两种方法截然不同，空间金字塔匹配算法是直接按照不同的分辨率将 图像进行划分，而不是在最终得到的特征空间中对特征集合进行划分， 直接在原始图像中利用了图像中的空间信息。该算法是将图像以不同 的分辨率进行切分，对每一个分辨率下同一个区域中属于同一个类别 的特征进行计数统计，最后将不同特征进行加权连接作为一幅图像的 特征直方图作为图像的特征。

考虑到对图像中的图像块进行匹配的时候并未应用到图像块相对 图像的空间信息，所以，为了提高图像相似性的对比性，采用SPM 算法中的金字塔式划分方式，将图像以不同的分辨率进行划分，同样 在同一个分辨率下属于同一个区域下计数，但是，图像块的特征没有 类别的划分，而是对利用快速最近邻查找算法找到的匹配的图像块的 数量进行计数作为不同分辨率下的不同匹配数的度量，最后对这些不 同分辨率下的不同匹配数加权求和作为两幅图像相似性的度量。

附图说明

图1为模型训练和测试流程图。

图2为卷积神经网络模型图。

具体实施方式

根据上面的方法进行实验。将训练好的卷积神经网络提取的图像 块的特征在同一个训练集上用三种相似性度量方法进行了测试：直接 用最近邻匹配算法来匹配模型提取的特征(Kd_match)、在模型提取 的图像特征的基础上直接利用SPM算法来计算图像之间的匹配度 (SPM_match)、在模型提取的图像特征的基础上用最近邻匹配和改进 的SPM算法来计算图像之间的匹配度(Our)。同时实验结果同近年来 针对图像排序问题有所突破的模型进行了对比，其中包括针对分类问 题的深度神经网络模型ConvNet和针对排序问题的深度排序模型 DeepRanking。

表1为实验结果的比较。通过对比可以看出，利用卷积神经网络 提取图像块的特征得到特征向量集，利用最近邻匹配算法同时考虑空 间信息的方法对图像之间相似性的度量有一定的研究价值。

表1：实验结果对比

Method Precision SPM_match 66.9％ Kd_match 77.6％ ConvNet 82.8％ DeepRanking 85.7％ Our 88.1％