法律状态公告日
法律状态信息
法律状态
2019-06-28
授权
授权
2019-06-25
著录事项变更 IPC(主分类):G06F16/583 变更前: 变更后: 申请日:20160307
著录事项变更
2016-08-24
实质审查的生效 IPC(主分类):G06F17/30 申请日:20160307
实质审查的生效
2016-07-27
公开
公开
技术领域
本发明一种基于图片语义和视觉散列的图片检索方法，属于图像处理技术领域。
背景技术
近几年，随着上传到共享网站上图片数量的急剧增加，越来越多的用户开始为图 片提供标签，从而导致在巨大的图片库中检索感兴趣图片要付出可观的代价。
由于二进制散列编码具有良好的计算能力和高校的存储效率，逐渐在计算机视觉、 信息检索和数据挖掘等领域成为研究热点。散列方法的重要原理在于汉明空间(即汉 明距离)中对高维图片数据进行紧凑的二进制编码，如能尽量保持原始特征空间的度 量相似性或基于标签的语义相似性。经过散列编码处理后，即可通过简单计算紧凑二 进制码向量间的汉明距离，在生成的低维码空间中进行高效的相似性搜索。
包括局部敏感散列算法、最小对散列算法、核局部敏感散列算法等在内的早期散 列编码的数据是独立的，这些随机散列方法在大规模图片搜索中的准确性通常较低。
为提高图片检索的准确性，有学者将数据的相关性引入到散列函数的构造中，且 这类散列函数的构造方法分为以下两种类型：无监督和监督(即包含半监督)方法。 一方面，无监督构造方法旨在利用数据分布信息来构造散列函数，包括谱散列法、各 向同性散列法、迭代量化法、球形散列法等；另一方面，有监督构造方法旨在利用标 签信息来构造散列函数，包括有监督散列法、二进制重建嵌入法、半监督散列法、多 指标散列法、加权分量散列法等。
尽管目前很多基于数据相关的散列方法都可有效地完成大规模的图片检索任务， 但是，目前这类方法能否应用于网络图片的检索仍存在很大争议。因此，如何构造融 合视觉表示和语义表示的散列编码是很有意义和必要的。而本发明能够很好地解决上 面的问题。
发明内容
本发明目的在于解决了现有技术中当构建语义散列函数时，未能很好利用视觉相 似性属性的问题，提供了一种基于基于图像语义和视觉散列的图像检索方法，该方法 构建能同时表征图片语义相似性和视觉相似性的新颖的散列函数，不仅符合人们的逻 辑思维，还具有更强的图片检索性能。
本发明解决其技术问题所采取的技术方案是：本发明是基于图像语义和视觉散列 的图像检索方法，该方法包括以下步骤：
步骤1：利用图片特性和视觉特性训练语义散列函数；
步骤2：利用最大熵原则，获得紧凑的二进制码；
步骤3：利用函数衰减原理，消除视觉特征的噪声。
本发明所述步骤1包括：
1、散列函数定义
本发明利用图片特性和视觉特性训练语义散列函数，散列函数如下定义：
I’＝{Ii}Ni＝1表示一个含有N幅图片的数据集，X＝{xi}Ni＝1表示对应的特征矩阵， 其中xi∈Rd为第i个图片Ii的d维特征描述子)，且本发明对X进行归一化。此外， Y＝{yi}M×N为该N幅图片间的类别向量，其中M表示类别总数。Yi＝1表示某个类别出现， yi＝0表示某个类别未出现。本发明研究如何利用一系列散列函数H＝[h1,h2,…,hc]∈Rd×c， 在保留图片语义和视觉相似性的条件下，将每个图片特征xi映射到到用C比特的二进 制码b＝[b1,b2,…,bc]∈{0,1}c。
本发明的散列函数表示如下：
上式中的sgn(v)为符号函数：当v＞0时，函数值为1；否则，函数值为-1。 W＝[w1,w2,…,wc]∈Rd×c为一系列适当的预测函数。选择图片投影的均值作为偏差项 m＝∑Ni＝1(xi/N)，为的是让每个散列比特bc(xi)接近平衡，且有最大熵：
Bc(xi)＝0.5(hc(xi)+1)式2
上式中的hc(xi)＝1时Bc(xi)＝1，hc(xi)＝-1时Bc(xi)＝0。
由H＝[h1,h2,…,hc]∈Rd×c，所以xi的相关性散列码可表示为：
H(xi)＝sgn(WTxi-WTm)式3
由于对X进行了归一化，所以H(xi)可写为如下形式：
H(xi)＝sgn(WTxi)式4
由于图片X＝{xi}Ni＝1，所以相关性散列码H(X)可表示成如下形式：
H(X)＝sgn(WTX)式5
2、邻域信息保存
为探索原始数据的潜在信息，应尽量保留原始数据的邻域结构特征。所以，本发 明构建元素为Sij的N×N相似矩阵S时，就充分利用了图片数据的局部邻域信息：
上式中的K(xi)表示特征向量xi的k近邻。
两幅图片Ii和Ij间的汉明距离d(h(xi),h(xj))，是计算它们各自散列二进制码h(xi)和 h(xj)不同的比特数：
接着，图片Ii和Ij间的相似性SH(Ii,Ij)可定义为h(xi)和h(xj)间汉明距离的均值：
上式中，当Ii和Ij完全相同时SH(Ii,Ij)＝1,当Ii和Ij完全不同时SH(Ii,Ij)＝0。
基于邻域信息，图片Ii和Ij间的相似性可表示为：
从式9中可看出以下两点：式1当且仅当h(xi)＝h(xj)且Ii和Ij为k近邻时，SH(Ii,Ij) 才为1；式2当h(xi)＝h(xj)，但Ii和Ij不是k近邻，此时SH(Ii,Ij)仍然等于0。也就是说， 式9可用于有效地保存邻域信息，这将在后面的实验中得到验证。
3、散列函数研究
正如上述所言，利用语义和视觉信息是为了确保汉明空间中，相似的图片映射到 相似的散列码上，且此时的目标函数表示为：
上式中的SH、SS、SV分别表示汉明空间、语义空间、视觉空间中的相似性，分别 定义为：
上式中的μ为‖xi-xj‖的中值。
除保留映射相似性外，二进制散列码还具有紧凑性和判别性。二进制散列码的紧 凑性，表现为每个二进制散列码只可能是-1或1，这可通过最小化如下所示的函数得 到：
这类似于最大化二进制码向量的熵。二进制散列码的判别性，表现为每个二进制 散列码都应尽可能接近-1或1，这可通过最大化如下所示的函数得到：
因此，二进制散列码紧凑性和判别性的最优化为：
本发明包括矩阵熵，该矩阵熵的最大值等价于矩阵方差的最大值，且散列函数方 差的最大值小于投影数据方差的上界，由此可得到下面的等式，即：
为消除视觉信息噪声，引入函数衰减原理，即：
上式中，当相关视觉特征是噪声时‖wc‖＝0。
利用公式式10的相似性保持、公式式15的二进制散列码的紧凑性和判别性、公 式式17的视觉特征噪声消除这三个条件，得到图片检索最优的目标函数：
式18
上式中的λ、μ、ν为控制每一项权重的参数。
本发明更新速率为ζ的随机梯度下降迭代算法，用于求解目标函数：
式19
上式中的∏∈Rc×d是一个对角矩阵，其元素为∏c＝1/‖wc‖2。
有益效果：
1、本发明能够有效地提高图片检索的速度。
2、本发明能够有效地提高图片检索的精度。
3、本发明能够很好地应用于大型图片库的检索。
附图说明
图1为本发明显示了来自“鸟”和“日落”的图片示例图。
其中，(a)表示来自类别“鸟”的图片样例；(b)表示来自类别“日落”的图片样例。
图2为本发明显示了不同长度的二进制散列码下，不同方法的平均检索精度和32 位二进制散列码时，不同方法的检索精度示意图。
图3为本发明显示了汉明半径为2时，各种方法在不同长度二进制散列码下的检 索精度示意图。
图4为本发明的方法流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
如图4所示，本发明是利用文本信息和视觉信息表征图片间的语义信息，进行图 像检索。
本发明提出了一种新的散列函数构造方法，该方法通过优化目标函数，可最大化 二进制散列码，且消除视觉噪声，其具体实现过程包括：
1.数据集
本发明的所有实验都在NUS-WIDE图片集上进行。该NUS-WIDE图片集含有81 类别的270,000幅图片，以及5018个用户上传的标签。由于许多用户提供的标签存在 错误或无意义，因此，有必要对这些标签进行处理。更具体地说，只有在维基百科中 出现的标签才保留。结果这样的处理后，共得到3,226个标签。
2.特征选择
近几十年来，特征选择问题一直是个研究课题，这是因为特征选择会影响最终的 检索结果。本发明提取颜色特征和纹理特征作为低层描述子，同时提取语义特征和文 本特征作为视觉描述子。具体描述如下：
·在HSV空间中，提取色度为8位、饱和度和纯度均为4位的128维颜色直方图；
·在HSV空间中，提取44维的自相关矩阵；
·在LAB色彩空间中，分别从5*5网格的子块中提取9维、共计225维的颜色矩阵；
·在HSV色彩空间中，分别在水平和垂直方向提取9维、共计18维量的边界方向直 方图；
·提取6级、36维的金字塔小波纹理超；
·从标签中提取一组文本特征，且依据标签出现的次数得到对应的词袋；
本发明基于图像语义和视觉散列的图像检索方法的一个优选实施方式，具体包括 以下步骤：
步骤1：利用图片特性和视觉特性训练语义散列函数。
利用语义和视觉信息是为了确保汉明空间中，相似的图片映射到相似的散列码上， 且此时的目标函数表示为：
上式中的SH、SS、SV分别是汉明空间、语义空间、视觉空间中的相似性，分别定 义为：
上式中的μ为‖xi-xj‖的中值。
步骤2：利用最大熵原则，获得紧凑的二进制码；
除保留映射相似性外，二进制散列码还具有紧凑性和判别性。二进制散列码的紧 凑性，表现为每个二进制散列码只可能是-1或1，这可通过最小化如下所示的函数得 到：
这类似于最大化二进制码向量的熵。二进制散列码的判别性，表现为每个二进制 散列码都应尽可能接近-1或1，这可通过最大化如下所示的函数得到：
因此，二进制散列码紧凑性和判别性的最优化为：
矩阵熵的最大值等价于矩阵方差的最大值，且散列函数方差的最大值小于投影数 据方差的上界，由此可得到下面的等式：
上式3为二进制码位数，N为数据集中图像个数，此处C＝32，N＝2,000。
步骤3：利用函数衰减原理，消除视觉特征的噪声。
为消除视觉信息噪声，引入函数衰减原理：
上式中，当相关视觉特征是噪声时‖wc‖＝0。
利用公式式10的相似性保持、公式式15的二进制散列码的紧凑性和判别性、公 式式17的视觉特征噪声消除这三个条件，得到图片检索最优的目标函数：
式18
上式中的λ、μ、ν为控制每一项权重的参数。
本发明包括更新速率为ζ的随机梯度下降迭代算法，用于求解目标函数：
式19
上式中的∏∈Rc×d是一个对角矩阵，其元素为∏c＝1/‖wc‖2。
机译： Hybrid Blockchains和Streamchains与非加密散列的音频，视频，图片和基于语言的事务和交易
机译： 语义视觉散列注入用户活动流
机译： 用于视频验证的图片和语义视觉模板发生方法和系统
