面向Web图像检索的深度哈希算法研究

摘要

哈希算法因其存储成本低、查询速度快已被广泛应用于Web图像检索中.当前主流的图像哈希算法仅考虑视觉特征,忽略了相关文本中涉及的有价值语义信息,而且手工提取的特征无法与哈希学习过程适配,从而导致图像表达能力差,检索效率低.为了提高图像哈希算法的检索精度,本文做出如下研究: 首先,本文提出了一种新的无监督图像哈希算法-基于语义迁移的深度图像哈希(Semantic Transfer Deep Visual Hashing,STDVH).该算法利用谱聚类挖掘训练文本的语义信息,构建深度卷积神经网络将文本语义信息迁移到图像哈希码的学习中,并采用统一框架进行哈希学习,在低维汉明空间中完成对大规模Web图像数据的有效检索.STDVH将哈希学习的目标函数与卷积神经网络的特征函数整合在一个目标函数中,从而将哈希学习转化为对该目标函数的优化过程,通过反向传播算法对该目标函数进行优化求解,使得训练得到的图像高层特征和哈希码以及哈希函数互相促进提升. 其次,本文将STDVH算法扩展到半监督条件下,提出了半监督语义迁移深度图像哈希算法(Semantic Transfer Deep Visual Hashing for Semi-Supervised,STDVH-SS),用来处理训练数据中存在有限语义信息的情形.该算法利用少量监督信息和大量无监督文本信息学习更丰富的语义,将半监督语义迁移到图像的深度哈希中,利用统一框架的深度哈希学习提高图像哈希码的检索性能. 最后,本文将STDVH和STDVH-SS综合对比利用,构建了基于语义迁移深度哈希算法的Web图像检索系统.该系统训练阶段只需要数据库中部分图像和文本信息,根据标签情况采用STDVH或STDVH-SS算法进行哈希学习,利用学习到的哈希函数将数据库图像转换成哈希码进行存储.而在检索阶段只需要提供查询Web图像,检索系统按汉明距离由小到大返回数据库图像. 本文在Wiki和MIR Flickr这两个公开的Web图像集上进行实验,实验结果表明本文提出的STDVH和STDVH-SS算法相比其他先进的图像哈希算法具有更高的检索精度.实验结果也说明辅助文本信息的迁移对图像哈希码的语义表达具有增强效果.在统一深度神经网络框架下,图像特征表达和哈希学习能够互相促进提升,从而提高了Web图像检索的性能.

目录

声明

第1章 绪 论

1.1 研究的背景和意义

1.2 符号与问题定义

1.2.1 符号定义

1.2.2 问题定义

1.3 图像检索度量

1.4 本文的研究工作及创新点

1.5 本文结构

第2章 相关工作

2.1 近似最近邻查找

2.2 哈希学习算法

2.2.1 单模态图像哈希

2.2.2 多模态图像哈希

2.2.3 跨模态哈希

2.3 深度神经网络

2.3.1 深度学习概述

2.3.2 深度神经网络在哈希学习的应用

2.4 本章小结

第3章 基于语义迁移的无监督深度哈希算法

3.1 算法系统概述

3.2 无监督语义学习

3.3 无监督深度哈希

3.4 基于统一框架的哈希学习

3.5 实验构造

3.5.1 实验数据集与实验环境

3.5.2 评价标准

3.5.3 对比方法

3.6 实验结果与讨论

3.6.1 语义迁移对图像哈希的影响

3.6.2 训练集大小的影响

3.6.3 参数灵敏度分析

3.7 本章小结

第4章 基于语义迁移的半监督深度哈希算法

4.1 算法系统概述

4.2 半监督语义学习

4.3 基于统一框架的半监督深度哈希算法

4.4 实验构造

4.4.1 实验数据集

4.4.2 对比方法

4.5 实验结果与讨论

4.5.1 语义迁移对图像哈希的影响

4.5.2 训练集标签比例的影响

4.5.3 参数灵敏度分析

4.6本章小结

第5章 基于语义迁移的Web图像检索系统

5.1 检索系统概述

5.2 检索系统演示

5.3 本章小结

第6章 总结与展望

6.1 工作总结

6.2 展望

致谢

参考文献

攻读硕士学位期间获得的科研成果