基于标签语义的图像检索算法研究

摘要

随着互联网和计算机技术的快速发展，网络中的图像数据爆炸式增长。如何对海量的图像数据进行有效的存储、管理和应用具有非常重要的意义。近年来，各种基于图像的应用场景的出现，对包括图像检索在内的计算机视觉领域的算法提出了巨大的挑战。现有的图像检索算法在MNIST手写体数字识别、CIFAR等特定的图像数据集上有不错的模型表现，但是当图像场景复杂多样时，这些算法的检索性能却受到很大的限制。图像检索最大的难点在于如何减小图像底层视觉特征与用户高层语义之间的语义间隔，从而获得满足用户需求的图像。为了提高和改进图像检索算法的性能，本文主要开展了三方面的工作:
　　第一，为了提高图像检索的效率，在检索之前通常需要对图像数据集进行分类，因此，本文提出了一种基于隐因子模型的图像分类算法。该算法在预处理的形式化图像特征和监督信息的基础上，通过隐因子模型学习图像特征和类别之间潜在的语义关联，将图像分类问题转换成隐因子模型的语义特征学习问题。模型不仅充分利用了隐因子模型在隐含语义学习方面的优越性，根据数据内在的特性自动学习图像特征和高层类别语义之间的联系;而且比深度学习具有更高的学习效率，使模型具有更广泛的适用场景。在两个图像分类场景下的实验结果验证了该算法的有效性。
　　第二，为了使模型获得更丰富的语义监督信息，本文提出了一种基于语义图的深度多标签图像检索算法。该算法基于协同过滤和标签聚类的思想学习图像多标签信息之间的语义关联，生成图像的语义监督特征;再基于卷积神经网络构建深度哈希模型学习图像的哈希码和特征向量，以此实现快速高效的图像检索。该算法充分挖掘了隐含在图像多标签数据中丰富的用户先验知识，使模型获得了更有效的监督信息;而且网络模型建立在现有工作的基础上，确保了网络在图像特征提取和哈希学习时的有效性。在基准图像数据集上的实验结果表明该算法的检索表现优于现有的模型。
　　第三，考虑到相关工作在语义排序表示上的不足，本文提出了一种基于语义排序的图像检索算法。该算法通过最小化图像哈希码相似度和语义相似度之间的距离构建优化模型，并基于模型的最优解学习图像高维特征和低维哈希码之间的语义映射和潜在关联。该模型以哈希码之间的欧式距离表示汉明距离的策略比现有工作中用内积计算的方法更加合理有效;而且，该算法通过自然语言处理模型Word2Vec学习不同类别之间的语义差异，使模型获得更丰富的语义监督信息。最后，本文通过对比实验验证了该算法在不同图像检索场景下的有效性。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1．基于文本的图像检索

1．2．2．基于内容的图像检索

1．2．3．基于语义的图像检索

1．3 主要研究内容和贡献

1．4 论文组织结构

第2章 相关工作

2．1 无监督图像哈希检索

2．2 有监督图像哈希检索

2．2．1．传统机器学习算法

2．2．2．深度学习算法

2．3 半监督图像哈希检索

2．4 本章小结

第3章 基于隐因子模型的图像分类

3．1 背景介绍

3．1．1．基于传统算法的图像分类

3．1．2．基于深度学习的图像分类

3．2 CNNLFM模型

3．2．1．问题定义

3．2．2．LFM介绍

3．2．3．模型分析

3．3 实验评估

3．3．1．数据集

3．3．2．评估指标

3．3．3．实验结果

3．4 本章小结

第4章 基于语义图的深度多标签图像检索

4．1 背景介绍

4．2 DMLH模型

4．2．1．问题定义

4．2．2．框架介绍

4．2．3．标签聚类

4．2．4．DHM算法

4．3 实验评估

4．3．1．数据集

4．3．2．评估指标与对比算法

4．3．3．实验结果

4．4 本章小结

第5章 基于语义排序的图像检索

5．1 背景介绍

5．2 RBSH模型

5．2．1．算法分析

5．2．2．标签语义排序

5．2．3．参数优化

5．3 实验评估

5．3．1．数据集

5．3．2．实验结果

5．4 本章小结

第6章 总结与展望

6．1 本文工作总结

6．2 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果