语义提升和矩阵分解在跨模哈希检索中的应用研究

摘要

多媒体检索一直是计算机视觉领域的研究重点和难点，传统的多媒体检索方法往往关注于单一模态内的数据检索，如文本检索和图像检索。近年来，随着不同类型的多媒体数据的增加，如何实现不同模态间的数据检索已经成为多媒体检索领域的研究热点。跨模哈希(Cross-Modal Hashing)技术通过构造哈希函数将不同模态数据的高维特征映射成低维的二进制哈希编码，并在汉明空间中保持了高维特征的空间结构，具有存储所需空间小和检索速度快的优点，在跨模检索领域得到广泛的关注。
　　本文结合了跨模哈希技术提出了两种跨模检索算法，分别是:基于语义提升哈希的跨模检索算法和基于有监督矩阵分解哈希的跨模检索算法。通过两个公开数据集上的实验，验证了算法的有效性和可行性。主要内容如下:
　　1.将逻辑斯蒂回归(Logistic Regression)和提升(Boosting)算法应用到跨模哈希检索的研究中。首先，为了保存同一模态内数据间的语义相似性，利用多类别逻辑斯蒂回归模型分别将各自模态内的数据映射到相应的语义空间内，得到数据的语义表示。然后，为了缩小不同模态间的语义鸿沟，使用一个联合的提升算法框架来学习哈希函数。最后，通过学习到的哈希函数将数据的语义表示映射到相同的二进制空间内。
　　2.将图的Laplace矩阵表示和协同矩阵分解(Collective Matrix Factorization)技术应用到跨模哈希检索的研究中。首先，分别使用Laplace矩阵来刻画单个模态内的局部流形结构信息和不同模态间的类别标签信息。然后，利用协同矩阵分解技术来学习哈希函数以及不同模态相似数据的统一哈希编码。最后，通过学习到的哈希函数将不同模态的数据特征转化为相同长度的二进制编码。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 跨模检索领域的研究现状

1．2．1 非哈希的跨模检索方法

1．2．2 基于哈希的跨模检索方法

1．3 本文组织结构与研究内容

第二章 跨模检索简介

2．1 常用跨模检索数据集

2．1．1 Wiki数据集

2．1．2 NUS-WIDE数据集

2．1．3 M1RFlickr-25K数据集

2．2 有效性度量方法

2．3 基于哈希的跨模检索方法

2．3．1 有监督的跨模哈希检索方法

2．3．2 无监督的跨模哈希检索方法

2．4 本章小结

第三章 基于语义提升哈希的跨模检索算法

3．1 语义提升哈希算法

3．1．1 问题定义

3．1．2 语义表示的学习

3．1．3 强分类器的学习

3．1．4 弱分类器学习

3．1．5 算法总结与时间复杂度分析

3．2 实验结果与分析

3．2．1 实验设定

3．2．2 对比验证与结果分析

3．2．3 参数分析

3．2．4 训练集大小分析

3．3 本章小结

第四章 基于有监督矩阵分解哈希的跨模检索算法

4．1 有监督矩阵分解哈希算法

4．1．1 问题定义

4．1．2 协同矩阵分解

4．1．3 联合Laplace矩阵

4．1．4 全局目标函数

4．2 实验结果与分析

4．2．1 实验设定

4．2．2 对比验证与结果分析

4．2．3 参数分析

4．2．4 训练集大小分析

4．3 本章小结

第五章 总结与展望

5．1 论文总结

5．2 研究展望

参考文献

致谢

攻读硕士学位期间发表的论文及参加的科研项目