基于核典型相关分析与神经网络的跨模态哈希算法研究

摘要

近年来，随着各种模态数据的快速增长，如何实现跨模态数据之间的相互检索已经成为信息检索领域中的一个研究热点。哈希算法是一种非常有效的信息检索方法，具有占用储存空间小和检索速度快的优点。哈希算法可以分成单模态哈希算法与跨模态哈希算法，单模态哈希算法用于单一模态数据之间的信息检索，跨模态哈希算法用于不同模态数据之间的信息检索。哈希算法的核心思想是先通过哈希函数将数据转换成对应的哈希编码串，其中哈希编码串之间的汉明距离与原始数据之间的语义相似度相对应，然后通过计算哈希编码串之间的汉明距离返回检索结果。
　　本文提出了两种不同的跨模态哈希算法:基于核典型相关分析的跨模态哈希算法(KCMH)和基于神经网络的跨模态哈希算法(NNCH)。
　　1.提出了基于核典型相关分析的跨模态哈希算法(KCMH)。首先，通过锚点核典型相关分析算法(AKCCA)进行公共核空间的学习，将不同模态的数据映射到公共核空间中，该部分对同一模态内数据之间的相关性和不同模态间数据之间的相关性进行考虑。不同于现有的公共空间的学习算法，AKCCA算法结合了典型相关分析算法、K-means算法以及核技巧，可以非常有效地学习到数据之间的非线性关系。在学习到公共核空间之后，利用内积与汉明距离的对应关系提出相应的目标函数。最后，使用迭代优化算法进行最优化求解。
　　2.提出了基于神经网络的跨模态哈希算法(NNCH)，该算法成功地将神经网络技术应用到跨模态哈希算法领域中。神经网络是一种模仿生物大脑活动的简化生物模型，它在人工智能、计算机视觉以及语音识别等领域有着广泛应用。在NNCH算法中，提出了独特且非常有效的网络结构、损失函数以及神经网络的训练方法。NNCH算法的神经网络是由图片神经网络和文字神经网络组成，其中图片神经网络主要是对图片进行二进制编码，文字神经网络主要是对文字进行二进制编码，图片神经网络和文字神经网络通过共享分类器权重的方式连接起来。NNCH算法提出了将Softmax分类损失与哈希特性损失相结合的损失函数，并且利用该损失函数和caffe深度学习框架完成神经网络的训练。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 本文的主要内容与贡献

1．3 本文的组织结构

第二章 哈希算法简介

2．1 单模态哈希算法

2．2 跨模态哈希算法

2．3 本章小结

第三章 基于核典型相关分析的跨模态哈希算法

3．1 符号表示

3．2 算法基础

3．2．1 典型相关分析

3．2．2 K均值聚类算法

3．2．3 核技巧

3．3 算法框架

3．4 锚点核典型相关分析与公共核空间的学习

3．5 哈希函数的学习

3．6 实验设定与结果分析

3．6．1 实验设定

3．6．2 实验结果与分析

3．7 本章小结

第四章 基于神经网络的跨模态哈希算法

4．1 符号表示与问题描述

4．2 神经网络基础介绍

4．2．1 神经网络简介

4．2．2 BP(Back Propagation)神经网络

4．2．3 Dropout技巧

4．2．4 Softmax分类器

4．3 基于神经网络的跨模态哈希算法(NNCH)

4．3．1 网络结构

4．3．2 网络训练

4．4 实验设定与结果分析

4．4．1 实验设定

4．4．2 实验结果与分析

4．5 本章总结

第五章 总结与展望

5．1 论文总结

5．2 研究展望

参考文献

致谢

攻读硕士学位期间发表的论文