基于谱哈希的分布式近邻存储方法的设计与实现

摘要

随着互联网的高速发展，每天产生的数据正呈爆炸式增长。面对高维、海量的数据，如何有效地存储海量数据以提供高效的查询效率是一项亟待解决的关键问题。然而，采用现有分布式存储方案，面对高维、海量的存储数据时，数据存储规模和开销不断增加，造成存储效率以及数据查询效率不断降低。特别是在云计算应用中，存在大量相关性查询问题，即查询相似高维数据，比如相似图片等，现有的存储技术已经很难适应互联网的应用需求。
　　针对上述问题，本文提出了一种基于谱哈希的分布式近邻存储方法，通过优化的谱哈希算法，将高维的存储数据映射成保留相似度的哈希码，并通过基于柯西分布的哈希映射将哈希码映射到分布式哈希表中，从而保证了相近的存储数据以较大的概率映射到哈希表中相近的位置，从而实现近邻存储的目的。同时，在分布式存储网络中，利用一致性哈希的方法，通过动态的调整每个节点服务器的负载，使得环上的节点满足负载均衡。这样，当存在相关性数据查询时，可以大大降低存储服务器的切换开销，在保证查询精度的同时，提高了查询的速度。
　　最后，通过仿真实验表明，与传统的分布式存储系统相比，本方法可以有效的实现存储数据的近邻存储，并在切换开销方面有效的提高了相关性数据的查询效率。

目录

封面

声明

中文摘要

英文摘要

目录

专用术语注释表

第一章 绪论

1.1研究背景

1.2国内外研究现状

1.3论文结构

1.4本章小结

第二章 分布式存储和谱哈希技术研究

2.1分布式存储技术

2.2谱哈希技术

2.3本章小结

第三章 基于谱哈希的分布式近邻存储方法

3.1问题描述

3.2基于谱哈希的分布式近邻存储模型

3.3关键算法的实现

3.4本章小结

第四章 方案实现及数据分析

4.1实验准备

4.2实验结果及数据分析

4.3本章小结

第五章 总结与展望

5.1论文总结

5.2论文展望

参考文献

附录1 攻读硕士学位期间申请的专利

附录2 攻读硕士学位期间参加的科研项目

致谢