云网关上重复数据删除的设计与实现

摘要

随着信息时代的发展,海量数据的存储传输成为目前必须解决的一个重要问题。云存储为海量数据的存储提供了很好的解决方案,但是缺乏标准化的云存储应用程序编程接口,极大的限制了云存储的应用。
　　缺乏标准化的云存储应用程序编程接口使云网关成为云存储必不可少的重要组成部分,云网关已经成为应用和云提供商应用程序编程接口之间协议的翻译,但是由于云网关很少支持企业级的其它服务,限制了它的应用范围,目前大部分被用于归档和备份。云网关的问题在于它增加了云存储的复杂性及限制了云存储的性能,所以从性能及简洁性角度来看,它并不适合作为理想的主要应用。
　　针对备份归档文件中的高冗余问题,云网关上设计实现重复数据删除功能,能为云网关与云平台间的通信减少网络带宽同时减小数据在云平台上的存储容量。云网关上的重复数据删除功能的设计与实现主要包括在云网关上对文件分块,将分块文件计算数据指纹,将数据指纹与哈希表中指纹进行比对,丢弃重复数据,将文件信息和非重复的数据分离独立保存在Swift云平台上。
　　通过与不进行重复数据删除的云网关性能对比表明,在云网关上进行重复数据删除对于高冗余数据能够减少76％~91%的重复数据存储容量,节省了70%~86%的网络带宽,提高了云网关的性能,且对云网关的响应开销影响较小。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题背景

1.2 云网关的定义

1.3 云网关产品相关工作

1.4 云存储平台

1.5 本文研究的目的及内容

2 云网关整体架构

2.1 Swift云平台架构

2.2 云网关内部架构

2.3 本章小结

3 云网关上重复数据删除的设计

3.1 云网关上重复数据删除的整体设计

3.2 Swift云平台上数据的存储结构设计

3.3云网关上hashtable的存储结构设计

3.4 hashtable的操作流程设计

3.7 本章小结

4 云网关上重复数据删除的实现

4.1 上传

4.2 下载

4.3 本章小结

5 性能测试及分析

5.1 测试环境

5.2 性能测试及分析

5.3 本章小结

6 全文总结及展望

致谢

参考文献