重复数据删除技术在云存储中的应用与实现

摘要

随着电子信息科技和互联网产业的高速发展，企业和个人产生了大量的数据，并且其中重要的数据需要安全存储，云存储技术很好的解决了这个难题。然而，在这些备份的数据中有大量都是冗余的，这些冗余数据的存储和传输浪费了大量的存储成本和网络带宽。
　　针对这些问题，设计了一种高效的重复数据删除系统来减少重复数据的存储和网络传输首先针对常见的文件类型，为不同数据类型的文件提出了不同的分块算法，尤其是针对文档类文件，设计了一种改进的滑动窗口算法，通过牺牲少量重删率，但使得性能获得巨大提升；其次提出了一种分布式的系统来分治指纹库和实现数据的并行处理，该系统由1台Nameserver和多台Dataservers组成，Nameserver管理用户文件地址表信息，Dataserver管理该节点的指纹库和数据存储，对于用户文件地址表的索引提出了一种高效的索引结构；最后设计了一种高性能的具有三层过滤、判重结构的指纹库，进一步地提升了系统的性能。
　　针对系统进行了相关测试。首先，对改进的滑动窗口算法进行了测试，结果表明，该算法相对于滑动窗口算法在损失少于10％重删率的基础上，使性能最高提升了30倍左右。其次，针对分布式系统的性能进行了测试，结果表明，数据节点数量增加到4台情况下，系统的吞吐率也得到了相应的提升3.12倍。最后，测试了单机情况下，有重删和无重删备份和恢复性能的对比，结果表明该系统的吞吐率是无重删系统的67%以上。

目录

封面

声明

中文摘要

英文摘要

目录

1绪论

1.1 课题研究背景

1.2 重删技术的国内外研究现状

1.3 课题来源

1.4主要研究内容与章节安排

2重复数据删除关键技术

2.1 重删基本原理

2.2 重复数据检测技术

2.3 指纹计算

2.4 指纹查询

2.5 本章小结

3重删系统整体设计

3.1 系统设计背景

3.2 系统架构

3.3 功能模块

3.4 系统数据分配策略

3.5 本章小结

4重删系统详细设计

4.1 系统读写流程描述

4.2 分块算法模块

4.3文件路径索引和地址表模块

4.4指纹库模块

4.5 本章小结

5测试结果和分析

5.1 测试环境

5.2 测试结果和分析

5.3本章小结

6总结和展望

6.1总结

6.2展望

致谢

参考文献