基于文件访问模式的重复数据删除方法研究

摘要

随着移动互联网设备的日益普及,移动设备间的数据同步、保护和信息分享的需求越来越迫切。因此最近几年各大公司纷纷推出个人云存储服务。在实际应用中,同步速度越快,用户数据实际存储的空间越小,就越容易让用户满意。因此存储容量优化有着非常重要的作用,对于用户能减少上传的数据量,加快同步速度。对于服务提供商,可以减少存储空间,降低成本。
　　但传统的存储容量优化技术比如:传统的无损压缩算法、delta压缩算法都有自己的局限性,不能提供很高的压缩比例。能够获得更高压缩比例的重复数据删除技术是一种新型的存储容量优化技术,它通过指纹识别内容相同的数据块,最终只存储一份,将其它相同块替换为空间更节省的索引。但是重复数据删除会给系统带来影响,如计算、索引瓶颈、数据可靠性和可读性问题等。
　　为了尽可能减少重复数据删除给系统带来的影响,采用了根据文件访问模式分类,对不同类的文件使用不同的冗余数据删除策略:对于个人修改的文件,让相邻版本进行delta压缩,只需要存储变化的部分;对于个人新建或从其它地方拷贝的文件,进行全局文件级重复数据删除。设计并实现了一个同步模块,并且实现了相关策略。测试结果表明,该策略可以减少用户同步时间和数据实际存储容量,并且让系统开销在可接受的范围内。

目录

封面

声明

中文摘要

英文摘要

目录

1绪 论

1.1研究背景

1.2国内外研究现状

1.3研究目标和主要工作

1.4全文结构

2系统关键技术

2.1重复数据删除技术

2.2文件实时检测技术

2.3数据压缩技术

2.4快速索引技术

2.5基于文件访问模式的重复数据删除

2.6本章小结

3系统设计与实现

3.1系统的总体结构

3.2文件实时检测模块设计与实现

3.3压缩模块设计与实现

3.4索引模块设计与实现

3.5工作流程

3.6本章小结

4系统测试与分析

4.1测试环境

4.2压缩测试和分析

4.3索引模块测试与分析

4.4系统功能测试和分析

4.5系统开销测试和分析

4.6本章小结

5总结

致谢

参考文献