备份系统中在线重复数据删除优化的研究

摘要

研究发现,应用系统所保存的数据中高达60％是冗余的,而且随着时间的推移越来越多。为了提高存储效率,节约存储容量和成本,重复数据删除技术应运而生,并已成为近年来存储备份系统研究的热门话题。传统的在线重复数据删除技术面临着面对大数据量时的数据指纹索引查找瓶颈问题。目前相关的解决办法基本都是围绕优化索引服务器端的效率来做研究。而实际备份应用中一个普遍的现象是,备份用户端的数据会随着每天或每周一次的备份逐渐呈现出较强的局部相似性这一特点。利用这一点,研究在备份用户端加入本地指纹索引查找功能来缓解索引服务器压力和减少索引查找延迟,是避免服务器索引瓶颈的一个新思路。
　　本文提出了一种源端索引策略,该策略适用于在线、源端重删的备份系统,在原始单纯的服务器指纹索引模式上,加入了源端指纹索引模式。该模式的工作方式是在备份客户端保存其历史备份的数据指纹表,当选择该模式进行指纹判重时会优先查找备份客户端的数据指纹表,源端索引模式在用户备份数据的局部相似性较高的情况下可以使较多备份数据在源端就能够进行指纹判重。源端索引策略还利用布隆过滤器数据结构和文件相似性检测的相关原理,在在线重复数据删除中加入了一个索引模式选择模块,能够在用户备份之前根据备份文件和本地索引文件的相似性来选择索引模式,达到了充分利用备份客户端备份数据特性来缓解服务器索引压力,节省带宽和提高备份效率的目的。
　　最后采用B-Cloud数据备份系统进行性能测试,实验结果表明,源端索引模式在备份客户端数据局部相似性提高的情况下,索引效率要高于传统的服务器索引模式,且局部相似性越高,备份客户端的指纹索引效率越高;同时,选择索引模式模块判断文件相似性的准确度较高;另外还测试了不同分块大小的备份系统中源端索引策略的性能,发现源端索引策略在分块越小、服务器索引压力越大的系统中的效果越明显。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题背景

1.2 国内外研究现状

1.3 本文研究内容与组织

2 重复数据删除技术性能优化的相关研究

2.1 分块算法

2.2 指纹索引查找的优化技术或策略

2.3 源端索引策略

2.4 本章小结

3 源端索引策略的设计与实现

3.1 一个典型文件备份系统的架构

3.2 重复数据删除技术在典型备份系统中的实现

3.3 源端索引优化策略

3.4 本章小结

4 带有源端索引策略的重删备份系统测试

4.1 B-Cloud在线备份系统架构

4.2 测试环境

4.3 实验测试

4.4 本章小结

5 全文总结

致谢

参考文献