分布式重复数据删除系统中路由方法的研究

摘要

随着数据中心的数据呈指数级增长，为了保障系统的高吞吐率、高重删率和负载平衡，分布式重复数据删除存储系统面临巨大挑战。分布式重复数据删除存储系统主要通过改进路由方法和改善指纹查找的效率来优化系统性能。现有的分布式重复数据删除存储系统，主要采用无状态和有状态的路由方法。其中无状态路由方法，由于不考虑节点已存储数据的历史信息，整体重删率低、存储失衡；而有状态的路由方法，需要将备份数据流的全部指纹在每个节点上查询，系统吞吐率较低。
　　针对以上问题，本文设计并实现了一种结合指纹抽样和减少数据碎片(Fingerprint Sampling and Fragmentation Reduction,FSFR)的路由方法，该方法与已有的路由方法相比，保证了系统的重删率和负载平衡，提高了恢复吞吐率。该方法具体为：首先在客户端对数据进行预处理，将分块数据合并生成超块（Super-Chunk），提取抽样指纹序列；其次在节点服务器端，采用布隆过滤器对指纹进行查找，考虑重删率和存储利用率，初步筛选出部分节点服务器；然后客户端发送超块全部指纹给筛选出的部分节点进行碎片查找；最后，根据碎片查找结果，选择碎片量最少的一个节点作为路由节点进行数据去重。
　　通过真实数据集测试表明，分布式重复数据删除存储系统使用FSFR有状态路由方法，通过选择合适的路由粒度等参数，系统的吞吐率和重删率能达到较高的水平。相比于现有EMC stateful路由方法、Boafft路由方法，该分布式重删存储系统的恢复吞吐率提升了约50％。

目录

1 绪论

1.1 课题研究背景

1.2 分布式重复数据删除存储系统

1.3 关键技术

1.4 结合指纹抽样和减少数据碎片的路由方法

1.5 研究内容与章节安排

2 分布式重删系统的分析

2.1 路由方法的分析

2.2 主流分布式路由方法的对比

2.3 分布式重删路由方法的评估参数

2.4 本章小结

3 分布式重删数据路由方法设计

3.1 路由方法设计

3.2 功能模块

3.3 路由方法

3.4本章小结

4 路由方法的实现

4.1 系统备份流程

4.2 系统恢复流程

4.3 关键功能的实现

4.4 本章小结

5 实验及结果分析

5.1 测试环境和数据集

5.2 测试分析

5.3 本章小结

6 总结和展望

致谢

参考文献

附录

A.作者在攻读学位期间内参加的科研项目

B.作者在攻读学位期间申请的专利