针对虚拟机备份的分布式重复数据删除系统的设计与实现

摘要

典型云计算服务需要支持数十万用户通过虚拟化共享硬件平台，然而这些虚拟机运行环境和镜像之间具有高度的相似性，许多用户使用版本相同的虚拟机。大量重复数据的多次传输和存储将会消耗大量硬件资源，极大地增加了云平台成本。基于云环境下虚拟机镜像备份的场景，针对海量数据重复数据删除过程中存在的性能和扩展性较差的问题，研究云环境下高性能重复数据删除技术具有重要意义。
　　针对上述问题，首先设计了一种高性能的分布式重复数据删除系统，该系统由命名节点服务器维护全局地址映射表等全局数据结构，并进行元数据管理和负载均衡调度，多台数据节点采用一致性哈希的方案存放指纹和数据，支持多台客户端并发备份和恢复操作，协同完成重复数据删除功能的同时，保证系统的读写性能和扩展性。其次，设计了一种部署在客户端的指纹过滤器，能够以较小的内存开销，快速检测相邻的多个备份版本之间的大部分冗余数据，从而减少了元数据和数据块的传输，节省了网络带宽，提高了备份效率。最后，系统采用将指纹和相应数据块散列存放到多个数据节点的设计方式，解决了多客户端并发的指纹查询和数据传输性能瓶颈问题。
　　实现分布式重复数据删除系统原型，并在原型系统中进行测试。实验表明，系统节省了备份流中73％~90％的网络数据传输量，取得了83％的数据平均重删率和4.7:1的数据平均压缩比，并发备份时平均吞吐率为单客户备份的3.6倍，恢复时平均吞吐率为单客户恢复时的2.5倍。结果表明该系统能够满足虚拟机镜像文件备份环境下的重删需求。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 课题研究背景

1.2 重复数据删除的必要性

1.3 国内外研究现状

1.4 课题来源

1.5 课题研究内容

2 关键技术研究

2.1 重删原理和分类

2.2 评估参数

2.3 指纹计算和碰撞率

2.4 数据分块算法

2.5 数据块检索

2.6 本章小结

3 重删系统的分析与设计

3.1 系统设计背景

3.2 系统架构和模块

3.3 分块大小的确定

3.4 数据删除问题

3.5 指纹的持久化处理

3.6 系统可扩展性

3.7 本章小结

4 重删系统的实现

4.1 系统读写流程描述

4.2 指纹库模块

4.3 地址映射表模块

4.5 本章小结

5 测试结果和分析

5.1 测试环境

5.3 本章小结

6 总结和展望

6.1 工作总结

6.2 工作展望

致谢

参考文献