面向多用户去重的备份服务质量研究

摘要

根据IDC预测，2020年全球数据存储需求将会达到44ZB的规模。如今，每一天的每一分钟，会有2.04亿封邮件发布，Google会产生400万条搜索，Facebook会有246万Bit的内容信息分享。对这些数据的存储，企业需要不断购置大量的存储设备来应对不断增长的存储需求。但因为设备的采购预算、数据的管理成本、能耗、占用空间等一系列问题的存在，企业不能单纯的从提高存储容量上解决问题。业界由此提出重复数据删除技术，该技术被广泛运用于备份系统中。在多用户备份系统中，由于用户的偏好和需求不同，不同偏好和需求的用户享受不同的系统服务，用户也因此被划分为不同的等级，即等级化服务。但不同用户间存在共享数据块，而多个用户间的共享数据块只需要一个用户读取或者写入。如何将共享数据块的读取和写入开销均摊到各个用户来保障系统的等级化服务是本文需要解决的问题。　　在多用户去重下的备份服务质量研究中，现有的高性能等级化服务质量研究方案主要从数据备份保障等级化服务。具体包含两个方面：系统资源调整和共享数据处理。但该方案不能实时调整系统资源，同时也不能将用户间共享数据块的处理开销均摊到各个用户，即该方案不能有效地保障系统的等级化服务。　　针对现有等级化服务保障方案的不足，本文在多用户数据备份时提出基于数据分类的共享数据块处理方案DCSDP，该方案对不同类型共享数据块使用不同的处理方法，可更精确的将共享数据块处理开销摊销到各个用户。同时还可以减少指纹检索开销，提高系统备份性能。在多用户数据恢复时，本文提出基于滑动窗口的数据块碎片预测技术和高等级用户优先读取策略。一方面可以保障多用户恢复时的等级化服务，另一方面可在一定程度上减少数据块碎片对恢复性能的影响。实验结果表明，本文提出基于数据分类的共享数据块处理方案比现有的高性能等级化服务质量方案在整体备份性能上提高 26.63%，系统的等级化服务更明显；同等级用户间的相对服务误差下降3.71%，更能保障同等级用户间的服务质量。在多用户数据恢复时，相比没有共享数据块处理和数据碎片处理，系统整体性能提高16.6%，系统的等级化更明显，同等级用户服务质量误差下降4.99%，更能保障同等级用户服务质量。

目录

1 绪 论

1.1 研究背景

1.2 数据去重流程

1.2.1 数据分块

1.2.2 指纹计算

1.2.3 指纹查找

1.2.4 数据存储

1.3.1 服务质量研究现状

1.3.2 基于多用户去重的服务质量研究

1.4 研究内容和组织

2 多用户去重下的服务质量问题分析

2.1 存储服务质量描述

2.2 多用户去重下的服务质量问题

2.2.1 共享数据块分类

2.2.2 共享数据块带来的服务质量问题

2.3 现有多用户去重下的服务质量保障方案

2.4 本章小结

3 多用户去重下的服务质量保障方案

3.1 系统架构图

3.2.1 数据分类处理

3.2.2 布隆过滤器误判率分析

3.2.3 共享数据块处理

3.2.4 等级内资源调整

3.3.1 多用户数据恢复的服务质量问题分析

3.3.2 数据拦截器设计

3.3.3 基于滑动窗口的碎片数据块处理

3.4 本章小结

4 设计与实现

4.1 主要数据结构

4.1.1 索引缓冲区

4.1.2 不同等级间新数据块缓冲区

4.1.3 元数据缓冲区

4.1.4 数据块缓冲区

4.1.5 容器引用计数器缓冲区

4.2 多用户数据备份流程

4.2.1 数据分类设计

4.2.2 不同等级用户间共享数据块处理

4.3 多用户数据恢复流程

4.4 本章小结

5 系统测试与结果分析

5.1 测试环境

5.1.1 服务器配置

5.1.2 数据集来源

5.1.3性能评估

5.2 多用户数据备份

5.2.1 方案DCSDP和HPLQoS下的等级化服务分析

5.2.2 方案DCSDP和HPLQoS下的等级内误差分析

5.3 多用户数据恢复

5.3.1 不同方案下的用户恢复带宽

5.3.2 数据恢复下的等级内误差分析

5.4 敏感参数分析

5.4.1 共享因子

5.4.2 稀疏因子

5.5 本章小结

6 总结与展望

参考文献

附录

A. 作者在攻读学位期间取得的科研成果目录

B. 作者在攻读学位期间申请的专利

C. 学位论文数据集

致谢