面向备份容灾系统的重复数据删除引擎的设计与实现

摘要

随着信息时代的发展，数据逐渐成为了人类社会的核心，数据的安全问题也逐渐引起重视，人们提出备份数据的容灾方案对数据进行保护。但是随着大数据时代的来临，数据的增长过于凶猛，导致容灾方案不得不增加更多的物理存储设备以及更高的网络带宽来存储保护这些数据，高昂的存储设备以及维护费用，致使运营成本大大提升。这些庞大的数据，在细粒度层面存在大量重复和冗余，而这些重复和冗余并不需要传输甚至保护。因此为容灾系统设计一套消除冗余数据且不影响容灾的系统引擎，是解决数据过快增长和节约成本的绝佳办法，所以容灾开发组提出了开发重复数据删除引擎的需求。
　　本文站在存储行业的发展角度，分析了当前先进的国外存储厂商在重复数据删除领域的发展趋势和研究现状，提出了重复数据删除引擎的系统设计。本文将重复数据删除引擎分为客户端与服务器两部分，详细介绍了将粗粒度灾备数据块切分为细粒度数据片的分片算法，加速客户端判重的改进LRU缓存算法，减少服务器磁盘I/O读写的布隆过滤器和局域缓存维持的双层缓存加速技术，以及快速I/O查询的双层索引。
　　引擎采用C++语言以C/S结构为模型进行设计与开发。其中指纹计算、数据分片和本地指纹缓存都是提升重删客户端性能的重点，指纹可以保证数据的唯一性，而不同的分片算法将会导致不同的重删率，本地缓存则会加速判重速度。重删服务器是数据存储判重的唯一机构，结合布隆过滤器以及局域缓存维持技术实现了双层缓存的加速判重方法，并依赖于数据局部性原理将数据建立了快速查询数据的双层索引。同时对客户端与服务器的线程模型进行优化，避免线程之间访问同一内存造成的阻塞和等待，提高整个重复数据删除引擎的性能。最后引入SSD固态硬盘解决重复数据删除技术在磁盘I/O上的瓶颈。
　　经测试，验证了重复数据删除引擎在海量数据的容灾中具有优秀的性能，在保证正确的备份和恢复的同时，节省了物理的存储空间、减少了带宽的占用、降低了成本、加快了容灾的整体速度。

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1课题背景

1.2与课题相关技术现状综述

1.3重复数据删除技术的意义及重要性

1.4本文主要研究内容

1.5论文章节安排

第2章 重复数据删除技术

2.1重复数据删除技术

2.2 Rabin指纹算法

2.3 CDC分片算法

2.4缓存算法

2.5本章小结

第3章 需求分析与总体设计

3.1需求分析

3.2总体设计

3.3本章小结

第4章 重复数据删除引擎详细设计与实现

4.1数据指纹

4.2客户端缓存策略

4.3服务器缓存策略

4.4索引策略

4.5调度策略

4.6 C/S结构实现

4.7 SSD提升性能

4.8本章小结

第5章 测试与分析

5.1测试环境

5.2功能测试

5.3性能测试

5.4与AVAMAR对比测试

5.5本章小结

结论

参考文献

声明

致谢

个人简历