数据去重与垃圾数据删除策略的设计与实现

摘要

伴随着我国下一代无线移动网络的进程,支撑各种各样电信业务的移动控制网络对底层的存储系统的支持提出了更高的要求。如今日益增加的用户数量和数据流量已经让传统的存储方案显得捉襟见肘。随着这种趋势的到来,如何有效的利用存储空间成为亟待解决的问题。
　　本文首先对国内外主流的几个分布式存储系统进行介绍和分析,并分析分布式系统需要面对的问题和解决方案。在此基础上设计并实现了面向海量用户和海量文件、基于数据块级别数据去重的分布式文件系统 CStore,本文主要设计并实现了基于CStore系统的数据回收系统。
　　CStore系统是典型的分布式存储系统,它采用元数据和数据流分离的设计方案,将系统的元数据和文件数据分别存储在不同的集群中,客户端分别访问这些数据关于它们各自的管理和优化。系统的资源定位基于一种两级的哈希映射方案,以桶为单位的负载均衡和副本策略提高系统的可靠性,同时使得系统具有很好的可扩展性。
　　数据去重是CStore系统的主要特点之一,它采用在线的基于数据块级别的重复数据删除策略,这就要求用户在上传文件的时候将整个文件划分成多个数据块,然后分别上传。这样的策略可以节约大量的数据存储空间,提高用户体验,但是同样带来了数据删除的难题。在CStore数据去重的总体架构的基础上,设计并实现了能够以在线或者离线方式执行无效数据删除的垃圾数据删除系统,可以高效并且准确的判断无效数据,进一步节省存储资源。
　　垃圾数据回收系统用于清理系统中没有任何文件引用的无效数据块。该系统基于Bloom Filter算法,在元数据服务器集群数据服务器集群上分别进行相应的操作,由一个中心控制节点负责全局的监控。在容错方面,通过与中心节点建立的心跳连接可以有效得检测到失效的节点,进而进行任务的重新分发,并且该系统为管理员提供了可视化界面,方便管理员控制与管理。
　　本文最后对垃圾数据回收系统的功能和性能进行了测试,证明了它可以正确执行所需功能并保证了其可靠性和准确性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 背景介绍

1.2 国内外研究现状

1.3 主要研究内容

1.4 论文组织

第二章 相关理论与技术基础

2.1 分布式存储系统

2.2 数据分布方式

2.3 可扩展性

2.4 负载均衡

2.5 基本副本协议

2.6 CAP理论

2.7 本章小结

第三章 CStore存储系统的设计

3.1 系统目标

3.2 系统设计方案

3.3 CStore存储系统架构

3.4 典型下载流程

3.5 本章小结

第四章 垃圾数据回收系统的设计

4.1 理论基础

4.2需求分析

4.3概要设计

4.4桶的设计

4.5 容错与恢复

4.6 物理存储模型

4.7 通信协议的设计

4.8 本章小结

第五章 垃圾数据回收系统的实现

5.1 模块之间的交互

5.2 全局控制模块的实现

5.3 位图生成模块与数据判断模块

5.4 位图生成模块的业务流程

5.5 数据判断模块的业务流程

5.6 管理员界面的实现

5.7 本章小结

第六章 系统测试与分析

6.1 测试环境准备

6.2 系统功能测试

6.3 系统性能测试

6.4 本章小结

第七章 结论与展望

致谢

参考文献