混合架构云备份系统中数据可靠性管理机制设计与实现

摘要

数据可靠性作为备份系统中最重要的指标之一。传统的C/S架构中,主要通过备份数据的冗余存储保障高可靠性。在引入P2P网络的混合架构中,数据分布在P2P网络和中心存储服务器中,对数据可靠性管理提出了更高要求。现有备份系统一般通过发起备份操作的客户端或者P2P网络中的master对等点对其他存储对等点进行监控,在剩余数据量低于修复阈值时执行再复制操作。如何保障可靠性降低的备份数据得到快速修复,如何保障可靠性管理的通信开销最小化,成为混合架构云备份系统中可靠性管理研究的重要课题。
　　提出了一种基于租约的数据可靠性管理机制,该机制适用于P2P网络和存储服务器结合的混合架构备份系统。本机制采用惰性修复策略,DIRD控制服务器对P2P网络中纠删码分片的元数据信息集中管理,并从存储有相同备份对象纠删码分片的多个对等点中随机选择一个作为租约节点,租约节点根据租约数据结构中的元数据信息,与租约内对等点依次建立TCP连接,并通过心跳消息进行监控。当租约节点探测到对等点失效导致剩余纠删码分片数目低于阈值时,向DIRD发送消息请求修复。租约节点的在线状态由DIRD通过租约进行监控,当DIRD接收到请求修复的消息后,首先按照负载平衡的原则选择目标对等点,再根据修复策略执行再复制操作。DIRD根据动态阈值计算策略配置租约的修复阈值,以实现数据可靠性管理开销在存储服务器和P2P网络之间的迁移。
　　通过在10个对等点P2P网络环境下的测试,可靠性管理机制运行稳定,可靠性修复速度快;通过在5500个对等点P2P网络环境下的仿真测试,可靠性管理机制通信开销低,负载均衡效果明显优于未采用负载均衡情形。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题背景

1.2 国内外研究现状

1.3 本文的研究目的

1.4 本文的研究内容及组织

2 混合架构云备份系统

2.1 混合架构云备份系统架构

2.2 混合架构云备份系统中的P2P技术

2.3 混合架构云备份系统中的数据冗余机制

2.4 本章小结

3 基于租约机制的可靠性管理方法

3.1 云备份系统中的可靠性管理模块

3.2 租约机制研究

3.3 基于租约的可靠性管理机制设计

3.4 基于租约的可靠性管理机制实现

3.5 本章小结

4 可靠性管理模块测试与分析

4.1 可靠性修复策略测试

4.2 负载均衡PeerSim仿真测试

4.3 可靠性管理通信开销分析

4.4 本章小结

5 全文总结

5.1 工作总结

5.2 工作展望

致谢

参考文献

附录1 攻读学位期间发表的论文