云存储系统中数据副本策略研究

摘要

随着互联网技术飞速发展，新生的新闻媒体、自媒体、社交软件及直播平台得到全面的应用。由于文件和多媒体资料的急剧增加，数据的高效、安全存储问题的解决迫在眉睫。云存储系统以其分布式的架构和易于组建庞大集群的特性，解决了海量数据的存储难题。云存储系统还有着可靠性高、扩展性强和性价比优的优势。在云存储的相关技术研究中副本技术尤为重要，副本技术能够提高系统的高效性和安全可靠性。
　　本论文以Hadoop为基础进行了副本的优化放置、副本数的动态决策、副本的快速恢复三个方面的研究，旨在解决Hadoop在HDFS默认的副本管理上资源利用率不足、负载不均衡、数据迁移占用过多系统资源等问题，主要的研究工作内容如下：
　　第一种策略是基于节点评价的副本放置策略。该策略以求出节点的评价值为目标，选取了节点存储负载率，节点可用率，节点传输带宽占比率，机架中节点使用率四个节点评价指标，将四个评价指标归一化并赋以权重求出节点评价值。在本地机架上寻找评价值最高的节点来存入主副本，选择整体评价值最高的远程机架并在其中寻找评价值最高的远程节点来存储其它副本。实验仿真结果表明该策略能够使云存储集群保持较好的负载均衡度，选择的存储节点性能较好，提高了系统存储性能和读写速度。
　　第二种策略是基于文件热度的副本动态管理策略。因为用户对文件的访问操作通常服从 Zipf定律，所以区分对热点文件的对待。利用统计好的最近几个周期的文件访问频率求出当前周期文件访问频率的平滑值，再根据文件相对于BLOCK块的大小加权求出当前周期的文件热度值，设定不同热度阈值区分不同的副本数量，根据应设定的副本数与现有副本数比对后进行副本的调整。实验仿真结果表明该策略能够有效提高用户的访问速度，减少作业访问的平均响应时间。
　　第三种策略是兼顾负载均衡的副本快速恢复策略。由于在云存储系统中节点出现故障是常态化现象，如果不及时恢复备份就会造成系统可靠性降低，立即全面恢复备份又会显著影响系统性能。副本快速恢复策略是将热度高的文件副本优先恢复，存储有待恢复文件副本的源节点会有多个，策略利用最近几个统计周期中节点的吞吐量和服务请求响应时间来计算节点的负载值，最优源节点的选择就是要找到在进行副本恢复时负载最小的节点。文件副本所要恢复到的目标节点则是依据双循环查找结构来选取，选取的目标节点距离最优源节点较近，且不能是其它文件副本的源节点同时其负载值也需较小。仿真实验表明该策略能够提高云存储系统的可靠性，同时又对集群的负载产生较小的影响，提高了用户请求的响应速度。

目录

声明

插图索引

表格索引

缩略语对照表

第一章 绪论

1.1研究背景及意义

1.2国内外研究现状

1.3本文主要研究工作

1.4论文结构安排

第二章 云存储系统及技术研究

2.1云存储的相关理论

2.2 Hadoop分布式架构系统

2.3本章小结

第三章 基于节点评价的副本放置策略

3.1副本放置策略研究

3.2存储节点的评价体系

3.3基于节点评价的副本放置策略

3.4副本放置实验和分析

3.5本章小结

第四章 基于文件热度的副本动态管理策略

4.1副本动态管理策略研究

4.2副本访问频率的计算

4.3指数平滑法计算副本热度

4.4算法流程的描述

4.5副本动态管理实验与分析

4.6本章小结

第五章 兼顾负载均衡的副本快速恢复策略

5.1副本恢复策略研究

5.2兼顾负载均衡的副本快速恢复策略

5.3副本恢复策略实验与分析

5.4本章小结

第六章 总结与展望

6.1工作总结

6.2展望

参考文献

致谢

作者简介