云环境下大数据存储副本策略的优化研究

摘要

大数据时代的到来给人类带来机遇，也带来挑战。云存储为大数据提供了理想的存储解决方案。可用性和性能是用户使用云存储的重要考量。云存储中的副本技术不仅能维持系统较高的可用性，同时还能整体提升系统的性能。动态副本技术相比较于静态副本技术更能满足云存储复杂环境下的数据访问需求。副本因子动态调整策略以及副本放置问题是副本技术的研究重点，也是本文的主要研究内容。 本文针对副本因子动态调整问题，在分析现有Hadoop分布式文件系统静态副本机制不足的基础上，结合时间局部性原理对文件的访问热度进行预测，对不同热度的文件动态地采取不同的调整策略，具体通过筛选和调整两个阶段来完成，在提升访问性能的同时避免存储资源的浪费。实验结果表明改进的副本因子调整策略可以降低系统作业平均响应时间，能够有效地提升数据访问的性能。 本文针对副本放置问题，分析了已有副本放置策略在异构环境下所存在的局限性，结合统计学知识对集群中节点的异构特性进行定量评价，在遵循给定副本放置基本原则的前提下，根据节点综合性能评价值的不同来进行合理的副本放置。实验结果表明改进的副本放置策略在确保系统整体可用性的前提之下能使副本分布更加趋于合理和均衡，同时有利于提高Map任务本地化比例，进而提升MapReduce的执行效率。

目录

第一个书签之前