异构存储系统中节点失效的并行化修复研究

摘要

随着大数据时代的到来，爆炸式增长的海量数据迫切需要有效的存储和管理。大规模分布式存储技术的飞跃式发展势不可挡。人们对存储系统的要求也更为广泛，譬如存储容量、I/O性能、数据安全、系统可扩展性、系统可靠性等问题。在数据即是一切的年代，数据的错误与丢失对于用户来说是极为致命的。鉴于故障发生的普遍性，目前分布式存储系统主要采用存储冗余数据的策略保证数据的可靠性。在系统发生故障时，能够快速有效的修复出错误数据，对维持系统的可靠性来说是至关重要的。
　　以下是本文的主要工作。
　　1.分布式存储研究平台的设计与实现。分布式存储研究平台是一个为了深入研发分布式存储技术的实验平台。首先，它是一个分布式存储系统，支持多种编码方式，提供最基本的文件操作功能;其次，为了维持系统可靠性，它包含数据修复接口，提供多种磁盘修复功能;再者，它能够进行重复数据删除，保证磁盘有效的空间利用率;最后，它提供磁盘扩容接口，保证系统的可扩展性。本文主要介绍分布式存储研究平台的基本概况，阐述其设计原理与基本功能以及实现方法，为分布式存储系统的研究提供了一个简单实用实验环境。
　　2.基于RAID6码存储系统的并行化异构修复问题的研究。结合分布式存储系统的异构性和并行性，设计一种三阶段的流水线式并行化修复策略，并提出一种最小修复时间的并行化异构修复算法，通过数字模拟实验以及实际分布式存储系统的实验测试证明算法的可行性与有效性。本文详细地介绍了并行化异构修复算法，包括研究背景，模型的建立与推导过程，具体实现过程，性能分析，以及相关的实验证明。并行化异构修复算法着力于系统的并行性与异构性，为分布式存储系统的错误修复提出了一种新的优化策略，并促进了系统数据的可靠性的提高。