网络编码分布式存储系统中数据重建研究

摘要

随着网络信息技术的发展,在科学计算、商业数据存储等众多行业领域中产生了海量的数据。这些大规模的数据给存储系统的可用性和可靠性提出了严峻的挑战。分布式存储系统通过网络将大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供高可用性、高可靠性或高可扩展性的数据访问能力,为海量数据的存储提供了有效的保障。分布式存储系统通过容错机制来保证数据的可用性,而数据重建是容错机制的关键环节,进行快速有效的数据重建对系统有重要的意义。基于网络编码思想提出的再生码可以使数据重建过程中的带宽消耗达到最优,但是大量的计算开销导致系统性能的下降,网络编码数据重建过程的性能仍有很大的提高的空间。
　　本文研究了分布式系统中的网络编码容错技术,以及对磁盘重建过程进行了深入的分析,提出了在网络编码环境下的磁盘数据重建优化技术。主要研究内容与贡献如下:
　　(1)研究了网络编码存储系统中单盘失效的场景,设计了一种基于数据温度的单盘失效的数据重建优化架构,然后把此架构整合到NCFS系统中,并对优化后的系统性能进行分析。
　　(2)分析了网络编码存储系统中双盘失效的问题,设计实现了基于数据温度的双盘失效的优化重建方法,并做性能的评估与分析。
　　(3)对传统磁盘调度算法以及Linux中的I/O调度策略进行了探讨,通过实验分析Linux I/O调度策略对重建过程的影响。
　　研究结果表明,结合数据温度引导数据重建过程,对网络编码存储的重建性能和系统性能都有大幅度的提高。与原系统相比,优化后的系统的重建时间缩短了33.17％,吞吐率提升了60.61%,平均响应时间得到37.77%的改善。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景

1.2国内外研究现状

1.3本文主要内容与贡献

1.4论文的组织和结构

第二章 分布式系统存储编码概述

2.1网络编码概述

2.2 MDS码

2.3 分布式存储系统的容错策略

2.4 数据重建问题

2.5 再生码的提出

2.6 存储-带宽权衡曲线

2.7 重建模型

2.8 本章小结

第三章 网络编码存储系统中基于数据温度的单盘失效的优化重建

3.1 网络编码在重建过程中的缺陷

3.2 缓解网络编码存储系统重建过程的数据流竞争

3.3 NCFS数据重建流程

3.4 基于数据温度的单盘失效的重建过程优化

3.5 实验性能测试及分析

3.6 本章小结

第四章 网络编码存储系统中双盘失效的优化重建

4.1 双盘失效场景

4.2 双盘失效与单盘失效的比较

4.3 基于数据温度的双盘失效的重建过程优化

4.4 实验性能测试及分析

4.5 本章小结

第五章分析磁盘调度算法对基于数据温度重建过程的影响

5.1 传统的磁盘调度算法

5.2 Linux I/O调度算法

5.3 Linux I/O调度算法的比较

5.4 Linux I/O调度算法对数据重建的影响

5.5 本章小结

第六章 总结与展望

6.1 总结

6.2 研究展望

参考文献

在攻读硕士学位期间发表的成果

致谢