智能网络磁盘(IND)存储系统中的容错技术研究

摘要

经过30多年的发展，计算机存储技术领域内已先后出现了DAS、NAS和SAN等网络存储系统架构。DAS、NAS存储方案均存在单点故障与性能瓶颈现象，SAN的出现虽然极大地推动了数据整合在企业范围内的广泛应用，但是SAN也存在着成本高，其传输介质一般是光纤，缺少对现有网络的直接支持等缺点。目前的DAS、NAS和SAN等网络存储系统架构难以完全满足广大用户的低成本高性能的存储需求，有的存储系统架构已经遇到了新的技术挑战。因此，为了更好地满足大多数用户的存储性能需求，展开有关新型网络存储系统结构和相关技术的研究是非常必要的。
　　 计算机系统中的容错技术研究一直是计算机体系结构研究中的一个重要课题。在计算机存储系统的研究和设计中也是如此，尤其是随着用户需求的增长，存储器系统中的容错技术问题就显得特别重要。
　　 智能网络磁盘（IND）存储系统是我们提出的一种面向中小型企业存储需求的新型网络存储架构，它具有容量大、扩展性好和可靠性高等低成本高性能的特点。本文中研究智能网络磁盘存储系统中的容错模块是该存储系统中的一个不可缺少的重要组成部分，因此展开对它的研究有重要的理论意义和实际意义。
　　 本文首先从智能网络磁盘（IND）存储系统结构模型、软件机制、功能特点和应用前景等方面对智能网络磁盘存储系统进行了阐述；紧接着从参考RAID技术的智能网络磁盘阵列（IND_RAID）、基于副本复制/备份/恢复的文件数据容错组织技术、多容错编码方案三个方面论述了IND存储系统的容错性问题；作者认为将编码技术应用在IND存储系统中有助于提高IND存储系统的容错性。另外，文中对目前提出的EVENODD、XCODE、HOVER、RS、LDPC等编解码进行了相应的研究分析并提出了IND多容错编码方案新想法，着重对RS码纠错方法进行研究并改进后将其应用在IND阵列中且通过软件方法实现，其有效地提高了存储读写速度，并发现在进行大块数据传输时该编码方案出现的瓶颈问题。
　　 在IND存储系统中，为保障数据的可用性，必须要求IND存储系统提供多种方式来实现高可靠性。因此在研究了IND存储系统数据容错布局基础上，进一步对IND存储系统节点级别的可靠性问题进行了研究。最后又探讨了最近出现的用于网络传输可靠恢复的Tomado码应用在IND存储系统中容错的可能性，通过对Tornado码在IND存储系统中编解码过程的详尽讨论，分析了该编码用在IND存储系统中的优越性，并且从理论上指出该编码在IND阵列应用中的两个问题，即：Tornado码特有的实时性和准确性问题，它可以保障IND存储系统中的IND故障的快速恢复和数据快速重构，从而为IND存储系统的容错可靠性又提供了一条新的技术途径。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 课题的研究背景和意义

1.2 国内外研究现状及进展

1.2.1 网络存储集群系统的容错技术

1.2.2 纠删码技术在存储领域中的应用

1.3 主要研究内容和工作

1.4 本论文的组织结构与内容安排

第二章 智能网络磁盘(IND)存储系统

2.1 IND存储系统结构模型

2.2 IND存储系统软件结构

2.3 IND存储系统功能特点

2.4 IND存储系统应用前景

2.5 本章小结

第三章 IND存储系统的可靠性问题

3.1 智能网络磁盘阵列(IND_RAID)

3.1.1 IND_RAID的提出

3.1.2 IND_RAID级别简介

3.1.3 IND_RAID的实现方式

3.2 IND存储系统的可靠性

3.2.1 IND存储系统的有效度

3.2.2 IND存储系统的可用性

3.3 IND的可靠性分析

3.3.1 单个IND的可靠性

3.3.2 IND_RAID0的可靠性及其数学模型

3.3.3 单个IND失效时IND_RAID的可靠性及其数学模型

3.3.4 双IND失效且系统可修复时IND_RAID的可靠性及其数学模型

3.3.5 K个IND失效且系统可修复时IND_RAID可靠性及其数学模型

3.4 本章小结

第四章 IND存储系统的容错技术问题

4.1 基于副本复制备份/恢复的文件数据容错组织技术

4.1.1 副本的创建

4.1.2 副本目录修改

4.1.3 数据一致性维护

4.1.4 副本的删除

4.2 IND的多容错编码方案

4.2.1 多容错编码方案的必要性

4.2.2 EVENODD码

4.2.3 XCODE码

4.2.4 HOVER码

4.2.6 Low Density Parity Code码

4.2.7 容错编码方案对比

4.2.8 IND存储系统多容错新编码方案的初探

4.3 本章小结

第五章 采用RS码的IND存储容错系统

5.1 REED-SOLOMON(RS)码的基本原理

5.2 RS码在IND存储系统中的实现算法

5.3 文件数据分布

5.4 模拟测试及结果分析

5.4.1 测试环境

5.4.2 测试方法

5.4.3 RS软件测试

5.5 本章小结

第六章 TORNADO码在IND存储系统中的应用探讨

6.1 TORNADO码的提出

6.2 Tornado码

6.3 基于Tornado码的IND存储系统多容错数据布局

6.3.1 Tornado_IND数据布局

6.3.2 Tornado_IND数据重构

6.4 Tornado码在IND存储系统中的应用分析

6.5 本章小结

结论

参考文献

攻读硕士学位期间发表的研究成果

致谢