纠删码在网络存储系统中的实现与可靠性仿真

摘要

随着全球信息化和计算机网络的飞速发展，各种应用对存储系统的容量和性能提出了越来越高的要求。在存储系统中，提高存储系统可靠性的技术主要体现在以下方面：廉价磁盘冗余阵列(Redundant Array of Inexpensive Disks，RAID)技术、远程备份的容灾机制、基于纠删码的冗余机制。本文以网络存储系统可靠性为背景，主要研究纠删码在网络存储系统中的应用及其实现。本文主要完成纠删码技术在网络存储系统中的应用与实现，并对其进行可靠性仿真。
　　 本文以网络存储系统中数据的可靠性为研究背景，介绍了纠删码技术的基本原理，并简单介绍了当前存储系统中使用比较广泛的阵列纠删码、RS类纠删码和其它类新型纠删码，并针对多容错研究背景提出一种基于T-code纠删码的网络存储系统。基于T-code纠删码的网络存储系统其容错能力可以达到15个以上，且具有更高的编译码效率。
　　 本文引入了一种新型的基于异或纠删码的评价机制：用列举每一个最小删除来刻画纠删码的容错能力，并通过ME算法来有效的计算基于基于异或纠删码的最小删除列表(minimal erasures list,MEL)。本文使用ME算法的软件实现评估了数据符号和校验符号均小于7时所有可能的系统纠删码的MEL，在此基础上设计和实现一个针对基于纠删码的网络存储系统的高可靠性仿真器。此仿真器使用基于Monte Carlo离散事件仿真的可靠性仿真模型，它能够准确的评估基于规则或者不规则纠删码的网络存储系统的可靠性。

目录

文摘

英文文摘

论文说明：图表目录

声明

第一章绪论

1.1研究背景

1.2网络存储系统的基本构架

1.3网络存储系统中纠删码技术研究现状

1.4本论文的主要工作及结构安排

第二章网络存储系统中的纠删码技术

2.1纠删码简介

2.2纠删码的基本原理

2.3阵列纠删码

2.3.1 EVENODD码

2.3.2 X码

2.3.3 RDP码

2.4 RS类纠删码

2.4.1范德蒙码

2.4.2柯西码

2.5其它类纠删码：新思路

2.5.1短奇偶校验码

2.5.2 V码：一类新的纠双错的MDS阵列纠删码

2.5.3 WEAVER码：一类纠多错的新型纠删码

第三章基于T-CODE纠删码的网络存储系统模型

3.1 T-code纠删码的描述

3.1.1 T-code纠删码的阵列布局

3.1.2 T-code纠删码的编译码过程

3.1.3 T-code纠删码的容错特性

3.2基于T-code纠删码的网络存储系统的实现模型

3.2.1数据分包策略

3.2.2系统体系实现

3.2.3编译码模块实现

3.2.4系统测试

第四章存储系统中纠删码的性能分析

4.1 MEL和ME算法

4.1.1相关定义

4.1.2 ME算法描述

4.1.3使用EV和MEV比较纠删码

4.1.4运用MEL对异或纠删码的性能分析

4.2各类纠删码的性能比较

4.2.1 MDS纠删码的性能分析

4.2.2 non-MDS纠删码的性能分析

4.2.3纠删码的性能测试

第五章基于Monte Carlo仿真的网络存储系统的可靠性分析

5.1网络存储系统可靠性研究背景

5.2传统网络存储系统的可靠性仿真模型

5.3基于Monte Carlo可靠性仿真的基本方法

5.3.1仿真模型

5.3.2仿真运行

5.3.3剩余分布抽样

5.4基于纠删码的网络存储系统的可靠性仿真模型

5.4.1网络存储系统的失效模式和机制

5.4.2可靠性仿真模型

5.4.3可靠性仿真模型参数

5.4.4可靠性模型的时间序列

5.4.5仿真算法

5.4.5仿真算法的软件实现

5.5可靠性分析

第六章结束语

致谢

参考文献

攻读硕士学位期间发表论文