磁盘阵列及磁盘块级容量提升技术研究

摘要

随着数据量的爆炸性增长，特别是近年来大数据应用的飞速发展，数据存储系统面临着严峻的考验，容量和性能的压力越来越大。不仅如此，数据量的持续不断增长需要存储容量的不断增长，因而需要存储设备具有在线扩容的功能，这使得存储设备的容量扩展成为一个重要的研究方向；另外，磁盘的容量需要提升，除了磁记录物理密度的提升外，也需要探索新的记录方式。
　　磁盘阵列作为一种应用非常广泛的存储设备，数据的不断增长特性需要其存储容量具备在线扩展的能力，并在扩展后能提高性能。为了对RAID5进行扩容，数据必须从旧磁盘迁移到新磁盘，以此来获得更多的空间和更好的性能。传统方法对RAID5进行扩容时需要移动几乎所有数据并需要重计算所有的校验块，因而速度非常慢。针对RAID5提出一种基于校验块数据迁移的容量扩展新方案（PBM），该方案从数据块分布图中特定的平行四边形选择数据进行迁移，而且平行四边形的一条边全部由校验块构成。当增加m个磁盘到n个磁盘组成的RAID5中时，PBM可以实现最小数据迁移，迁移量为总数据量的m/(n+m)，并且不需要重新计算任何校验块。扩容之后，虽然磁盘阵列已经不是标准RAID5，但是校验块同样能保证均匀分布。实验环境在真实的Linux下对多个磁盘组成的磁盘阵列进行扩容实验，结果表明，PBM方案比传统的MD方案平均节省73.6％的扩容时间，而性能下降仅为1.83％。
　　针对RAID6的H-Code编码方式提出了一种称为HCS的扩容方案。H-Code是一种水平编码方式，具有较好的可扩展性。HCS首先选择反对角线上的数据块，然后进行水平的数据迁移，其优点是在迁移过程中不需要重新计算两种校验块P和Q。扩容完成之后，磁盘阵列仍然能够保持H-Code方式的数据分布，因此能实现多次扩容。实验数据表明，与同样为RAID6扩容方案的SDM相比，HCS在扩容的时间上减少3.6％，性能够提高4.26％。
　　作为存储系统中最基础存储单元的磁盘，目前已经有很多方式对其进行容量扩展，瓦记录磁盘即是其中比较典型的一种。瓦记录磁盘通过叠加磁道的方式来增加磁盘中数据存储的面密度，使得在每平方英寸上能存储超过1Tb的数据。在传统瓦记录磁道布局方式上，提出了一种新的波形磁道布局方式，该方式通过双向叠加磁道，使得磁盘的面密度能提高6％-10％。此外，为了提高波形瓦记录磁盘访问性能，研究了一种混合瓦记录的存储结构HWSR。HWSR对瓦记录磁盘采用段划分的形式组织数据，用固态盘（SSD）缓冲区存放读数据，而用内存缓冲区存放写数据。在内存数据写入瓦记录磁盘时，采用了一种新的写效率优先的数据淘汰算法HWSR-ER，该算法能尽量避免对瓦记录磁盘无效的写操作，从而提高了HWSR的性能。实验数据表明，在8个I/O的工作负载下，本文所提出的混合系统比普通磁盘的平均响应时间提高了38.2％。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 计算机存储的发展

1.2 块级存储

1.3 国内外相关研究

1.4 本文研究的主要内容

1.5 论文各章内容

1.6 本章小结

2 基于校验块数据迁移的RAID 5快速扩容方案PBM

2.1 研究背景和问题的由来

2.2 PBM概述

2.3 分组策略及平行四边形数据选择

2.4 数据迁移过程和数据分布均衡性

2.5 迁移算法描述

2.6 扩容后新数据的填充

2.7 扩容之后的数据寻址

2.8 故障恢复

2.9 小写问题

2.10 多次扩容

2.11 实验结果及分析

2.12 本章小结

3 H-Code的扩容方案HCS

3.1 研究背景和问题的由来

3.2 HCS概述

3.3 HCS扩容和数据迁移方式

3.4 迁移算法描述

3.5 新数据的填充

3.6 数据寻址

3.7 故障恢复

3.8 多次扩容

3.9 实验结果及分析

3.10 本章小结

4 混合瓦记录磁盘存储系统HWSR

4.1 问题的提出

4.2 波形瓦记录磁道布局和段的划分

4.3 HWSR总体结构及数据流分析

4.4 地址映射

4.5 两种淘汰算法分析

4.6 实验及结果分析

4.7 本章小结

5 总结与工作展望

5.1 本文工作总结

5.2 未来工作的展望

致谢

参考文献

附录1 攻读博士学位期间发表的主要论文

附录2 攻读博士学位期间发表的专利