瓦记录磁盘系统数据组织关键技术研究

摘要

瓦记录技术对当前磁盘的磁记录介质和制造工艺只带来很小的改动，是当前提高磁盘存储密度非常有前景的技术。瓦记录技术通过部分重叠磁道的方式来提高存储密度。使用瓦记录技术的磁盘称为瓦记录磁盘，它继承了瓦记录技术的所有特性。因此，瓦记录磁盘存在一个固有的写访问限制：写入数据到一个磁道会损坏后续磁道中的数据，即如果后续磁道存在有效数据，更新当前磁道的数据必须重写后续磁道的数据。因此，一个写操作可能能会带来大量的额外读写操作，产生写放大问题。为了把瓦记录磁盘整合到现有的存储系统中，必须克服瓦记录磁盘物理特性带来的写访问限制。因此，必须设计新的数据组织方式来解决这个问题，同时提高瓦记录磁盘的性能。
　　自治式瓦记录磁盘可以直接替换传统磁盘，应用到现有的存储系统中。自治式瓦记录磁盘通过瓦记录转换层来屏蔽写访问限制，它的作用类似于SSD中的闪存转换层。为了提高自治式瓦记录磁盘的性能，设计了一种基于段的瓦记录转换层SSTL(Segment-based Shingled Translation Layer)。首先，SSTL把瓦记录区在径向方向上划分为段，段结构的瓦记录磁盘把写放大单元从区大小减少到段大小。其次，在一个段内，SSTL采用段内动态块映射的方式存储数据，有效地减少了数据的写放大倍数。最后，SSTL使用一个小容量的非易失性设备来缓存频繁访问的数据，最近最久未被访问段的缓存替换算法被设计来管理非易失性缓存。实验结果表明：在六种不同的工作负载下，SSTL相比于循环日志结构瓦记录磁盘Sblock提供了2.1-8.4倍的加速比。
　　磁盘阵列技术广泛应用于当前的存储系统中。但是，现有的磁盘阵列技术是为传统磁盘设计的，并没有考虑瓦记录磁盘的读写特性。针对这一问题，为瓦记录磁盘提出了一种动态可变长条带的磁盘阵列技术DVS-RAID(Dynamic Variable-width Striping RAID)，用于减少校验块更新开销。在数据布局上，DVS-RAID把阵列的整个地址空间划分成条带组。DVS-RAID的核心思想是：在一个条带组内，DVS-RAID从来不覆盖旧数据块，无论是新写入的数据块还是更新的数据块，DVS-RAID总是使用这些数据块动态生成一个新的条带，然后以追加的形式写入到磁盘。条带的大小是可以变化的，可以是满条带，也可以是部分条带。同时，DVS-Cache的写缓存管理算法被设计来管理阵列的缓存。实验结果表明：对于一些以读为主的，或者以顺序访问为主的，亦或是数据更新频率低的工作负载，DVS-RAID提供的性能比基于传统磁盘的RAID5的性能还要好；而对于数据更新频率很高的工作负载，DVS-RAID的性能比基于传统磁盘的RAID5也只稍差一点。
　　为了把瓦记录磁盘应用到对象存储系统中，本文设计了一种基于对象的瓦记录转换层OSTL(Object-based Shingled Translation Layer)。OSTL建立在日志式文件系统的基础上，向上层提供ANSI T10一样的对象访问接口。在数据组织上，OSTL把频繁更新的瓦记录区信息表和目录树的索引信息存储在瓦记录磁盘的随机访问区，把日志和文件数据存储在瓦记录区，从而提高数据的访问速度和垃圾回收的效率。OSTL使用对象地址转换机制来维护磁盘上对象的索引信息，该机制消除了B+树的递归更新问题，内存中使用B+树来维护对象的索引信息。由于不能从市面上得到Host-aware类型的瓦记录磁盘，开发了一个符合ZBC规格的瓦记录磁盘模拟器。通过向Ceph添加一种新的存储引擎，实现了OSTL的原型系统。与Ceph中原有Key/Value的存储引擎对比，在Postmark基准测试下，OSTL的执行时间减少了13.7％；在Vdbench基准测试下，OSTL的写性能提高了7%左右。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 磁盘技术的历史和未来的发展

1.3 瓦记录磁盘的相关研究

1.4 本文研究的主要内容

2 基于段数据组织方式的瓦记录转换层

2.1 闪存转换层和瓦记录转换层的相关研究

2.2 基于段结构的瓦记录转换层的设计

2.3 SSTL的原型实现

2.4 SSTL的性能测试

2.5 本章小结

3 动态可变长条带的瓦记录磁盘阵列研究

3.1 瓦记录磁盘与磁盘阵列相关技术的研究

3.2 动态可变长条带的磁盘阵列的设计

3.3 写缓存管理算法的设计

3.4 DVS-RAID的性能评价

3.5 本章小结

4 基于瓦记录磁盘的对象数据组织研究

4.1 基于对象的瓦记录转换层OSTL的研究动机

4.2 OSTL的设计与实现

4.3 OSTL的性能测试

4.4 本章小结

5 全文总结与展望

5.1 本文工作总结

5.2 下步研究展望

致谢

参考文献

附录1 攻读博士学位期间发表的学术论文目录

附录2 攻读博士学位期间参与的科研项目