面向分层NVM存储系统的新型文件系统的研究与设计

摘要

随着互联网的飞速发展，数据量呈爆发式的增长，这使得存储系统成为影响计算机系统性能的重要瓶颈之一。新型非易失性存储器（Non-Volatile Memory, NVM）具有读写性能接近于DRAM、支持字节寻址和非易失等特性，这成为解决计算机系统存储墙问题的重要手段。PCIe和DIMM接口NVM存储设备是当前主要的两类NVM存储设备，混合两类NVM存储设备的分层NVM存储系统是当前构建海量NVM存储系统的有效选择。但两类NVM存储设备在访问接口、I/O性能等方面均存在很大差异，适合的操作类型与方式也不同，直接使用现有的文件系统则难以发挥和利用两类NVM存储设备的不同特性。因此本文以面向分层NVM存储系统的新型文件系统为研究和设计的目标。
　　首先，本文针对面向分层 NVM存储系统的文件系统中元数据管理的问题，提出了协作式元数据管理策略。其中设计了元数据属性分布算法，将元数据按属性使用频率分解为查找文件所须的且使用频率高的基本属性和相对访问频率低的扩展属性；并重构元数据的组织方式，将元数据分布到两类NVM存储设备中，打破同一个文件元数据集中存放的方式，适应元数据多样性和使用要求的差异，有效利用两类NVM存储设备的特性。设计了层次式的基本属性管理算法，将基本属性存储于 DIMM口的 NVM存储设备中，与文件系统目录树共同管理，避免额外的管理开销，利用 DIMM口 NVM存储设备的特性保证元数据基本属性管理的效率。设计了基于键值对的扩展属性管理算法，将数据量大且类型繁杂的扩展属性转变为键值对，存储于PCIe口的NVM存储设备中，并使用CityHash实现基于哈希的扩展属性管理方法，提高管理元数据中扩展属性的适应能力和效率。从而能有效利用两类NVM存储设备的特性，提高访问和管理海量元数据属性的效率和灵活性。
　　接着，本文提出了非对称的读写算法。针对写操作的特点，设计了动态粒度的写算法，以写操作的实际写数据量为基础，动态调整写入PCIe口NVM存储设备的粒度，避免写放大的问题，解决以数据块为单位执行写操作时存在的额外数据传输和写入PCIe口NVM存储设备的问题，提高写操作的执行效率，延长NVM存储设备的寿命。设计了基于数据块的读算法，以数据块为读操作的单位，避免访问单位的转换，减少读PCIe口NVM存储设备时系统软件的开销，提高读操作的效率。设计了多粒度的内外存映射算法，灵活地将写入数据对应到映射项中，避免了在内外存映射时的写放大问题，为提高PCIe口NVM存储设备的使用寿命和I/O性能提供了支撑。
　　最后本文实现了面向分层 NVM存储系统的新型文件系统原型 XNVMFS，并使用Filebench、Fio、Postmark工具进行测试，对比分析了PMFS、Ext2 on PMBD、Ext4 on PMBD和XNVMFS，实验结果验证了XNVMFS的性能近似PMFS，相比Ext2 on PMBD和Ext4 on PMBD，读性能提高了4.9倍和5.2倍，写性能提高了3倍和9.6倍。

目录

声明

第一章 绪论

1.1 研究的内容和意义

1.2 新型非易失存储器

1.3 分层NVM存储系统面临的挑战

1.4 国内外研究现状

1.5 本文的主要工作和组织结构

第二章 面向分层NVM存储系统的新型文件系统结构

2.1 NVM存储系统的研究现状

2.2 分层NVM存储系统的结构

2.3 分层NVM存储系统中文件管理需求的分析

2.4 面向分层NVM存储系统新型文件系统的结构

2.5 本章小结

第三章 协作式的元数据管理算法

3.1 元数据特性与管理算法

3.2 协作式元数据管理结构

3.3 协作式元数据管理策略

3.4 原型系统测试与分析

3.5 本章小结

第四章 非对称的读写算法

4.1 PCIe口NVM存储设备的分析

4.2 非对称的读写算法

4.3 原型测试与分析

4.4 本章小结

第五章 面向分层NVM存储系统的新型文件系统原型

5.1 通讯效率对存储系统性能的影响

5.2 新型文件系统的原型与测试

5.3 本章小结

第六章 总结与展望

6.1 工作总结

6.2 工作展望

参考文献

致谢

在学期间发表的学术论文及其他科研成果