面向高并发环境非易失性内存文件系统空间管理策略研究

摘要

近年来，随着云计算、人工智能、5G技术的快速发展，产生的数据量每时每刻都在剧烈地增加，对存储和计算都造成了很大的压力。新兴非易失性存储器NVM是下一代高速持久化存储的主流解决方案之一，它有接近内存的访问速度、数据掉电不丢失、可按字节寻址和低功耗等良好的特性。所以，有大量研究将非易失性内存作为文件系统的底层存储来使用，进而诞生了很多针对于非易失性内存而设计的文件系统，这些文件系统充分地利用了非易失性内存的特性，能够达到很好的性能。然而现有的非易失性内存文件系统没有对高并发环境进行优化，在高并发环境下性能拓展性不好。在磨损均衡方面，现有的NVM文件系统没有充分地考虑到在有多个NVM的系统中NVM之间的磨损均衡的问题，导致系统中某些NVM更容易被损耗掉而影响系统的可靠性和寿命。　　针对以上机遇和挑战，本文提出了面向高并发环境下非易失性内存文件系统的磨损感知的空间管理策略，它通过给线程分配私有分配区以避免对文件系统页分配器的竞争来提高高并发环境下的性能，同时通过调度策略将读写压力分配到多个NVM上以实现负载均衡和磨损均衡的结合。为了提高在高并发环境下的性能，该策略将NVM空间分割成线程私有NVM空间和文件系统公有NVM空间，每个线程拥有私有分配区来避免对文件系统页分配区的竞争。本文提出了三种不同的页回收策略来适应不同的系统环境以达到效率最高，基于空闲空间的页回收策略，基于时间戳的最少使用回收策略，基于直接映射和双向链表的最少使用回收策略。　　本文在现有非易失性内存文件系统上实现了该空间管理策略并进行了实验对比。实验结果表明，在性能方面，该空间管理策略能够将IOPS最高提高15%，能够将写吞吐量最高提高7.6%。在磨损均衡方面，该空间管理策略能够明显地提高系统中NVM的使用寿命。通过理论分析，我们将几种页回收策略按照NVM空间的大小的不同得到决策表，从而适应各种各样的系统环境，达到最高的效率。

目录

1 绪 论

1.1 研究背景

1.2 国内外研究现状

1.2.1 非易失性内存发展现状

1.2.2 非易失性内存文件系统发展现状

1.2.3 内存管理发展现状

1.2.4 非易失性内存磨损均衡发展现状

1.2.5 非易失性内存文件系统空间管理发展现状

1.3 论文研究动机

1.3.1 高并发环境下的性能拓展性问题

1.3.2 非易失性内存的使用寿命相关问题

1.4 论文研究内容和主要贡献

1.4.1 论文研究的主要内容

1.4.2 论文的主要贡献

1.5 论文组织结构

2 COSMA空间管理设计方案

2.1 空间管理结构

2.2 线程私有分配区管理

2.3 高效的空间回收方案

2.3.1 基于空闲空间的空间回收策略

2.3.2 基于时间戳的最少使用空间回收策略

2.3.3 基于直接映射和双向链表的最少使用回收策略

2.3.4 三种空间回收策略的比较和分析

2.4 公有分配区管理

2.5 本方案与现有非易失性内存文件系统的比较

2.6 本章小结

3 COSMA空间管理算法描述

3.1 空间分配算法

3.2 空间回收算法

3.2.1 基于空闲空间的空间回收算法

3.2.2 基于时间戳的最少使用空间回收算法

3.2.3 基于直接映射和双向链表的最少使用空间回收算法

3.3 公有分配区管理算法

3.4 本章小结

4 COSMA空间管理实验和分析

4.1 实验概述

4.2 实验环境

4.3 实验结果

4.3.1 性能测试与分析

4.3.2 磨损均衡测试与分析

4.4 本章小结

5 总结与展望

5.1 工作总结

5.2 对未来工作的展望

参考文献

附 录

A. 攻读学位期间参加的主要科研项目

B. 作者在攻读学位期间获得的奖励

C. 学位论文数据集

致谢