基于NVM的高性能即时恢复存储引擎的设计与实现

摘要

目前，新兴的非易失内存(Non-volatile Memory，NVM)正在逐步走入人们的视野。由于这类存储技术同时具备了低延迟、持久化、大容量和字节可寻址的特性，数据库系统可以运行在只有NVM的存储架构上。在这种环境下，一些新奇的无日志存储系统应运而生。由于不再需要重做日志，这些系统能够在故障发生后即时地恢复。然而，在现有的体系结构中，这些系统为了确保NVM上数据的一致性需要进行大量的同步操作，严重影响了正常执行时的系统性能。
　　本文的研究内容如下:
　　1)本文综述了NVM存储系统设计的相关技术，包括NVM的基本概念、NVM的编程接口和数据同步、基于NVM的数据库设计等方面。
　　2)本文实现了一个基于NVM单一存储架构的高性能即时恢复存储引擎FIRSE（Fast and Instantly Recoverable Storage Engine）。FIRSE的核心设计理念是，将系统中的数据分为必须确保一致性的关键数据和可以通过重启时恢复的可重建数据，在日常操作中只确保关键数据的一致性，从而减少数据同步的次数;另一方面，通过异步的恢复机制使得系统可以即时地恢复。
　　3)本文对FIRSE与另两种具有代表性的持久化数据结构进行了完整的性能评估，既包括独立的性能评估，也包括将三种数据结构集成至高性能内存数据库Redis中的端到端的性能评估。评估结果表明，FIRSE在大多数工作负荷下吞吐率表现良好。即时恢复是FIRSE最突出的特点，在恢复时间上相比于其他数据结构缩短了3-4个数量级。此外，FIRSE在NVM资源使用量和写磨损方面也均好于其他两种数据结构。

目录

声明

摘要

图目录

表目录

1．1 研究背景

1．2 相关研究工作

1．2．1 基于DRAM-NVM混合存储架构的数据库系统

1．2．2 基于NVM单一存储架构的数据库系统

1．2．3 基于NVM单一存储架构的无日志系统

1．2．4 小结

1．3 研究目标与内容

1．4 本文结构组织

第2章 相关技术和方法

2．1 非易失内存

2．2．1 相变化内存

2．2．2 自旋力矩存储

2．2．3 忆阻器

2．2 非易失内存编程接口

2．3．1 DAX文件系统

2．3．2 NVM的数据同步

2．3 存储引擎的持久化

2．4．1 持久化存储引擎

2．4．2 Redis的持久化机制

2．4 本章小结

第3章 FIRSE总体设计概述

3．1 FIRSE整体架构和设计理念

3．2 FIRSE模块设计

3．3 NVM直接寻址

3．4 本章小结

第4章 NVM动态分配器的设计与实现

4．1 FIRAlloc整体概述

4．2 空间分配和释放

4．3 垃圾回收和异步恢复

4．4 本章小结

第5章 无日志哈希表的设计与实现

5．1 FIRHashtable整体概述

5．2 数据访问接口

5．2．1 插入操作

5．2．2 查找操作

5．2．3 更新操作

5．2．4 删除操作

5．3 渐进式Rehash和数据一致性

5．3．1 渐进式Rehash

5．3．2 数据不一致和恢复方法

5．4 本章小结

第6章 实验评估

6．1 吞吐率

6．2 恢复时间

6．3 NVM资源使用量和写磨损

6．4 YCSB评估

6．5 本章小结

7．1 总结

7．2 展望

参考文献

攻读硕士学位期间主要的研究成果

致谢