基于存储级内存的轻量级对象持久化技术研究

摘要

传统计算机存储架构中，内存和磁盘之间易失和非易失的天然边界以及巨大的性能差异，致使应用程序数据在内存和磁盘之间的格式转换开销过大。新型存储级内存SCM（Storage Class Memory）兼具磁盘的非易失性和内存的字节可寻址特性，可以直连内存总线并使用访存指令进行读写，它模糊了传统内存和磁盘之间的边界，使应用程序数据直接持久化存储在SCM上成为可能，从而消除应用程序数据构建中磁盘数据转换为内存数据的过程（结构化）和数据持久化中内存数据转换为磁盘数据的过程（序列化）的开销。因此基于SCM的数据持久化技术研究具有重要意义。
　　针对前述问题，提出了基于SCM的轻量级对象持久化技术LOPT（Lightweight Object Persistence Technology）。首先，LOPT将底层SCM抽象成对象，并使用内存映射技术直接将SCM对象映射到应用程序地址空间，消除了应用程序数据序列化及结构化时间，LOPT通过向上提供一整套用户态对象编程接口使应用程序绕过冗杂的系统调用直接使用访存指令操作底层SCM对象，从而消除部分系统调用开销，保证系统轻量化；其次，对于SCM对象的管理，LOPT采用了分级管理的方法并在用户态添加对象缓冲池，该方式有效地降低了对象管理系统调用开销；最后，LOPT充分发挥了SCM字节可寻址特性，采用64字节的细粒度日志技术来避免了传统日志技术中的写放大问题，同时采用Intel硬件原语保证处理器缓存数据一致性，并针对不同事务采取了日志区预分配策略，来降低应用程序数据一致性日志开销。
　　实验测试结果表明，对比传统应用程序，LOPT可以使链表、B树以及哈希表的构建时间分别降低94％、96%和75%，从而提高应用程序的数据处理速度；对比Berkeley DB，LOPT可以降低数据写延迟5%到72%。

目录

声明

1 绪论

1.1 课题背景

1.2 国内外研究现状

1.3 课题内容

1.4 论文结构

2 内存对象持久化的关键技术

2.1 问题描述

2.2 对象持久化相的关键技术

2.3 本章小结

3 基于SCM的轻量级对象持久化的设计

3.1 LOPT框架设计

3.2 LOPT超级块设计

3.3 内存数据结构抽象的设计

3.4 编程接口的设计

3.5 内存映射的设计

3.6 细粒度日志和事务的设计

3.7 本章小结

4 基于SCM的轻量级对象持久化的实现

4.1 LOPT挂载和卸载功能的实现

4.2 对象的打开和关闭功能的实现

4.3 持久化对象管理的实现

4.4 日志和事务的实现

4.5 内核层的实现

4.6 本章小结

5 测试与评估

5.1 测试说明

5.2 功能测试

5.3 性能测试

5.4 讨论

5.5 本章小结

6 总结与展望

6.1 全文总结

6.2 展望

致谢

参考文献