基于新型非易失存储I/O栈的优化技术研究

摘要

随着个人移动设备的普及和互联网、物联网等信息技术的快速发展，我们的生活已经进入了大数据时代。如何从海量数据中高效地获得有效信息，帮助和指导人们进行决策，是大数据时代下我们面临的重大挑战，同时也为我们带来了前所未有的机遇。
　　存储是大数据处理平台的基础设施，传统的机械磁盘由于其高访问延迟、低带宽，难以满足海量数据快速处理和存储的需求，这也促进了各种新型非易失存储介质的蓬勃发展，涌现了以flash、PCM为代表的各种新型非易失存储介质。传统的I/O栈是基于磁盘设计和优化的，相对于新型非易失存储，仍有许多不适合之处。因此，我们需要对传统的I/O栈进行优化，以便充分利用新型非易失存储的性能。
　　针对现今广泛应用于企业级的PCIe闪存固态盘，本文对传统I/O栈的块层、驱动层进行了优化研究。基于我们自主设计的PCIe闪存固态盘原型系统，通过采用内核缓存旁路技术、本地命令队列优化设计、多请求队列和多中断的优化方法，PCIe闪存固态盘的性能得到大幅提升，读写带宽从2GB/s提升到2.8GB/s，4KB读请求IOPS增加到原来的4倍，4KB写IOPS增加到原来的6倍。
　　针对新型非易失存储介质访问低延迟的特性，本文研究了中断和轮询两种不同的I/O响应机制对小请求的性能影响。我们首先实现了一个支持请求特征感知I/O响应机制的I/O栈，该I/O栈对于4KB请求采用轮询响应方式，对于大于4KB请求采用中断响应方式。通过采用PCIe闪存固态盘上的DRAM来模拟新型非易失存储，对I/O栈的性能进行测试发现，相比于中断机制，轮询响应机制对于不超过4KB的请求会减少延迟和提升IOPS，但在多进程采用小请求访问的高负载场景下，基本不会带来性能提升，反而会大大增加CPU资源占用率。

目录

声明

第一章 绪论

1.1 研究背景

1.2 研究现状

1.3 课题研究内容和意义

1.4 论文组织结构

第二章 PCIe闪存固态盘性能测试与分析

2.1 PCIe闪存固态盘

2.2 PCIe闪存固态盘的I/O栈

2.3 PCIe闪存固态盘的性能测试

2.4 性能分析

2.5 小结

第三章 基于PCIe闪存固态盘I/O栈的优化设计

3.1 内核缓存旁路技术

3.2 本地命令队列的优化设计

3.3 多请求队列和多中断的优化方法

3.4 小结

第四章 基于新型非易失存储I/O响应机制的研究

4.1 I/O响应机制

4.2 请求特征感知的I/O响应机制

4.3 性能测试与分析

4.4 小结

第五章 结论与展望

5.1 工作总结

5.2 下一步工作

致谢

参考文献

作者在学期间取得的学术成果