基于非易失性内存的时间序列数据存储性能的研究

摘要

目前嵌入式设备在物联网（internet-of-things，IOTs）方面存在着广泛应用，并采用了大量非易失性存内存（nonvolatile memories，NVMs）数据库作为其存储，而非易失性存内存数据库是典型的高性能轻量级数据库。例如相变存储器、自旋扭矩传递随机存取存储器和闪速存储器，这些存储器内的数据库均具备非易失性和高性能的特征。IoTs设备生成大量时间序列数据，其通常基于时间戳被索引和引用。由同一设备产生的时间序列数据，具有以下特征：相邻时间点的数据很少发生变化；在短时间产生的数据量规模是激增的；对存储时间序列数据的数据库性能要求高。
　　现有存储时间序列数据的方法主要是利用编码的技术。诸如增量编码技术，利用数据属性来减少空间消耗，通过保持参考数据和其他数据之间的差异来增强I/O性能。到目前为止，现有时间序列数据存储编码技术没有考虑现有NVMs的I/O特性。为了优化时间序列数据库存储的非易失性和I/O性能，本文提出了基于NVMs的感知时间序列数据库（NVM-aware Time-Series DataBase，NV-TSDB）以及基于NV-TSDB的差异值编码技术。本文主要研究以下内容：
　　（1）本文介绍了数据序列数据库（Time Series DataBase，TSDB）的分类以及读写操作，以及易失性等特点。针对时间序列数据库的易失性以及NVMs的多层式存储（Multi Level Cell，MLC）特点，设计出了一种非易失性时间序列数据库，即NV-TSDB。该数据库主要是有多个相同块（Block）区域组成，每个块区域分为可变区域和不可变区域。NV-TSDB数据库具备非易失性的特点。当异常断电情况下，NV-TSDB中的数据不会丢失。NV-TSDB的非易失性在实验中得到验证。
　　（2）为了优化NV-TSDB的I/O性能，基于NV-TSDB设计出了NV-TSDB的差异值（Difference Value，DV）算法。该算法主要思想是在不可变区域划分为不可变区域时间戳，不可变区域数据，不可变区域差异值。将可变区域划分为可变区域时间戳，可变区域数据。不可变区域差异值具有固定长度，存储的是相邻Block不可变数据的差异值。在时间戳不可变区域与数据不可以区域存储完整的时间序列数据。在可变区存储固定长度的时间戳差异值与数据差异值。差异值算法具备高存储和高查询的特点。通过实验验证该算法的高效性。
　　本文重点介绍如何设计NV-TSDB以及基于NV-TSDB的DV算法。最后通过测试大量实验数据来验证了设计的NV-TSDB的正确性，以及编码技术的压缩率。确定所设计的数据库具有非易失性的特点，设计NV-TSDB的DV算法对数据序列数据分别从存储与查询效率都得到优化。

目录

声明

1 绪论

1.1课题研究背景

1.2 发展研究现状

1.3 研究内容和意义

1.4 论文的组织结构

2 TSDB存储的相关知识

2.1 时间序列数据

2.2 时间序列数据的存储类型

2.3 数据序列数据库的查询类型

2.4 常用TSDB

2.5 本章小结

3 NV-TSDB存储结构设计

3.1 NVMs的存储芯片

3.2 基于NVMs的NV-TSDB设计思路

3.3 NV-TSDB的存储结构

3.4 实验结果及分析

3.5 本章小结

4 基于NV-TSDB的DV算法设计

4.1 基于NV-TSDB的增量编码技术

4.2 DV算法

4.3 DV算法查询方式

4.4 仿真实验以及分析

4.5 本章小结

5 总结和展望

5.1 总结

5.2 展望

参考文献

致谢

攻读学位期间的科研成果