海量时序数据的压缩存储方法研究

摘要

在大数据时代背景下，时序数据产生于生产、生活的方方面面。挖掘分析时序数据背后的规律和价值可以掌握事物的变化发展规律和未来动向，对做出正确科学的决策具有重大意义。但对于日益增长的海量时间序列数据，高效、可靠的数据存储与检索成为一个突出的问题。现有的压缩存储方案往往通过额外的索引来检索数据，在存储速率、计算机资源利用率等方面仍存在不足。因此，研究海量时序数据的高效存储意义深远。
　　时序数据本身除了一般带有时间戳外，还有数据量大、写多读少、读入后少修改、在相近时间内数据内容比较接近等特点。而时序数据被检索使用时，经常是连续的时间区域的查询或是查询在某个时间段里的均值、最大值。本文针对时序数据的特征，设计了时序数据压缩算法和存储结构。
　　在时序数据压缩算法方面，本文在DACs压缩算法基础上，提出具有动态优化存取效果的、具有高压缩比且兼顾解压效率的TODACs算法。该算法扩充了DACs压缩存储的数据类型，并且利用时序数据相近时间数据大小相近的特征，加入改进的逐差编码，显著提高了压缩率。
　　在时序数据存储结构方面，本文针对时序数据的查询特点，采用时间片分块存储，时间片内按主键排序底层物理的存储格式；针对时序数据数据量庞大的特点，采用了堆表类型的数据组织方式；针对时序数据数据大小相近的特点，采用了列式存储结构以优化压缩效果提高磁盘吞吐量。从而在存储结构设计上加快时序数据的存储及检索速率。
　　在实验分析方面，本文通过压缩比率、压缩速率和解压速率三个对比实验验证TODACs算法的高压缩率。对TODACs算法的实验分析证实该算法降低读写总时间和降低读取数据延迟的有效性。

目录

第1章 绪论

1.1 研究背景和意义

1.2 国内外相关研究和综述

1.3 本文的主要工作

1.4 本文的组织结构

第2章 基于改进DACs的时序数据压缩方法

2.1 引言

2.2 时间序列数据的特征分析

2.3 DACs算法简介

2.4 基于改进DACs的时序数据压缩算法

2.5 本章小结

第3章 时序数据存储结构的设计

3.1 引言

3.2 时序数据存储格式

3.3 时序数据组织方式

3.4 基于TODACs的时序数据列式存储结构

3.5 时序数据查询方式

3.6 本章小结

第4章 实验分析

4.1 实验环境及数据

4.2 压缩对比实验

4.3 TODACs算法的实验分析

4.4 基于磁盘的压缩存取分析

4.5 本章小结

结论

参考文献

声明

致谢