工业历史数据库数据压缩算法研究

摘要

实时数据库是数据库系统发展的一个分支，是数据库技术结合实时处理技术产生的，具有实时性高、数据吞吐量大等特点，目前已广泛地应用于工业自动控制领域。历史数据库作为实时数据库系统的一部分，提供了历史数据的存储查询功能，能够较长时间地保存、备份工业现场产生的历史数据。但由于控制现场的采集点多，采集时间周期短，因而要保存的历史数据量非常巨大。如果将这些数据直接存储，不仅会占用大量的系统存储空间，而且会降低数据库的实时性，使数据的传输、查询变得困难。
　　因此数据压缩技术被引入到历史数据库中，它能够在保持数据库高实时性等特点的同时，尽可能地提高数据库的容量。目前历史数据库中采用的数据压缩技术主要有无损压缩和有损压缩两种。无损压缩一般以通用压缩理论为基础，使用Huffman算法等经典的压缩算法；而有损压缩则更多地考虑了工业实时数据的特征，采取一些特殊舍点算法。
　　本论文课题的研究背景是石化版DCS组态软件的研发，所开展的主要工作是从通用数据无损压缩方法和数据有损压缩方法两方面深入研究各种压缩算法，比较其性能优缺点，并在深入分析各类历史数据特点的基础上，设计出一种高效的历史数据压缩方案应用于石化版DCS组态软件历史数据库的数据压缩上。本文还在总结各种有损压缩方法优缺点的基础上，基于直线趋势化思想，提出了一种新型的有损数据压缩算法ST(Step Trending)，并应用于所设计的压缩方案中，取得了比较好的压缩效果。

目录

文摘

英文文摘

第一章 绪论

1.1 研究意义

1.2 国内外研究状况

1.3 历史数据库简介

1.4 本文研究主要内容及论文安排

第二章 通用数据无损压缩算法分析与研究

2.1 数据压缩概述

2.2 基于统计模型的压缩算法

2.2.1 Huffman编码

2.2.2 算术编码

2.2.3 PPM算法

2.3 基于字典模型的压缩算法

2.3.1 LZW算法

2.3.2 一种改进的LZW算法

2.4 RLE文本压缩算法

2.5 几种压缩算法的性能比较

第三章 数据有损压缩算法分析与研究

3.1 矩形波串法和后向斜率法

3.2 道格拉斯-普克算法

3.3 死区限值压缩算法

3.4 SDT(旋转门)数据压缩算法

3.4.1 基本原理

3.4.2 压缩过程及算法步骤

3.5 ST(Step Trending)数据压缩算法

3.5.1 算法原理

3.5.2 压缩步骤

第四章 历史数据压缩方案的设计

4.1 历史数据特点分析

4.1.1 时间标签特点

4.1.2 质量码特点

4.1.3 数值特点

4.2 历史数据压缩算法的设计

4.2.1 现有技术的分析

4.2.2 压缩算法整体设计方案

4.2.3 时间标签的压缩

4.2.4 质量码的压缩

4.2.5 数值的压缩

4.3 历史数据的解压缩

第五章 历史数据压缩方案的实现

5.1 动态链接库简介

5.2 压缩模块总体设计框架

5.3 数据压缩算法的实现

5.3.1 时间标签的压缩

5.3.2 质量码的压缩

5.3.3 开关量数值的压缩

5.3.4 模拟量数值的压缩

5.3.5 消息量数值的压缩

5.4 压缩方案性能测试

第六章 总结及展望

致谢

参考文献

攻读硕士期间参与的科研工作