对多维数据存储技术的研究

摘要

在目前激烈的市场竞争中，企业要想在竞争中立于不败之地，决策者必须要做出快速、及时、准确的决策。这些决策的选择不再仅依据决策者的主观感觉和经验，更主要来源于对企业过去业务数据的分析，他们需要对这些数据进行不同角度的分析。根据对这些数据的分析结果，预测未来的商业趋势。若要有效、高效的分析历史数据，就必须对其进行合理的组织与存储。 本文讨论了数据在磁盘中的存储以及组织结构，同时，为了提高查询分析的效率，还要为数据文件建立多种索引；要对多维数据仓库中的多维数据进行粒度的划分；对数据进行分割；对休眠数据进行处理等。粒度是数据仓库中数据单位的细化或综合程度的级别，越详细的数据粒度越小。粒度越大，查询效率越高，占用的存储空间少，但能完成的查询也就越少。数据分割是对数据仓库中的细节数据进行分割，通常的分割标准有：按时间分割、按地理位置分割等。数据量的大小是决定分割的主要因素。休眠数据管理是指对以后不用的数据从要进行查询分析的数据仓库中剔除。这样可以在查询时减少扫描的次数从而提高效率。 这里介绍了两种方法可以存储多维数据，一种是以二维关系表的形式存储，一种是以多维数组的形式存储，分别对应ROLAP与MOLAP。关系表存储法也就是用维表和事实表存储多维数据。用维表记录多维数据中的维度，用事实表记录多维数据立方体各个维度的交点的度量值。由于在查询时要进行多个表之间的连接，因而响应时间比较长，但对于有大量空白数据的数据库来说，可以节约很多存储空间。多维数组存储法是直接处理存放在多维数组中的数据，这种数据已经反映了各种数据的组合，并且每个单元都可以直接访问，一般而言，查询速度比较快而且稳定。但在矩阵稀疏的情况下，会存在大量的数据空白点，从而造成大量的空间浪费。针对MOLAP中出现的空间浪费问题，我们要对其进行压缩存储。可以通过增加一个冗余的标志位的方法记录某种组合是否有实际可用的数据，在存储时只存储有数据的点，剔除空白点，达到压缩存储多维稀疏矩阵的目的。

目录

文摘

英文文摘

独创性声明及关于论文使用授权的说明

第1章绪论

1.1 OLTP到 OLAP

1.2课题研究的目的和意义

1.3和本课题有关的国内外研究现状

1.4研究的目标及内容

第2章物理存储结构

2.1数据库的存储设备

2.1.1磁盘存储器

2.1.2磁盘容错技术

2.2文件和文件记录

2.3无序文件

2.4有序文件

2.5 Hash文件

2.5.1简单Hash方法

2.5.2动态Hash方法

2.6索引文件

2.6.1主索引

2.6.2聚集索引

2.6.3辅助索引

2.6.4多级索引

2.7树索引结构

2.7.1 B树索引结构

2.7.2 B+树索引结构

2.8多维索引

2.8.1网格文件

2.8.2位图索引

第3章多维数据的组织与管理

3.1数据仓库的结构

3.2粒度和分割

3.2.1粒度的确定

3.2.2一个粒度划分的实例

3.2.3数据分割

3.3数据仓库中数据的管理

3.3.1休眠数据的管理

3.3.2脏数据的出现和管理

第4章多维数据的建模与分析

4.1概念模型

4.2逻辑模型设计

4.2.1分析主题域

4.2.2粒度层次的划分

4.2.3确定数据分割的策略

4.2.4关系模式定义

4.2.5定义记录系统

4.3物理模型设计

4.3.1确定数据的存储结构

4.3.2确定索引策略

4.3.3确定数据的存放位置

4.3.4确定存储分配

第5章多维数据存储的实现

5.1多维OLAP和关系OLAP

5.1.1数据存储

5.1.2 MOLAP和ROLAP的比较

5.2用事实表与维度表存储多维数据

5.2.1星型模式

5.2.2雪花型结构

5.2.3层次信息和分类信息的位置

5.2.4非分析数据的分离

5.2.5建立索引

5.3用多维数据库存储多维数据

5.3.1采用增加冗余位法压缩多维数据的存储

5.3.2压缩存储后的性能分析

5.4存储的优化

5.4.1设立正确的块大小

5.4.2设置合理的块使用参数

5.5一些提高性能的技术

5.5.1数据分区

5.5.2并行查询

5.5.3汇总级别

5.5.4初始化参数

第6章总结

参考文献

致谢

发表论文