数据仓库环境中近似查询处理技术研究

摘要

该文主要研究在数据仓库环境中的近似查询处理技术,根据数据仓库中数据和OLAP查询的特点,提出了基于聚类技术的近似查询处理方法（Cluster-based Approximate Query Processing method,简记为CAQP）,其主要思想是对数据仓库中数据方体的数据进行分块,每块数据相当于多维空间中的一个点,采用聚类技术对数据方体中的这些数据块聚类,对于每个cluster,使用其中心点的值代表其中所有的数据块,对数据方体进行压缩,以后的查询操作则直接在压缩的数据结构上进行,减少查询处理时的I/O开销,从而提高查询性能.该文首先对聚类技术进行了深入的研究,提出了基于方格和密度的新聚类算法SCARG.该文在深入研究了聚类技术的基础上,又对基于聚类的近似查询处理的关键技术进行研究.该文对近似扩展数据方体技术进行了研究.

目录

文摘

英文文摘

声明

第一章引言

1.1数据仓库技术的产生与发展

1.2近似查询处理技术的研究背景与意义

1.3近似查询处理技术的国内外研究状况

1.4论文的主要工作

1.5论文的组织安排

第二章数据仓库与近似查询技术的相关研究

2.1数据仓库技术

2.1.1实体化视图

2.1.2索引

2.1.3数据方体(data cube)技术

2.1.4并行处理技术

2.1.5数据压缩技术

2.2近似查询处理的基本概念

2.3聚集查询近似处理技术研究

2.3.1抽样技术

2.3.2直方图技术(Histogram)

2.3.3小波变换技术(Wavelet)

2.3.4其它技术

2.4非聚集查询的近似处理技术研究

2.5数据压缩技术

2.6近似查询结果评价

2.7 小结

第三章基于聚类的近似查询处理方法概述

3.1数据仓库中的数据模型

3.1.1多维数据模型

3.1.2多维数据模型的物理实现

3.1.3OLAP的基本操作

3.2并行数据仓库系统ParaWare概述

3.2.1 ParaWare的体系结构

3.2.2 ParaWare的数据模型

3.3 CAQP的基本结构

3.3.1数据预处理模块

3.3.2数据存储模块

3.3.3聚类模块

3.3.4数据维护模块

3.3.5查询处理模块

3.3.6近似扩展数据方体模块

3.4 CAQP与ParaWare的关系

3.5 CAQP的特点

3.6 小结

第四章聚类分析技术研究

4.1聚类分析概述

4.2聚类分析的相关研究

4.2.1基于分区的聚类方法

4.2.2基于层次的聚类方法

4.2.3基于密度的聚类方法

4.2.4基于方格的聚类方法

4.2.5基于模型的聚类方法

4.2.6聚类方法小结

4.3 SCARG方法

4.3.1问题说明

4.3.2 SCARG算法的关键技术

4.3.3 SCARG算法

4.3.4算法分析

4.3.5实验

4.3.6 SCARG算法小结

4.4 PSCARG方法

4.4.1 PSCARG算法说明

4.4.2实验

4.5小结

第五章基于聚类的近似查询处理关键技术

5.1近似查询处理的有关定义

5.2数据的预处理

5.2.1数据方体的划分

5.2.2数据的生成算法

5.3数据的存储结构

5.3.1数据结构

5.3.2霍夫曼编码

5.4聚类的计算

5.4.1分层K-Means方法

5.4.2SCARG与K-Means相结合的算法

5.5数据的维护

5.6查询处理

5.7查询结果的估计值和置信区间

5.7.1非聚集查询

5.7.2聚集查询

5.8实验

5.8.1数据描述

5.8.2实验方法

5.8.3算法的准确性

5.8.4算法的扩展性

5.9小结

第六章近似扩展数据方体技术

6.1近似扩展数据方体概述

6.2近似扩展数据方体的计算

6.3近似扩展数据方体的配置

6.3.1集合覆盖问题

6.3.2启发式算法

6.4近似扩展数据方体的维护

6.5近似扩展数据方体的查询优化

6.6小结

第七章总结与展望

7.1本文的主要贡献和创新

7.2进一步的工作

参考文献

致谢

作者简历