数据仓库结构设计与物化视图选择

摘要

该文在对现有数据仓库的概念、特征、数据组织结构和设计方法进行分析的基础上,提出了一种数据仓库体系结构,将数据仓库分析环境中的数据划分为核心数据、全局扩展数据、局部扩展数据和私有扩展数据四类,并分别对这四类数据的结构设计问题进行了研究,将物化视图选择理论用于后三类扩展数据的结构设计中.该文针对现有物化视图选择理论在数据仓库工程实践中面临的困难,提出了查询泛化的概念,并给出了两种查询泛化的算法;在此基础上,针对各类扩展数据的特点,恰当地选择和改进物化视图选择问题上的现有理论成果,进行数据仓库的结构设计.数据仓库的结构应该与用户的分析需求相适应,而后者是复杂多变的,当用户的分析需求变化超出某一限度时,需要对数据仓库的结构作恰当的调整,很明显的一种选择就是重新执行物化视图选择算法,形成新的物化视图集,但这带来的问题是无法控制调整量,而重建物化视图的开销极大,因此该文提出了在限定调整量的情况下,如何对物化视图集作局部调整的问题,并给出了相应的算法.最后,该文介绍了上述研究成果应用于上海一家大型超市数据仓库系统中数据集市部分的设计概况和部分细节,并对研究工作进行了总结和展望.

目录

文摘

英文文摘

第一章绪论

1.1分析型处理与数据仓库

1.2本课题的提出及项目背景

1.2.1课题目标

1.2.2本课题的项目背景

1.3主要研究成果及本文的组织

1.3.1本文主要研究成果

第二章数据仓库技术

2.1数据仓库的定义

2.2数据仓库的数据组织结构

2.2.1粒度

2.2.2分割

2.3数据仓库设计

2.3.1概念模型设计

2.3.2技术准备工作

2.3.3逻辑模型设计

2.3.4物理模型设计

2.3.5数据仓库生成

2.3.6数据仓库的使用和维护

2.4数据仓库分析环境

2.4.1分布式数据仓库环境

2.4.2分布式数据仓库环境的设计

2.4.3数据仓库分析环境的核心结构

第三章数据仓库的物化视图理论

3.1视图

3.2物化视图与数据仓库

3.3物化视图的一致性维护

3.4物化视图的选择

3.4.1物化视图选择与数据仓库结构设计

3.4.2物化视图选择理论的现有成果

3.4.3 MVS理论在实际中的困难

3.5基于数据导出关系的数据仓库体系结构

3.6小结

第四章全局扩展结构的设计

4.1查询泛化

4.1.1何谓查询泛化

4.1.2泛化算法一

4.1.3泛化算法二

4.1.4进一步的探讨

4.2全局扩展数据结构设计中的MVS问题

4.2.1 MVS问题的形式化表述

4.2.2利用遗传算法求解MVS问题

4.2.3利用遗传算法调整物化视图集

4.3半物化视图

4.3.1半物化视图的定义

4.3.2半物化视图的作用

4.4 小结

第五章局部扩展结构与私有扩展结构的设计

5.1多维数据模型简介

5.1.1相关基本概念

5.1.2.多维数据结构

5.1.3多维数据分析和OLAP

5.2多维数据模型在局部数据仓库中的实现

5.3局部扩展结构设计中的MVS问题

5.3.1相关概念的形式化表述

5.3.2利用贪心算法求解MVS问题

5.3.3物化视图集的调整算法

5.3.4同时考虑索引选择的物化视图选择

5.4私有扩展数据结构的设计

5.4.1 Dynmat系统结构

5.4.2物化视图池维护

5.5小结

第六章应用实例与总结展望

6.1应用实例

6.1.1问题提出

6.1.2解决方案

6.1.3 OLAP子系统概况

6.1.4事实表维表结构

6.1.5相关元数据表结构

6.1.6服务端例程

6.1.7查询处理模块的实现

6.1.8物化视图管理模块的实现

6.1.9界面及运行效果

6.2总结与展望

参考文献

致谢