数据仓库实现图增量维护策略研究

摘要

数据仓库中的数据大多来源于多个分散、异构及自治的底层业务数据库，其信息以实视图的形式存储。通过物理上的预先存储，加快了查询响应时间，大大提高了数据仓库的性能。然而，底层数据库中的数据是不断变化的，为使数据仓库实视图能够同步反映数据源的变化，必须对数据仓库中的相关数据进行及时维护。 实视图的维护是数据仓库中的关键技术，随数据源和数据量的不断增加，对数据仓库实视图维护的效率提出了更高的要求，采用完全更新显然是不可行的，研究实视图的增量维护策略将具有重要的理论价值和实践意义。 在介绍数据仓库及实视图的概念基础上，对三层数据仓库增量维护体系结构进行了改进，在数据仓库基库与数据仓库之间增加组件包装器，将当前数据库副本转换成数据仓库所需要的有效格式，同时利用触发器技术获取底层数据库系统的增量。 针对现有实视图增量更新算法存在的效率不高或处理不完善等不足，利用清除旧数据和保存历史相结合的方法对维表的更新进行改进，在清除旧数据时充分考虑到了决策的准确性、即时性和高效性等多个因素，并结合用户需求获得最佳平衡点。同时利用扩展技术元数据聚集相关标识符和当前标志指示符对实视图增量更新进行改进，避免了对事实表进行的不必要的修改，简化了更新过程，提高了增量更新的效率。 现有的聚集函数增量更新算法只考虑到某些特殊情况，不具有通用性，因此根据聚集函数更新的特点将其分为可自维护聚集函数和不可自维护聚集函数两类，针对不同情况对聚集函数的增量更新进行了完善。 为了测试改进算法的功能及效率，在实验中对实视图利用增量更新及完全更新两种方式进行处理，通过时间及空间的对比，证明了改进算法在数据仓库实视图的维护中的有效性。

目录

文摘

英文文摘

原创性声明及版权授权说明

第1章绪论

1.1问题提出

1.1.1数据仓库的出现

1.1.2数据仓库维护的重要性

1.2国内外研究现状

1.3论文主要工作

1.4本章小结

第2章实视图维护基础知识

2.1数据仓库概述

2.1.1数据仓库体系结构

2.1.2联机分析处理技术(OLAP)

2.2实视图概念及分类

2.2.1实视图概念

2.2.2实视图的分类

2.3实视图维护的策略及时机

2.3.1实视图维护策略

2.3.2实视图维护时机

2.4本章小结

第3章增量维护体系结构

3.1增量维护体系结构

3.2常用增量数据获取方式

3.3利用触发器技术获取增量

3.3.1触发器的概念

3.3.2创建触发器

3.4本章小结

第4章实视图增量维护策略

4.1数据仓库实视图增量维护流程图

4.2维表增量维护策略

4.2.1维表变化类型及处理方法

4.2.2对SCD2的改进

4.3事实表增量维护策略

4.4预聚集增量维护策略

4.4.1预聚集变化类型及处理方法

4.4.2对预聚集更新算法的改进

4.4.3性能分析

4.5聚集函数增量更新

4.5.1可自维护聚集函数增量更新

4.5.2不可自维护聚集函数增量更新

4.5.3算法实现

4.6本章小结

第5章应用实例

5.1系统建设背景

5.2系统设计

5.2.1系统体系结构

5.2.2数据仓库设计

5.3实视图增量维护应用

5.3.1实验系统环境

5.3.2实验方法

5.3.3实验结果分析

5.4本章小结

结论

参考文献

致谢

攻读硕士期间发表(含录用)的学术论文