实时数据仓库中查询与更新调度策略的研究与实现

摘要

随着信息技术的飞速发展，企业或组织的信息化建设不断深入，企业或组织搜集了大量的数据信息，需要数据仓库提供决策支持。为增强市场竞争优势或提升社会安全保障能力，企业或组织对数据仓库的实时性提出了越来越高的要求，但传统数据仓库不能满足这种实时性需求。因此，出现了提供实时决策支持的实时数据仓库系统。在实时数据仓库应用领域，决策者期望短的响应时间和高的数据新鲜度。然而，由于存在高负载和可能发生冲突的连续查询与更新任务，实时数据仓库同时满足决策者的上述两个需求具有极大的挑战性，但具有实用价值。如何有效提高用户需求的满意度是一个亟待解决的问题。因此，实时数据仓库体系结构和查询与更新实时调度算法成为研究的热点，并具有重要意义。
　　本文首先全面分析了现有的实时数据仓库体系结构，确定了更新任务与查询任务的负载分布情况，利用副本机制将实时性更新任务的转换过程与OLTP系统相分离，以减少实时更新对OLTP系统性能的影响。然后提出了改进的基于ODS实时数据仓库体系结构，分类处理实时更新任务，利用基于触发器的实时捕获方法，采用不同的映射和装载机制。该方案可以尽可能实时地装载更新数据，从而提高查询结果新鲜度。本文将不能实时装载的任务放于更新任务队列，将用户提交的查询任务放于查询任务队列。对于以上的两种任务，本文提出了基于用户意愿的查询与更新二级调度算法，允许用户指出可接受的查询响应时间即服务质量，和可以接受的结果陈旧度即数据质量，并详细介绍了此二级调度策略思想以及实现方法。最后，利用TPC-DS基准对本文中提出的体系结构和调度算法的性能进行了评估。
　　实验表明:在低、中、高三种工作量下，本文提出的基于改进的实时数据仓库体系结构的二级调度算法与三个传统调度算法相比，在很大程度上提高了用户的满意度，并且能够快速地适应变化的用户需求与工作量。

目录

声明

摘要

第1章 绪论

1．1 研究的背景和意义

1．2 研究的内容与目标

1．2．1 研究内容

1．2．2 研究目标

1．2．3 课题来源

1．3 本文的主要工作

1．4 本文的组织结构

第2章 相关技术简介

2．1 数据仓库

2．1．1 数据仓库的特点

2．1．2 数据仓库体系结构

2．1．3 ETL简介

2．2 实时数据仓库

2．2．1 实时数据仓库简介

2．2．2 实时数据仓库体系结构

2．2．3 实时数据仓库与传统数据仓库的比较

2．3 实时数据捕获技术

2．4 实时数据仓库中的分区技术

2．4．1 分区方法

2．4．2 分区表建立原则

2．5 实时调度技术

2．5．1 实时调度分类

2．5．2 实时调度策略

2．6 本章小结

第3章 基于ODS的RTDW体系结构改进

3．1 ODS技术

3．1．1 ODS定义

3．1．2 ODS与DW区别

3．2 现有体系结构分析

3．3 负载分布情况讨论

3．4 改进的实时数据仓库体系结构

3．4．1 构建考虑因素

3．4．2 采用的分区方法

3．4．3 变化数据捕获实现

3．4．4 基于副本的变化数据捕获

3．4．5 变化数据捕获转换与装载

3．5 本章小结

第4章 基于用户需求的调度算法

4．1 传统调度算法

4．1．1 QUTS调度算法

4．1．2 WINE调度算法

4．1．3 其它调度算法

4．1．4 传统调度算法分析

4．2 RQUS系统模型

4．2．1 系统模型

4．2．2 任务描述

4．3 性能指标

4．3．1 QoS指标

4．3．2 QoD指标

4．4 RQUS调度算法

4．4．1 高级平衡调度

4．4．2 低级优先级调度

4．5 本章小结

第5章 基于TPC-DS基准的性能评估

5．1 TPC-DS基准

5．1．1 TPC-DS介绍

5．1．2 DBGEN与QGEN

5．1．3 TPC-DS基准模型

5．2 任务流模拟

5．2．1 更新流模拟

5．2．2 查询流模拟

5．3 性能对比及分析

5．3．1 QoS性能对比分析

5．3．2 QoD性能对比分析

5．4 本章小结

第6章 总结

6．1 本文主要工作

6．2 未来工作展望

参考文献

致谢

攻读硕士期间参加的项目和发表的论文