面向实时数据仓库的达梦数据交换平台改进

摘要

在当前经济竞争激烈的信息化时代,实时数据仓库不仅需要为BI(BusinessIntelligence)系统提供预测和分析的战略性支持,而且还需要提供实时战术性决策支持。实时战术性决策支持要求实时数据仓库能够进行实时快速地更新,然而传统数据仓库ETL周期调度更新方式和批量处理不能实施实时快速地更新,鉴于达梦数据交换平台是一款专业的ETL产品,且不能对实时数据仓库提供实时支持,因此,对达梦ETL改进以适应实时数据仓库环境具有重要意义。
　　基于实时数据仓库特点及对ETL新要求的分析,提出了一种实时数据仓库体系结构;同时在对达梦ETL实现原理进行了深入研究基础上,从调度策略和ETL过程执行两方面进行了改进。其一:考虑到传统数据仓库以天、星期和月等为周期进行周期调度,这种方式的数据时延很大,不能满足实时数据仓库环境的要求。因此在达梦ETL上增加了一种事件触发调度,事件触发调度是一种灵活的实时调度策略,它结合了数据源中变更数据的特点及用户的需求等,可以实现从多角度设置触发条件,能够实时地对数据仓库中数据进行更新,很好地满足实时数据仓库对ETL的实时调度的需求。其二:实时数据仓实时性实时触发调度需要快速执行ETL过程,而达梦ETL过程执行时,数据抽取、转换和装载过程各在一个线程中执行,因此采用了多线程任务执行分解方案对ETL过程执行加于改进,实现多线程并发执行数据抽取、转换和装载过程,通过提高并发度来提高ETL过程的执行效率。
　　通过实验表明,事件触发调度策略能够根据用户所设置的条件进行判断,在条件成立时实时地把增量数据集中的数据更新到实时数据仓库中,并且多线程任务执行分解改进在系统CPU资源没有得到充分利用时,对ETL过程的执行效率有一个显著的提高。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题背景及意义

1.2 国内外概况

1.3 课题主要研究工作

2 实时数据仓库及达梦ETL分析

2.1 实时数据仓库需求分析

2.2 达梦ETL改进分析

2.3 达梦数据交换平台改进方案2.3.1 达梦ETL事件触发调度

2.4 小结

3 达梦ETL事件触发调度设计与实现

3.1 达梦ETL事件触发调度基本思想

3.2 达梦ETL事件触发调度分析与设计

3.3 达梦ETL事件触发调度实现

3.4 小结

4 多线程任务执行分解方案设计与实现

4.1 达梦ETL过程执行改进基本思想

4.2 达梦ETL过程执行改进分析与设计

4.3 达梦ETL过程执行改进实现

4.4 小结

5 实验与结果分析

5.1 实验方案的设计思路

5.2 实验环境及测试数据介绍

5.3 实验流程和测试用例

5.4 实验结果分析

5.5 小结

6 总结与展望

6.1 全文总结

6.2 展望

致谢

参考文献