一种新的构件化软件模型及其在数据仓库领域的应用

摘要

软件从它诞生之日起就一直变得越来越重要，现代生活的方方面面都直接或间接地依赖着软件所提供的服务。随着计算机硬件和网络环境的迅速发展，用户对软件的需求日益复杂且不断变化，复用和重构成为软件开发过程的重要方面，决定着有效性和软件成本，传统软件开发方法在建模、实现、分析和进化等环节正面临越来越多的困难。
　　 从软件模型角度看，产生式方法和模型驱动开发等面向领域的高层抽象和复用是控制软件开发复杂性的有效方法，然而这些方法在强调领域专用性的同时并没有为通用软件开发提供解决方案，由其产生的各自独立的领域模型，使得跨领域复用难以实现。
　　 从实现角度看，网络分布式计算环境为软件性能提升带来了新的机会和挑战。理想的高性能计算平台可以通过多处理器或核并行而相对简单地实现，软硬件资源通过网络也更容易被融合起来，提供更多更好的服务。然而事实并非如此，传统的软件模型如面向对象，是在单一控制流假设下发展起来的，对象包含的共享状态使得并行计算难以实现，多线程方式的并行计算模型同样面临组合性的困难。相对的，传统数据流模型非常适合分布式并行计算，却因为缺乏如事件响应、流程事务、非确定性等通用软件模型元素，始终没有成为主流的软件模型。
　　 针对上述现状，本论文提出了一种面向分布式计算环境的通用软件构件化模型--管站软件模型，它结合面向对象的层次化复用和面向功能的构件类型划分，提供跨领域的构件复用性。管站软件模型将构件交互语义抽象为形式场，后者允许相互组合和连接以表达丰富的控制语义，其中的数据流场适合分布式计算环境的高效实现。管站软件模型被应用于笔者负责的多个数据仓库和政府数据中心项目，取得了良好的效果。
　　 本研究工作取得的创新性成果主要包括：
　　 1）结合实践，深入研究了数据仓库ETL过程的领域需求，提出了ETL领域模型--ETL场，这一模型为ETL领域的商业工具和用户自定义软件提供了规范化的模型表达，有利于领域知识的记录和复用，实践也证明了其合理性；
　　 2）结合面向对象模型、数据流计算模型和面向功能的领域需求分析，提出了领域无关的管站软件模型，它面向功能构件，以数据流、有穷状态等形式场表达构件的交互语义，通过场的连接实现模型组合，不仅提高了软件模型的抽象层次，还有利于跨领域的构件复用；
　　 3）研究并提出了一种基于动态迭代优化的分布式管站模型数据流场的构件调度算法，它使用运行时采集的构件操作序列，分析构件之间的数据依赖和计算复杂性，有效地平衡了处理器负载，为管站模型的数据流场提供了高效的实现；
　　 4）基于图变换思想，采用专家系统的规则推导实现了ETL领域模型到管站软件模型的自动模型变换，使用户可以采用更贴近领域的模型进行软件开发，这一思想和方法也适合其它领域；
　　 5）基于ETL场、管站软件模型及其分布式调度算法，实现了实验系统--万能工匠，以验证本文提出的可配置、领域独立的软件建模与实现框架。在此基础上，笔者负责研发了一种基于统一数据模型和可扩展流程模型实现的插件化数据交换和集成工具-DataTurbo，它以示例驱动的界面引导用户将可配置的功能插件快速、灵活地组合构成数据流程，实现自动、稳健和高效的数据物化集成。DataTurbo目前正作为底层数据支撑平台，服务于两个政府数据中心。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 研究背景和意义

1.2 研究目的

1.3 研究方法

1.4 创新点和主要贡献

1.5 论文组织

1.6 本章小结

第二章 相关领域的研究现状

2.1 软件开发过程与模型驱动开发

2.2 领域需求分析

2.3 数据仓库及ETL领域

2.4 数据流并行计算模型

2.5 本章小结

第三章 ETL领域模型

3.1 ETL领域概述

3.2 ETL场泛化模型

3.2.1 实例

3.2.2 元素列表

3.2.3 静态元素

3.2.4 主动元素

3.2.5 事务及控制元素

3.2.6 动态元素

3.2.7 关系互连

3.3 ETL 场具体化扩展

3.3.1 数据源扩展

3.3.2 其它资源扩展

3.3.3 活动任务扩展

3.4 ETL场形式化定义

3.5 本章小结

第四章 管站软件模型

4.1 概述

4.2 ETL 场的去领域化

4.2.1 回顾ETL 领域模型

4.2.2 从结果集到适配器

4.2.3 从数据源到库所

4.2.4 从活动到服务器

4.2.5 从流程运算到开关

4.2.6 从状态到传感器

4.2.7 时序约束与依赖

4.2.8 从关系到管道

4.3 管站软件模型

4.3.1 管站模型的融合框架

4.3.2 数据流场

4.3.3 场的内连接

4.3.4 有穷状态场

4.3.5 场的外连接

4.3.6 信号和区域

4.4 ETL 场的模型变换

4.4.1 模型的形式化表示

4.4.2 基于图变换的模型变换方法

4.4.3 ETL场模型到管站模型的变换规则

4.5 本章小结

第五章 数据流场的分布式调度

5.1 调度问题与相关工作

5.2 调度策略概述

5.3 问题定义与求解

5.4 算法实现与实验

5.5 本章小结

第六章 实验与应用

6.1 实验系统

6.2 应用实例

6.2.1 需求描述

6.2.2 领域数据模型

6.2.3 用户友好的流程模型

6.2.4 示例驱动的用户界面

6.2.5 性能和其他特征

6.3 本章小结

结 论

今后工作的展望

参考文献

攻读博士学位期间取得的研究成果

致 谢