一种基于工作流的通用ETL工具的过程模型生成方法

摘要

本发明公开了一种基于工作流的通用ETL工具的过程模型生成方法，在ETL概念模型的基础上进行抽象，完成整个ETL的控制以及任务的定时执行和调度，建立基于工作流的ETL模型，在此基础上构建ETL流程的有向图，通过集成变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种State变换方式，使得ETL过程在经过恰当的变换之后，变成一个执行效率更高的新ETL过程。基于工作流的ETL系统的概念模型，不同于传统的ETL模型，它屏蔽了底层的具体数据抽取、转换和加载步骤，当业务发生改变时，用户只需要修改ETL流程图即可。大大提高了开发效率，减少开发成本，真正的实现了数据仓库和数据集成平民化。