基于工作流机制的并发式ETL转换方法

摘要

一种基于工作流机制的并发式ETL转换方法，利用工作流技术和多线程并发技术，实现了ETL工作流的多个ETL任务并发执行和单个任务内的多个ETL活动的并发执行。当同时执行多个ETL工作流，且ETL工作流和ETL作业中并行分支较多时，可以明显的提高执行效率。与此同时，本方法提出通过一种通过构建集群分布处理，并行管道技术构建并行ETl数据抽取引擎，能够大大提高数据本身的抽取效率，解决了多数据流的并行处理问题和转换处理的瓶颈问题。