增量ETL过程自动化产生方法的研究

摘要

ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程.全量ETL过程只能处理全量数据,但易于设计.而增量ETL过程设计起来比较复杂,但适用于处理增量数据.主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价.利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法.但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论.作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题.