一种基于Excel的大数据ETL全过程定义的方法

摘要

一种基于Excel的大数据ETL全过程定义的方法，是以Excel模板为基础，采用统一的界面格式和规范化的描述语言进行ETL的全过程定义。该方法操作简单，在易用性和可维护性方面较传统ETL工具产品和直接编程有了很大的提高，并可以结合机器人软件进行批量定制，在效率上有数倍的提升。本方法高度融合了元数据管理，从源数据的抽取、数据加工、到目标数据的最终落地，在Excel模板所涉及的全部过程定义和参数设置，都作为ETL系统的元数据输入。ETL系统根据本方法设置的元数据，自动流水线式运行数据抽取、数据处理、数据整合、数据输出等模块，无需人工干预。