基于内存计算、web可视化配置的多数据源ETL工具

摘要

本发明公开了基于内存计算、web可视化配置的多数据源ETL工具，其特征在于包括数据源层、作业层及目标数仓层，数据源层用于连接客户的数据关系数据库；作业层包括数据源层与目标数仓层的映射配置以及基于spark的数据传输模块；映射配置体现在目标数仓层中数仓目标表与数据源层中数据来源业务表之间的关系；基于spark的数据传输模块能够使用spark的dataframe写表的自动建表功能，提高数据传输效率；目标数仓为公司研发的使用经典的4层架构标准数仓。本发明全部基于内存实现，性能相比现有工具和方法更高效。本发明通用性好，基本所有数据源通过Java接口都通用。本发明针对公司内部需要针对性研发，适用于拥有标准的大数据产品及后台表结构的大数据服务公司。