基于ETL的轻量化自定义源数据分解读取系统和方法

摘要

本发明公开了一种基于ETL的轻量化自定义源数据分解读取系统和方法，该系统包括：源数据库，用于存储原始数据；第一至第N自定义ETL工具，用于对源数据库中的第一至第N自定义内容对应的数据进行清洗和统计，然后将经过清洗的数据和统计结果存入数据仓库；N大于等于2；数据仓库，用于存储经过数据清洗的数据和统计结果，以及为数据分析系统提供经过清洗的数据和/或统计结果。本发明通过多个自定义ETL工具对元数据进行分解读取，然后分别进行数据清洗和统计，简化了传统ETL技术的体系结构，不仅便于维护还优化了系统的数据处理性能，同时，本发明具有更好的扩展性。本发明可以广泛应用于数据处理技术。