一种对ETL流转数据进行统计分析的方法

摘要

本发明公开一种对ETL流转数据进行统计分析的方法,涉及数据分析技术领域；涉及了从数据采集、传输、存储及监控的完整流程，先获取ETL流转过程数据和流转信息数据，并存储至ElasticSearch数据库；通过数据对账对比原始数据与获取的流转过程数据和流转信息数据中的目标数据的一致性：对比数据总数是否相同，单条数据各个字段是否相同；同时利用数据追溯根据数据的唯一标识，通过查询ElasticSearch数据库，追溯数据完整路径；本发明方法易于实现、开发成本低、灵活多样，高可扩展，可以满足数据开发各种场景，提高数据开发人员开发效率和维护成本。