一种基于高可配可变更的数据处理方法

摘要

本发明提出了一种基于高可配可变更的数据处理方法，包括：接入多数据源的高可配可变更数据；自定义处理流程的工具模板，制定业务线的处理流程；自定义处理逻辑的工具模板，执行业务线的处理逻辑；输出处理逻辑的高可配可变更数据；对输出的高可配可变更数据，采用反射机制将步骤S2的业务线的处理流程和步骤S3的业务线的处理逻辑，反射到Flink，由Flink采用实时流处理技术，代为按照处理逻辑执行业务线的处理流程；自动化处理和私有化定制数据服务，得到目标数据。本发明实现有效过滤垃圾数据以及在各系统间实时的采集，处理，存储等数据之间的互动，为各类数据、数据源已经存储位置提供高效稳定的数据支持与服务。