一种基于大数据技术的数据管理系统和方法

摘要

本申请公开了一种基于大数据技术的数据管理系统和方法，包括：数据采集模块，用于读取数据库后台日志、数据库环境变量信息及读取系统视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库系统视图，通过数据采集需求业务表分析出实时增量数据；数据转置模块，用于按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；源端元数据感知模块，用于当所述实时增量数据的表结构发生变化时，自动感知到表结构的变化，调整数据消息的版本号，通知下游的系统；监控预警模块，用于查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略；本申请能解决数据生产过程中质量问题。