基于Flink的实时数据质量检测方法及系统

摘要

本发明公开了基于Flink的实时数据质量检测方法及系统，属于数据质量检测领域，本发明要解决的技术问题为如何实现大批量有界或无界数据流的实时数据质量检测，丰富的时间语义支持，保证数据处理的实时性，采用的技术方案为：该方法具体如下：配置质量检测规则；配置Flink窗口配置；选择待检测的数据源、数据表及待检测字段，并为待检测字段配置相应的检测规则；将待检测数据源与检测规则以及Flink窗口配置完成后，形成一条任务，并将该任务发送到任务调度中心进行统一调度；调度中心管理并调度质量检测任务，任务被触发后调用Flink数据处理模块执行实际的数据质量检测。该系统包括规则定制模块、任务配置模块、任务调度模块、Flink数据处理模块及调度中心。