一种数据治理实时数据质量检测系统

摘要

本发明公开了一种数据治理实时数据质量检测系统，包括HBASE数据库、配置模块、Spark检测模块、统计模块和存储模块，所述HBASE数据库用于数据增量备份表的初始化，所述配置模块配置检测任务，输入任务名称、待检测表、关联规则、任务执行的优先级，所述Spark检测模块接收来自配置模块配置的检测任务，并进行检测，所述统计模块使用自动以累加器的方式对满足检测规则的数据进行检测结果的统计。本发明可处理PB级别数据，检测数据量巨大，采用集群检测方式，响应速度较快，规则灵活支持单字段对规则与单规则多检测，内置多种检测规则，也可支持用户自定义检测，可持续自动检测已配置任务的增量数据，可出具完善的数据质量检测报告。