一种分布式处理环境下的集中式数据质量监测方法

摘要

本发明提出了一种分布式处理环境下的集中式数据质量监测方法，本申请涉及一种数据质量监测方法，尤其涉及一种分布式处理环境下的集中式数据质量监测方法，属于数据分析技术领域。根据实际监测需要配置待监测的数据灵活配置监测规则，对待监测数据进行监测，数据质量监测服务获取待监测数据后，把待监测数据集进行分块，让多个计算节点对分布式内存上的数据同时根据配置并行计算，然后将对多个计算节点上的计算结果进行汇总后生成监测结果，生成数据质量监测报告，从而辅助运维人员快速发现数据质量问题进而跟踪解决，以此提升实时数据中心平台的数据质量；解决了现有技术中存在的数据质量监测方法配置不灵活且不利于管理的技术问题。