一种基于分布式流计算引擎Flink的关键字段实时去重方法

摘要

本发明实施例公开了一种基于分布式流计算引擎Flink的关键字段实时去重方法。该方法包括：接收目标数据，并基于配置文件确定目标数据中的至少一个待去重关键字段；其中，目标数据为结构化数据；配置文件中包括与目标数据匹配的待去重关键字段；基于加密算法对各待去重关键字段进行加密确定加密数据；基于Flink设置计时器，以计时器中的起始时间为起始时间点，在计时器中的去重持续时间内，采用布隆过滤器对加密数据进行去重。通过执行本方案，可以实现对海量数据的关键字段进行高效地实时去重，可以节约存储空间，提高数据处理效率。