一种实时数据多维度去重方法和装置

摘要

本发明公开了实时数据多维度去重方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：建立storm服务器集群中运行的topology，以获取实时多维度数据流；通过所述topology中的spout节点将具有相同ID的实时多维度数据流分发到同一个所述topology中的bolt节点上，以对具有相同ID的实时多维度数据流的每个维度进行去重处理。该实施方式能够解决去重过程对集群资源占用大、数据汇总延时的问题。