集群系统中数据处理方法及装置

摘要

本发明实施例对接收的数据流进行重复数据查询的时候，会根据代表数据流的第一特征值，确定每个第一特征值在所述集群系统中对应的第一物理节点，然后将代表数据流的第一特征值发送到确定的物理节点上进行重复数据查询，重复数据的查询流程不会因为集群系统中节点数的增加而改变，因此不会因为集群系统中节点数的增加而使每个节点的计算量也随之增加。