一种面向大规模流数据的分布式聚类方法及系统

摘要

本发明涉及一种面向大规模流数据的分布式聚类方法及系统，通过构造时序化的微批式增量计算模型及基于多维划分的并行化方法，实现了可以对典型流式聚类算法进行并行化的分布式系统框架，解决了当前流式聚类分析算法难以并行化、吞吐率低的问题。通过真实的数据集对本发明进行聚类质量、吞吐率和扩展性测试，结果表明基于本发明的系统实现的流式聚类算法可以随着集群规模增长，达到亚线性的吞吐率提升，且保持与标准单机流式聚类算法相近的聚类质量，同时比其他并行化方式(如无序更新方式)实现的流式聚类算法在聚类质量方面提升2.5倍、吞吐率方面提升1.9倍。因此，本发明能够满足大规模高流速数据所需的低延时、高吞吐率的数据聚类分析需求。