一种基于MapReduce的大数据聚类集成方法

摘要

本发明公开了一种基于MapReduce的大数据聚类集成方法，包括如下步骤：步骤1，大数据切分和管理；步骤2，采用多重K的聚类集成算法生成多个基聚类；步骤3，获取集成关系；步骤4，确定最终聚类。本发明首先对原始数据进行分割，用切分好的非空小数据块代替原数据中的点集进行聚类，减少数据规模和数据处理所耗费时间。本发明采用云计算MapReduce编程模型，使得聚类过程在分布式集群上并行完成，克服了单机算法在存储和计算性能上的限制，从而有效处理大数据，不断地从中挖掘出有价值信息，为用户提供可定制性和可扩展性，并优化了算法执行效率，适用处理大数据环境下的数据处理、分析与计算，能够满足不同用户的需求。