一种基于MapReduce的大型数据集聚类方法

摘要

本发明属于大数据处理技术领域，公开了一种基于MapReduce的大型数据集聚类方法及应用；原始数据的输入和格式转换；Canopy划分与筛选，得到初始的聚簇划分；K‑Means迭代，以Canopy聚类的结果作为初始聚簇划分；分配数据点，K‑Means迭代完成后，得到k个聚簇的完整信息。针对传统的K‑Means算法中存在的初始聚簇中心选择和迭代计算量过大的问题，提出一种基于Canopy划分和过滤的K‑Means改进算法，并在MapReduce技术框架内实现了这种算法，进行了深入的研究。结果显示这种改进算法在聚类准确率、计算开销等方面都有明显的性能提高。