一种MapReduce平台上的海量高维数据聚类方法

摘要

本发明属于云计算与数据挖掘技术领域，具体为一种MapReduce平台上的海量高维数据聚类方法。该方法首先对原始数据的每一维进行分割，用切分好的非空小格代替原数据中的点集进行聚类，减小数据规模。利用MapReduce的开源实现，使得聚类过程可以在分布式集群上并行完成，克服了单机算法在存储和计算上的限制。聚类过程采用K-mediods算法的思想，并提出高效的欧式距离计算方法。本发明适用于处理海量高维数据，用户可以根据集群的计算能力、算法的时间期望以及对聚类精确性的要求对算法进行手动调整，满足了不同用户的需要。