一种基于分布式计算平台改进的k均值聚类方法

摘要

本发明公开了一种基于分布式计算平台改进的k均值聚类方法，针对海量数据处理慢的问题引入了分布式计算平台Spark的，针对迭代次数过多的问题，引入卡洛斯卡尔算法，针对没有考虑向量各特征间的相关性，引入谷本距离。首先，通过克洛斯卡尔算法来对随机选取的k个点来构造最小生成树并求出对应的权值和，重复n次，然后按照这n次得到的权值和，从中选取出最大的权值和并且确保由k个点组成的边之间的距离值相差不大，这样可以保证簇心相对均匀分布，最后使用经谷本距离改进后的k均值算法进行聚类运算。