云计算环境中k-mean大数据聚类方法应用研究

摘要

传统k-mean算法解决数据聚类问题时容易陷入局部最优,且单位时间内聚类数据的效率不高等问题,本文针对这些缺点对k-mean算法进行改进。在MapReduce框架下并行化布局k-mean聚类算法,基于分治策略将大数据集分为数据块,同时削减spill文件的合并以降低Map节点计算量输出;基于密度参数选取k-mean聚类算法的中心点,使用误差平方和确定算法聚类个数,避免数据聚类陷入局部最优。实验结果显示,该方法在聚类精度与效率方面均展现其优势,具有较强的数据聚类实际应用价值。