基于Hadoop平台Canopy-Kmeans聚类算法优化改进研究

摘要

在分析Hadoop平台架构和Canopy-Kmeans聚类算法的基础上,对Canopy-Kmeans算法进行了并行化优化改进,通过统计学思维对数据分组抽样后聚类以方便并行化和降低时间复杂度,利用最小最大原则优化Canopy初始中心点选取,用数据异度均值抽样法保证从原数据中均匀提取数据样本,并对Kmeans迭代计算过程进行优化.结合Hadoop平台下MapReduce框架将改进算法进行并行化设计实现.实验表明,对海量数值数据进行聚类时,改进的Canopy-Kmeans并行算法是有效的 、收敛的,在聚类准确率和时效性上都有一定程度的提升.