摘要:
针对大规模、高维、稀疏的分类数据聚类,CLOPE算法相比于传统的聚类算法在聚类质量及运行速度都有很大的提升,然而CLOPE算法存在聚类的质量不稳定、没有区分每维属性对聚类的贡献度、需要预先指定排斥因子r等问题.为此,本文提出了基于随机顺序迭代和属性加权的分类数据聚类算法(RW-CLOPE).该算法在每轮迭代时,首先利用“洗牌”模型对原始数据进行随机排序,然后对随机排序的数据按加权CLOPE算法进行聚类.在每轮迭代中,无论是首轮还是后续各轮,都是取多组随机顺序数据进行聚类,并选取最优聚类作为下一轮的输入,这样几乎完全排除了输入顺序对聚类质量的影响.当聚类收益值几乎不再提升时,即收敛于一个稳定值时迭代终止,因此该算法能得到全局最优聚类.同时,根据属性维的信息熵计算各个属性的权重,以区别每维属性对聚类的贡献度,极大地提升了数据聚类的质量.最后,在高效的集群平台Spark上,实现了RW-CLOPE算法.在三个真实数据集上的实验结果表明:在不同顺序的数据集份数相同时,RW-CLOPE算法能比p-CLOPE算法取得更好的聚类质量.对蘑菇数据集,当CLOPE算法取得最优聚类结果时,RW-CLOPE比CLOPE取得高68%的收益值,比p-CLOPE取得高25%的收益值.在处理大量数据时,基于Spark的RW-CLOPE算法比基于Hadoop的p-CLOPE算法执行时间更短.计算资源充足时,随机顺序的数据份数越多,执行时间的提升越明显.