Spark平台上利用网络加权Voronoi图的分散迭代社区聚类并行化研究

摘要

针对当下数据大规模增长对计算能力需求的急剧增长,传统独立运行的机器在大规模网络社区中执行社区检测操作时无法提供所需的数据处理能力的问题,提出一种网络加权Voronoi图的并行分散迭代社区聚类法(NWVD-PDICCM).利用基于网络加权Voronoi图的分散迭代社区聚类方法(NWVD-DICCM)提取大型网络的有效社区结构.结合并行聚类方法,将DICCM方法的操作从串行过程转换为并行计算.利用执行并行社区聚类时的图分区,通过最小化从属工作者之间的通信来加速该过程.仿真实验结果表明,NWVD-PDICCM可以与一系列计算机架构平台共同运行,并且实现基于Spark平台的并行操作,相比其他几种较新的方法,在大规模网络数据处理能力方面得到显著提升.