基于Spark GraphX的异构网络社区检测

摘要

大多数社区检测任务仅适用于小型数据集,未能考虑大数据的快速并行处理.文中提出并改进了一种基于Spark GraphX的异构网络社区检测方法,解决了大型网络数据的并行性问题.其次,改进和优化了用于异构网络中社区检测的RankClus算法,将改进后的基于SparkGraphX的算法进行并行优化.最后给出了并行算法的实验结果,比较了不同的实验结果,证明了该方法的有效性和适用性.