基于Spark无线城市社团发现算法的研究

摘要

针对已有的社团发现算法存在时间复杂度较高、运行过程会产生大量重复团等问题,引入二叉树的存储结构、权重排序、深度优先遍历的概念,与Spark基于内存计算的特点相结合,提出一种改进的并行化S-T-CS算法.通过搭建Spark大数据平台实现该算法,并与传统团搜索CS算法和基于Hadoop的MR-T-CS算法进行性能对比.实验结果表明,S-T-CS算法解决了生成结果冗余的问题,降低了时间代价,提升了社团发现算法的运行速度和对海量数据的处理能力.