Spark-GraphX框架下的大规模加权图最短路径查询

摘要

最短路径问题一直是计算机等学科的热点研究问题,常应用于社交网、交通网等诸多领域.图规模爆炸式的增长导致传统单机环境下的存储、查询已无法满足大规模图的处理需求.提出一种基于Spark-Graph X平台的大规模图最短路径查询方法(LSGSP-SG):首先利用经典算法对大规模图进行分割并标记,将割点的信息记录在文本文件中,然后利用大数据平台Spark的Graph X框架进行迭代式分布计算并进行各个计算机节点的消息通信及同步,最后返回最短路径查询结果.