超大规模RDF图数据的划分与并行分布处理方法

摘要

本发明公开了一种超大规模RDF图数据的划分与并行分布处理方法，包括：对原始的RDF图数据进行预处理，生成对应的哈希字典文件和整形三列表数据，并将整形三列表数据转换成关联矩阵M；建立关联矩阵M的超图模型，在该超图模型中，M的主语、谓词和宾语即为超边，与超边相关的数据即为超边数据；判断该RDF图数据是连通图还是非连通图，如果是非连通图，则将该非连通图划分为多个连通图；基于超图模型，并发的广度遍历并等分放置路径上的超边数据，将超边数据进行分类排序并等分成K份放入K个从节点上，同时建立超边数据与从节点的映射关系。本发明的划分速度快，划分质量高，数据和任务负载均衡，查询处理的并行度高、速度快。