一种基于NUMA架构的大规模流式图数据更新方法

摘要

本发明公开了一种基于NUMA架构的大规模流式图数据更新方法，属于大数据技术领域。本发明对度较小的顶点，直接采用batch update方法处理更新，对度较大的顶点，根据顶点的更新代价较小原则，自适应选择调用batch update方法或beap‑based update方法处理更新，降低了检索和插入复杂度；将度较小的顶点直接存储在完全连续的直接索引，将度较大的顶点存储在独立可扩展的间接索引结构，在更新时存储结构不需要频繁动态分配空间，间接索引结构的存储页是完全连续的；将完整图数据集中的各顶点按度数依次划分到不同的NUMA Node上，并分配各顶点被划分到的Node上的CPU来处理顶点的更新数据，使得本地Node上的CPU访问本地内存来处理更新数据，尽量减少更新过程中的远程访问，来提高访问效率。