基于Optane DIMM的大规模图嵌入训练方法及系统

摘要

本发明提供了一种基于Optane DIMM的大规模图嵌入训练方法及系统，包括：原始图处理步骤：对原始图进行处理，生成DRAM能够加载的图数据；数据预处理步骤：将图数据根据特征进行两层图分割，将完整图拆分成子图，并存储在磁盘中，使得子图能够加载入GPU进行分区训练；图训练步骤：根据不同介质的访存特性，将训练所用的图数据存储在不同的物理介质中，根据训练过程中所依赖数据的不同特性来切割算法，采用CPU和GPU分工训练，平衡CPU计算、GPU计算以及CPU‑GPU通信三者的开销。本发明根据图的特性进行高质量的两层图分割，将大图转化为子图，存储在磁盘中，从而子图能够加载入GPU进行分区训练。