面向大规模图挖掘的分布式网络表示学习方法

摘要

本发明涉及面向大规模图挖掘的分布式网络表示学习系统，其中包括三种分别用于减少内存开销、加速模型训练和提高通信效率的核心优化技术，属于计算机大数据分析技术领域。该系统以多进程的方式运行在集群中，按照性质将进程区分成客户端和服务端：客户端负责数据加载以及与服务端进行交互，而服务端负责存储特征矩阵和处理客户端的计算请求。本发明解决了分布式网络表示学习过程中内存占用大和传输数据量较大的问题。特别地，本文详细描述了基于数据块的边抽样方式、特征矩阵的列划分技术以及基于内积离散化和状态记录的高效通信机制。本发明具有训练速度快、内存占用小、特征表达能力强和能处理大规模图数据的特点。