一种面向分布式机器学习的稀疏通信模型的实现方法

摘要

本发明公开了一种面向分布式机器学习的稀疏通信模型的实现方法。根据多核分布式系统底层通信特征对进程进行分组，将处于同一节点的进程分为一组，并采用二维向量保存分组信息，便于获取分组信息。针对稀疏数据特征，设计了稀疏数据的通信协议。在此基础上，实现了稀疏数据的allreduce通信算法。该通信算法根据节点数的不同及消息长度的不同选择不同的实现方法。当节点数为2的幂时，采用hier_recursive_halving算法来实现短消息的allreduce操作，采用hier_split_allgather算法来实现长消息的allreduce操作。当节点数不是2的幂时，采用hier_split_scannter算法实现allreduce操作。这三种通信算法利用层次化稀疏通信模型来减少节点间通信开销，且本发明根据稀疏数据的特征动态选择通信算法。