用于机器学习模型的分布式训练的方法和装置

摘要

本公开关于一种用于机器学习模型的分布式训练的方法和装置。该方法包括：在分布式训练的预设数量次迭代步骤中，获取当前迭代步骤的次序；所述预设数量与所述N成对数关系；基于次序，从N个节点中获取一个节点作为当前节点在当前迭代步骤中的目标节点；与目标节点通信，获取目标节点共享的模型信息；根据当前节点的模型信息和目标节点的模型信息更新当前节点的机器学习模型，以在完成预设数量次迭代步骤后各节点的机器学习模型同步获得所述N个节点的模型信息。本实施例中可以保证分布式训练的收敛效率；同时，单个节点通信量可以下降到S，达到缩短通信时间的效果；另外每个节点均只与各自的目标节点来共享信息，可以保证各节点间负载均衡。