具有退化节点的网络上的交叉副本归约

摘要

包括在存储介质上编码的指令的方法、系统和装置，用于执行具有一个或多个退化节点的网络的梯度向量的归约。一种方法包括在以n维网络拓扑组织的多个节点中的每个节点上训练机器学习模型的相应副本，通过执行包括以下操作来组合节点中的相应各个梯度向量以生成最终梯度向量：将沿维度的每组节点指定为转发组或关键组；为每个接收节点，利用中间梯度向量更新相应各个梯度向量；对沿着维度的每个关键节点组执行归约，以生成用于关键组的相应的部分最终梯度向量，并且对于每个关键节点组，利用相应的部分最终梯度向量更新用于代表性节点的各个梯度向量。