一种分布式训练中参数更新方法及装置

摘要

本申请提供一种分布式训练中参数更新方法及装置，其中所述分布式训练中参数更新方法包括：接收分布式训练集群中的每个训练节点传递的梯度；根据每个训练节点传递的梯度计算训练模型的损失值并更新所述训练模型的模型参数；根据所述损失值确定模型训练的训练阶段；根据所述训练阶段对所述模型参数进行压缩，获得压缩模型参数；将所述压缩模型参数同步至所述分布式训练集群的每个训练节点，更新每个训练节点中的模型参数。本申请提供的分布式训练中参数更新方法自适应地减少了参数同步时通信量的大小，即保证了模型参数的同步效率，又保证了训练结果的精度，在进行分布式训练时，提高了模型训练的速度。