一种基于流水线并行的模型训练方法、装置以及设备

摘要

本说明书实施例公开了基于流水线并行的模型训练方法。包括：根据正常训练顺序对待训练模型进行切分，得到多个子切片；将正常训练顺序在前的一部分子切片划分至第一组中，构成第一子模型，将剩余的子切片划分至第二组中，构成第二子模型；将第一子模型包含的子切片分配给不同的工作方，以及将第二子模型包含的子切片分配给不同的工作方；根据调整得到的训练顺序，在被分配了子切片的工作方上为子切片分配训练时间块，训练顺序包括：针对单轮训练样本，依次执行第一子模型本周期的正向传播、第一子模型前一周期的反向传播、第二子模型本周期的正向传播、第二子模型本周期的反向传播；按照训练时间块，在多个工作方上对待训练模型进行并行训练。