一种深度神经网络模型的数据并行训练方法、装置及设备

摘要

本发明公开了一种深度神经网络模型的数据并行训练方法、装置、设备及计算机可读存储介质，该方法包括：第一处理器向每个第二处理器发送当前模型参数和各自对应的当前训练数据，以使每个第二处理器根据当前模型参数和各自对应的当前训练数据对预设深度神经网络模型进行训练；本发明通过根据存储的预设数值的梯度数据更新当前模型参数，来减少计算梯度使用的权重参数的陈旧性问题；并且不需要等待所有第二处理器均完成一次训练，当前第二处理器完成训练后，可以立即返回获取下一个batch的训练数据进行下一轮训练，从而提高了DNN模型的数据并行训练的整体训练效率，降低了DNN模型训练所需的总训练时间，提升了用户体验。