一种用于分布式深度学习训练的本地更新方法

摘要

本发明公开了一种用于分布式深度学习训练的本地更新方法，具体包括以下步骤：对从参数服务器端取回的全局权重进行备份并保存到备份权重变量中；在每个计算节点中计算全局梯度；利用本地梯度和全局梯度对本地权重进行更新得到新的本地权重，并开始下一轮的迭代训练；在接下来的k‑1次迭代训练中，每个计算节点将基于各自独立的本地权重进行本地更新操作；在第k次迭代中，计算节点将执行该权重取回操作并保存到本地权重中，在完成全局梯度计算后，利用本地权重对备份权重的值进行覆盖。利用本发明进行分布式深度学习训练中的本地更新操作时，可以获得最高的模型收敛精度和训练速度。