一种用于神经网络训练的异步并行优化方法

摘要

本发明提出一种用于神经网络训练的异步并行优化方法，属于深度学习领域。该方法首先将用于训练神经网络的数据集中的数据对分配到n台计算机上；确定n台计算机的通信拓扑结构，得到每台计算机对应的发送数据和接收数据的计算机集合；每台计算机初始化各自的神经网络以及相关参数，然后对各自的神经网络进行迭代训练，每次迭代后将更新的加权参数，加权一致性变量以及总步长变量一起发送给与其通信的所有计算机；当所有计算机结束迭代训练后，任意一台计算机上最终的神经网络参数均为神经网络最终训练好的参数，神经网络优化完毕。本发明实施简单，网络训练速度快，对大规模数据集和计算机集群的扩展性好。