一种基于遗传算法的分布式参数服务器更新方法

摘要

本发明提供一种基于遗传算法的分布式参数服务器更新方法，该方法在工作节点前向传播计算出损失函数的损失值Loss后，就将损失值发送给参数服务器，参数服务器此时就可以利用损失值进行遗传算法的选择，并等待各工作节点后向传播计算出各层参数的梯度，发送回来。即利用了同步等待的时间，来根据损失值对工作节点的参数进行评估，进行一定的筛选，并使用交叉变异增加随机性，使得参数更新时不再使用所有的梯度的加和，而是对于收敛性好的工作节点的参数会保留，对于收敛性差的工作节点的参数进行丢弃。每一次迭代时同样经历一代筛选，经过多代筛选后，得到最优的个体基因型，将其对应到工作节点的梯度选用上，从而运用到参数更新中。