Uber神经进化研究所:r如何利用遗传算法优化网络?

摘要

现如今,在深度学习领域中,我们通过随机梯度下降（SGD）对具有多个层和数百万个连接的深度神经网络（DNN）进行常规训练。许多人认为,SGD所具有的对梯度进行有效训练的能力是它有能力对深度神经网络进行训练的关键所在。然而,在我们新近发布的五篇论文中,我们支持这样一种新提出的观点,