Ada_Nesterov动量法——一种具有自适应学习率的Nesterov动量法

摘要

Nesterov动量法可以很好地改进梯度下降方向,但是其所有参数都具有相同的学习率,并且学习率需要人为设定。Adadelta算法可以自适应学习率,并且每维参数具有独立的学习率。因此,本文首先基于Adadelta算法推导出每一维的学习率公式,其次将其带入Nesterov动量法中,得到了Ada_Nesterov动量法。为了验证提出的Ada_Nesterov动量法,本文设计了两个实验。实验结果表明:动量参数0.5时,Ada_Nesterov动量法在VggNet_16神经网络架构上,基于CIFAR_100数据集的验证准确率最高,损失最小,收敛速度最快。即Ada_Nesterov动量法改进了Nesterov动量法,具有自适应学习率。