基于NAG的BP神经网络的研究与改进

摘要

针对当前BP神经网络存在的问题,在NAG(Nesterov Accelerated Gradient)动量更新的基础上,建立基于黄金分割比梯度动量GNAG(Golden ratio Nesterov Accelerated Gradient)更新策略.并把黄金分割比运用到隐含层神经元的确定上,进一步提高了BP神经网络的性能.将该算法应用于MNIST手写字体识别,得到了较好的收敛速度和预测评估结果.应用实例表明,基于黄金分割比梯度动量更新策略的BP神经网络收敛速度更快,泛化能力更强.