前馈神经网络的一种梯度-牛顿耦合学习算法

摘要

该文提出前馈神经网络的一种梯度－牛顿耦合学习算法。利用梯度算法在网络学习初始阶段误差函数下降速度快而牛顿法在学习后期收敛率高且具有二阶收敛速度的优点，充分发挥两种算法各自的特长和能弥补牛顿法在网络学习初始阶段对学习初值的敏感性和梯度算法在学习后期的震荡现象等不足。作者给出了学习速度参数在线优化、带保护的拟牛顿法、梯度－牛顿竞争法以及梯度－牛顿分段等四种方案，并分析了各自的特点。文中最后给出了实验实例，对四种方案的计算结果做出了比较说明。