前向神经网络学习速率的自适应算法(英文)

摘要

学习速率是控制神经网络学习过程的一个重要参数,影响神经网络的稳定性和快速性。提出了一种能够满足实时性要求的神经网络学习速率的自适应算法,并证明了在该学习速率下,神经网络的学习过程是Lyapunov意义稳定的。该方法通过为神经网络的输出增加一个输出修正量来补偿多个未知因素对学习误差的影响,从而构造使学习误差快速收敛到零的学习速率自适应算法。通过对神经网络在线逼近一个非线性对象的过程进行仿真,结果证明了该方法的有效性。