神经网络学习算法中的奇点及振荡算法

摘要

以前向神经网络为基础，基于梯度下降规则，推导了ＯＩＮＮ的学习算法，说明由梯度下降规则推导出的学习算法中存在奇点。奇点经常导致学习陷入“伪局部极小”，大大影响了学习进程，奇点产生的原因是对节点特性函数的求导，对节点特性函数的修改可使算法避免奇点，提出了一种振荡算法可有效地克服局部极小。