基于曲率信息的改进BP算法及其在FNN中的应用

摘要

针对步长选取影响误差反向传播(BP,Back Propagation)算法优化效率问题,提出一种基于曲率信息的步长优化BP算法,并将其应用到了模糊神经网络(FNN)的训练过程中。参考牛顿法的思想,根据代价函数的梯度及梯度方向上的曲率信息来确定模型参数调整的方向和幅度。仅需考虑梯度方向上的二阶信息,因此不需要存储和处理Hessian矩阵。通过一个数值仿真和高炉炼铁过程数据建模实验,验证了方法的有效性及训练效率。