基于改进共轭梯度理论的神经网络优化算法研究

摘要

本文阐述了一种改进共轭梯度的神经网络优化算法.该方法是在传统共轭梯度算法(CG)基础上引入对输出权值进行优化的理念,故称其为输出权值优化共轭梯度算法(OWO-CG).这种算法在进行学习时,首先根据误差函数利用共轭梯度法计算收敛因子,并修改输入层和隐含层的权值因子;接着,计算隐含层输出函数,利用相关输出权值优化理论构建并求解线性方程组得到输出层的权值因子;最后,计算误差函数,利用该算法不停地修正神经网络回路输出值与期望输出值之间的差值,直到满足精度要求为止.仿真验证结果表明,与传统共轭梯度算法相比,这种算法的学习过程更加迅速和准确.