神经网络二阶参数求解算法探究

摘要

自从Hinton等学者提出BP反向传播理论后，随机梯度下降法就成为了求解全连接神经网络、长短期记忆神经网络以及卷积神经网络等神经网络的常用方法。虽然收敛速度为Q-liner的随机梯度下降法能够求解出理想的参数值，但是该算法往往需要较多的迭代次数才能获得最优的参数值。为了让神经网络的求解算法在迭代较少次数内收敛，我们需要采用收敛速度更快的算法。 本文首先介绍了全连接神经网络的基本结构和神经网络的逼近理论。这为神经网络的后续研究提供了坚实的理论基础。 第二章，本文介绍了最速梯度下降算法、Newton算法、共轭梯度及SESOP算法，并对比了它们的收敛速度。 第三章，针对于全连接神经网络的特定结构，我们类似于BP算法提出了二阶局部Hessian阵与二阶局部偏导的概念，并给出了其反向传播公式。最后，我们提出了收敛速度更快的Damped-Gauss-Newton算法和SESOP算法。 第四章，我们利用网络公开的MNIST数据集验证了我们提出的两种算法在收敛速度上要优于BP算法。 第五章，我们对本文提出的算法论述了研究展望。

目录

声明

摘要

1全连接神经网络

1．1神经网络的基本结构

1．2神经网络的逼近理论

2非约束问题优化算法及其收敛速度

2．1非约束问题优化算法

2．1．1最速梯度下降法

2．1．2 Newton方法

2．1．3共轭梯度算法与SESOP算法

2．2算法的收敛速度

2．2．1最速梯度算法

2．2．2 Newton算法

2．2．3共轭梯度算法与SESOP算法

3神经网络参数的二阶求解算法

3．1二阶BP反向传播公式

3．2 Newton算法

3．3改进的Damped-Gauss-Newton算法

3．4 SESOP算法

4 MNIST数据集实验

5研究展望

参考文献

附录

致谢