基于解析优化方法的神经网络学习算法研究

摘要

神经网络的应用已广泛渗透到生命科学和工程科学等诸多领域，随着学习算法理论的研究逐渐深入，在智能控制、模式识别、优化计算、机器视觉和生物医学等方面取得了许多成果。然而经典的学习算法存在收敛速度慢，算法不完备、易陷入局部极小点等缺点，且难以处理大规模学习样本。鉴于此，本文将基于解析优化方法对神经网络学习算法进行研究。
　　 首先通过构造隐含层中间值的近似，将一种基于线性最小二乘的快速学习算法从单层神经网络推广到多层神经网络，数值试验表明新算法适用于大规模样本的学习，具有迭代初期学习误差下降迅速的特点，使训练速度显著提高。进而我们根据无约束优化的调比方法，通过构造新的自调比因子和共线调比因子，分别得到一类新的自调比BFGS算法和共线调比BFGS算法。我们给出了新算法的全局收敛性证明，对基于新算法的神经网络学习算法进行了数值试验和分析，结果表明新算法具有更好的性能和数值稳定性。本文最后给出了用Matlab实现的算法工具包。

目录

文摘

英文文摘

声明

1绪论

1.1论文研究背景

1.2国内外研究现状

1.3本文的研究内容

2准备知识

2.1人工神经元模型

2.2多层前向神经网络的拓扑结构

2.3无约束最优化方法概述

3基于线性最小二乘的快速学习算法

3.1单层神经网络快速学习算法

3.2多层神经网络快速学习算法

3.3数值试验

3.3.1 XOR问题

3.3.2字母LT识别问题

3.3.3 Lorenz时间序列问题

3.4分析和讨论

4基于自调比方法的神经网络学习算法

4.1自调比方法的动机

4.2自调比方法的推导

4.3收敛性分析

4.4数值试验

5基于共线调比方法的神经网络学习算法

5.1共线调比方法改进的原因

5.2收敛性分析

5.3数值试验

5.4分析和讨论

6结论和展望

致 谢

参考文献

附 录：攻读硕士学位期间发表的论文和出版著作情况