分数阶神经网络学习算法的设计与理论分析

摘要

人工神经网络在模式识别、函数逼近、信号预测以及自动控制等领域都具有广泛的应用，表现出了良好的智能特性。具有万能逼近能力的单隐层前馈神经网络一直是神经网络研究的重点。基于梯度下降法的BP算法是训练单隐层前馈神经网络的最常用和最重要的算法，但是它有收敛速度慢、耗时较长等缺陷。近年来有研究者提出了一种分数阶自适应学习（Fractional Adaptive Learning,FAL）方法——分数阶最速下降法，以其快速和简单的特性得到广泛关注。为了结合这两种算法的优点，本文提出一种基于FAL法的神经网络算法，通过在神经网络梯度训练过程中引入一种特定的Caputo型分数阶微分算子，更新网络权值序列；借助微积分中值定理和不等式分析技巧，给出了FAL-BP神经网络的收敛性结论；最后，数值实验结果表明针对不同问题确实存在最优分数阶阶次。 本文的主要研究内容如下： 1.提出FAL-BP神经网络算法。在适用于激活函数和学习率的条件下，结合传统BP算法和FAL的思想，利用FAL法训练网络权值，得到了该算法误差函数的单调递减性质。 2.严格证明提出的FAL-BP算法的强（弱）收敛性。从理论的角度防止发散行为。 3.选择UCI数据集进行数值实验，对基于FAL法与基于整数阶梯度下降法的BP神经网络性能进行对比。分类数据集上的分类精度结果表明，FAL-BP神经网络有良好的泛化能力。

目录

第1章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 传统神经网络

1.2.2 分数阶神经网络

1.3 本文的研究内容及结构安排

第2章 预备知识

2.1 引言

2.2 分数阶微积分理论

2.2.1 主要定义

2.2.2 主要性质

2.3 分数阶自适应学习算法（FAL法）—分数阶最速下降法

2.4 人工神经网络

2.4.1 神经网络结构

2.4.2 单隐层前馈神经网络

2.5 BP算法

2.5.1 BP算法描述

2.5.2 BP算法流程

2.6 本章小结

第3章 FAL-BP算法

3.1 引言

3.2 算法设计

3.3 主要结论

3.4 理论证明

3.5 本章小结

第4章 FAL-BP算法数值模拟研究

4.1 引言

4.2 实验设置

（1）三种不同的分数阶导数定义下FAL-BP 算法性能的比较

（2）FAL-BP 神经网络算法

4.3 三种定义下FAL-BP算法性能比较

4.4 FAL-BP算法与整数阶BP算法对比实验

4.5 本章小结

第5章 总结与展望

参考文献

攻读硕士学位期间取得的学术成果

致谢