基于粒子群与模拟退火算法的BP网络学习方法研究

摘要

随着智能进化算法的发展，神经网络学习方法得到了越来越广泛的应用。作为一种重要的前馈神经网络模型，反向传播(BackPropagation，BP)神经网络是一种按误差反向传播算法训练的多层前馈网络。该网络在实际应用中具有较好的大规模非线性数据并行处理和容错能力。作为BP神经网络的基本学习算法，BP算法是神经网络中最常用、最有效的一种学习方法。尽管BP神经网络具有很多显著的特点，但是在实际应用中往往存在一些固有的缺陷:训练收敛速度慢，学习算法容易陷入局部极小，网络泛化能力较弱等等。针对BP神经网络及算法的这些缺陷，各种改进的模型与算法也相继被提出。利用粒子群和模拟退火等进化算法进行BP网络的训练与学习得到越来越多研究者们的关注。这些算法大多是直接利用这些进化算法进行网络参数的训练，而忽略了BP算法本身的误差反向传播的特点。本文在当前基于粒子群和模拟退火等进化算法进行BP神经网络模型及算法的分析与研究的基础上，对神经网络的学习算法进行了研究。本文的研究主要是在传统利用进化算法进行BP网络学习的基础上引入误差反向传播的优化机制，从而提高传统单一优化算法的优化能力，提高BP网络的学习和泛化能力。主要包括基于粒子群优化与BP算法的网络参数协同训练，混合利用粒子群与BP算法进行网络学习，混合利用粒子群与模拟退火算法的BP网络学习方法。
　　 本文的主要工作与创新点如下:
　　 (1)针对标准BP算法收敛速度慢和易陷入局部极值等局限以及传统的利用粒子群优化算法进行BP网络训练时并没有考虑到网络参数训练过程中的误差反向传播等问题，提出一种基于误差反向传播的粒子群优化BP神经网络学习算法。该算法综合考虑了粒子群优化算法和BP算法的优点，在传统的基于粒子群优化网络连接权值与阈值的基础上，进一步引入了BP算法中的误差反向传播机制进行网络参数的训练，提高了BP神经网络的学习和泛化能力。将所提方法应用于复杂函数的拟合仿真实验，实验结果表明，所提方法相比于标准的BP算法和传统的基于PSO优化的BP网络学习方法具有更快的收敛精度。
　　 (2)针对传统基于粒子群优化BP算法在搜索问题的最优解的过程中，往往由于粒子“聚集”产生“早熟”现象而导致算法陷于局部极值等问题。通过利用BP算法实现对“早熟”粒子进行扰动，提出了一种基于粒子群优化算法与BP算法相混合的神经网络参数更新方法。该混合算法通过在传统的基于粒子群优化网络参数更新的基础上进一步利用BP算法对粒子的自身极值与群体的全局极值进行更新，从而一定程度上克服了粒子“聚集”现象的发生，提高了网络的收敛速度并增强了混合算法跳出局部极值的能力。仿真实验表明，相比于单一的网络学习算法，所提混合算法具有较强的学习能力。
　　 (3)针对传统基于粒子群优化的BP网络训练算法在搜索问题的最优解的过程中存在易陷于局部极值等不足，提出了利用粒子群优化与BP更新方法相混合的网络学习方法。该混合算法在网络连接权值与阈值优化更新的过程中，同时采用粒子群优化和BP更新操作进行网络连接权值与阈值的更新，并通过最优选择方式实现两种更新操作的融合。所提混合算法较好地克服了粒子群优化算法中粒子“聚集”现象的产生，增强了网络跳出局部极值的能力。将该算法应用于4个典型复杂函数的仿真实验，并与标准BP算法以及传统的基于粒子群优化BP网络算法的仿真结果进行比较。结果表明所提的BP网络学习算法的性能优于其他两个BP网络优化算法。
　　 (4)在基于粒子群与BP算法的网络参数协同更新的基础上，进一步考虑具有全局特点的模拟退火算法的概率随机搜索优化策略，给出一种基于模拟退火和粒子群混合算法的BP网络优化方法。该算法在网络参数优化更新过程中，通过定义的粒子适应度函数的值来判断新解的优劣性并以较大概率接受优解，以较小概率接受劣解，从而保证了粒子群中粒子的多样性，进一步提高了算法的全局搜索能力。将该算法应用于4个典型复杂函数的仿真实验，结果表明所提的BP网络学习算法的性能优于其他两个BP网络优化算法。

目录

声明

摘要

第一章 绪论

1．1 本课题的研究背景

1．1．1 人工神经网络的发展历史

1．1．2 人工神经网络的特点

1．1．3 BP神经网络的国内外研究现状

1．2 本课题的研究意义

1．3 本文的工作与安排

第二章 相关工作

2．1 BP神经网络概述

2．2 BP算法及其改进

2．2．1 标准BP算法概述

2．2．2 BP算法的实现

2．2．3 BP算法的一些改进

2．3 粒子群优化算法

2．3．1 粒子群优化算法概述

2．3．2 基本粒子群优化算法及改进

2．3．3 标准粒子群优化算法实现

2．4 模拟退火算法

2．4．1 模拟退火算法基本理论

2．4．2 模拟退火算法实现

2．5 本章小结

第三章 基于粒子群优化与BP协同算法的神经网络学习方法

3．1 引言

3．2 基于PSO迭代优化与BP更新算法的网络权值调整

3．2．1 BP网络权值更新

3．2．2 基于PSO迭代优化的权值更新

3．2．3 基于PSO-BP协同算法的网络权值更新

3．3 基于PSO-BP协同算法的网络学习方法

3．4 实验与分析

3．4．1 测试函数与参数设置

3．4．2 实验结果与分析

3．5 本章小结

第四章 基于粒子群优化与BP混合算法神经网络学习方法

4．1 引言

4．2 局部收敛与极值扰动

4．3 PSO-BP混合算法Ⅰ

4．3．1 算法描述

4．3．2 算法流程

4．3．3 实验与分析

4．4 PSO-BP混合算法Ⅱ

4．4．1 算法描述

4．4．2 算法流程

4．4．3 实验与分析

4．5 本章小结

第五章 基于模拟退火与PSO-BP协同算法的网络学习新方法

5．1 引言

5．2 PSO-BP协同算法的网络参数更新

5．3 SA-PSO-BP网络学习算法

5．3．1 算法描述

5．3．2 算法流程

5．4 实验与分析

5．4．1 测试函数与参数设置

5．4．2 实验结果与分析

5．5 本章小结

第六章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的学术论文

攻读硕士学位期间参加的科研项目