基于改进型GEP的BP神经网络优化设计

摘要

进化算法（Evolutionary algorithm,EA）与人工神经网络（artificial neural network，ANN）是两种基于自然生物理论的人工智能算法，因其在求解某些特定问题时具有的优越性能而得到了广泛的研究与应用。进化算法具有良好的全局搜索能力并且拥有较好的通用性，故而已成为机器学习、优化搜索、函数发现等领域的有力工具；而人工神经网络所具有的自适应性、非线性、并行性、鲁棒性以及学习和联想等功能使它在模式识别、信号处理、预测优化等领域得到广泛的应用。随着两种算法快速发展，其研究也不断深入，它们的应用领域也出现了一定的交叉和重叠，这两种基于生物规则的算法表现出明显的融合趋势，并俨然形成了一个新的研究领域——进化神经网络。
　　进化算法受达尔文生物进化理论启发，通过对初始种群进行选择、交叉、变异等遗传操作，从而进化得到最优的个体。基因表达式编程（Gene expression programming, GEP）是2001年Ferreira提出的一种新的进化计算算法，它可以通过简单编码解决复杂问题，克服了遗传算法（Genetic algorithm,GA）和遗传编程（Genetic programming,GP）的不足。它具有同进化算法一样的全局搜索能力，但同样很难找到局部最优解。BP神经网络（BP neural network,BP-NN）本质上是一种梯度下降法，故有较强的局部搜索能力，同时作为最早提出的训练多层网络的有效算法而得到广泛应用，但其计算量大、收敛速度慢、对初始值敏感、易陷于局部最优解。
　　针对GEP与BP各自的问题，本文深入分析两种算法的特点，通过优势互补，探讨两种算法融合的问题。首先，探讨通过GEP设计BP神经网络的编码方案，使用带有权值域和阈值域数组的染色体表示神经网络；之后，根据GEP设计神经网络的特点，对GEP标准算法的遗传操作进行自适应的改进，提出了基于动态进化GEP的BP神经网络优化算法（IGEP-BP）；同时，针对算法结合后带来的网络层次性缺失问题，进行算法的改进与分析，提出带结构域的染色体编码方案——增加结构域的GEP层次有序BP算法（GEPO-BP）；最后通过对每次改进的算法进行仿真实验验证算法的有效性。

目录

封面

声明

中文摘要

英文摘要

目录

1绪论

1.1 概述

1.2 研究的背景与意义

1.3国内外研究现状

1.4主要研究内容及组织结构

1.5本章小结

2 GEP与BP神经网络的基础理论

2.1 概述

2.2 GEP的简介

2.3 BP神经网络的概念

2.4 GEP与BP神经网络结合

2.5 本章小结

3基于GEP的BP神经网络参数优化的研究

3.1改进的GEP设计BP神经网络

3.2 IGEP-BP算法

3.3、实验验证

3.4本章小结

4基于GEP的层次有序BP神经网络优化

4.1神经网络的GEP设计方法

4.2 GEP-NN的遗传操作

4.3 层次性缺失问题

4.4 层次有序的BP神经网络算法

4.5 实验与结果分析

4.6 本章小结

5总结与展望

5.1工作总结

5.2工作展望

参考文献

附录A 本文作者在攻读硕士学位期间所发表的论文

附录 B 本文作者攻读硕士学位期间主持和参加的科研项目

致谢