基于多表达式编程的神经网络自动优化方法及其应用研究

摘要

人工神经网络由于其强大的学习、并行处理、自组织和自适应能力和容错性，近年来已经成功的应用于科学研究和工程领域，如函数逼近、模式识别、分类、预测和控制等领域。但是，神经网络的性能是高度依赖于它的网络结构和参数的，对于同一个问题的解决，可能存在多个结构不同且性能不同的神经网络。根据具体的问题，所设计的神经网络可能是多个隐含层和输入输出层，每个神经元的激励函数可以是不同的，但是有些时候则可能是输入层和输出层直接连接而没有中间层。设计一个神经网络的最大问题就是给定一个具体问题如何寻找与之相适应的网络结构和相关参数。 近年来，进化算法作为一种基于自然选择原理的启发式搜索算法已经被人们用来优化神经网络。不同于传统搜索算法的是，进化算法可以启发式的同时搜索问题空间里的多个解而因此增大找到全局最优点的可能。本文研究的计算模型就是基于一种树结构的进化算法—多表达式编程的神经网络的自动设计，它可以同时优化神经网络的网络结构和参数。本文提出一种使用多表达式编程来线性的表示神经网络并可以采用进化原理进化出最优结构和参数的神经网络的算法，我们将这种模型称为多表达式神经网络。 多表达式神经网络可以看作是一种采用树形结构和一组运算符集合构成的非常规神经网络，可用于解决许多分类与预测问题。多表达式编程自动设计的神经网络与普通神经网络相比具有如下优点：层与层之间的连接不必是完全的并且允许跨层连接的存在、隐含层和输出层的非线性神经元具有不同的或可变的激励函数、神经树通过与环境的交互具有自动选择输入变量或降低输入空间维数的功能。 本文系统地介绍了人工神经网络、多表达式编程、进化神经网络和柔性神经树的基本理论、构成和实现方法，在总结前人研究的基础上，提出了使用多表达式编程技术自动设计神经网络的方法以及其应用研究。具体内容如下： (1)对神经网络的基本理论进行了详细的综述。首先概述了神经网络的特点、产生和发展历史，着重介绍了神经网络的基本思想、研究领域和应用发展情况，然后从理论和应用研究上综述神经网络的研究现状，总结了神经网络设计中的难点问题。 (2)介绍了多表达式编程算法。首先概述了进化算法的基本思想，重点介绍了遗传编程的基本理论，然后阐述了多表达式编程和改进的多表达式编程模型的定义和实现方法。 (3)研究了进化神经网络和柔性神经树的特点和实现方法，在此基础上提出了基于多表达式编程的神经网络的自动设计，改进了柔性神经树无法同时优化结构和参数的缺点。 (4)将多表达式编程自动设计的神经树模型应用于时间序列预测和分类预测等领域。各种仿真实验，如股票指数预测，外汇汇率预测和基因微阵列分类预测等实验的结果都表明多表达式编程自动设计的神经网络模型比标准神经网络模型的预测结果更具有效性和可靠性。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2研究背景

1.3论文内容安排

第二章神经网络及其理论基础

2.1概述

2.2神经网络的特点

2.3神经网络的基本理论

2.3.1神经元模型

2.3.2神经网络的结构

2.3.3神经网络的学习算法

2.4神经网络的设计

第三章多表达式编程算法及其理论基础

3.1遗传编程技术

3.1.1进化算法

3.1.2遗传编程

3.2多表达式编程技术

3.2.1多表达式编程技术的概述

3.2.2多表达式编程的基本原理

3.3多表达式编程与GP、GEP的比较

3.4改进的多表达式编程技术

3.5基于多表达式编程技术的汇率预测

3.5.1汇率预测问题

3.5.2 MEP汇率预测的实验结果及分析

第四章基于多表达式编程的神经网络自动优化

4.1进化算法优化神经网络

4.1.1直接编码

4.1.2发展编码

4.2神经树的基本理论

4.2.1神经树的编码和表示

4.2.2适应值函数

4.2.3神经树的进化算法

4.3基于多表达式编程的神经网络自动优化

4.3.1 MEP-NN的编码和表示

4.3.2 MEP-NN的初始化

4.3.3 MEP-NN的进化操作

4.3.4 MEP-NN的特征选择特性

第五章基于免疫编程的多表达式编程神经网络

5.1免疫编程的基本思想

5.2多表达式编程神经网络的进化过程

5.3经济数据预测仿真实验

5.3.1股票指数预测

5.3.2汇率预测

5.4分类预测仿真实验

5.4.1桥梁故障诊断

5.4.2基因微阵列数据分类

第六章基于集成学习的多表达式编程神经网络

6.1集成学习的基本原理

6.1.1个体生成方法

6.1.2集成合成方法

6.2基于集成技术的分类仿真实验

第七章总结和展望

参考文献

致谢

攻读硕士期间发表论文目录