基于进化计算的前向神经网络学习算法研究

摘要

对复杂系统进行仿真及建模研究，一直是系统仿真领域的研究难点和研究热点。由于系统规模、环境、信息以及任务日趋复杂，系统包含严重的非线性、不确定性，不确知性和不能预测的突变性等，应用传统机理的一些建模方法，已几乎无法建立其精确的数学模型。
　　人工神经网络通过大量互连神经元之间连接权值的分布存储来表示网络的解题知识，具有并行处理、自学习和能以任意精度逼近任意非线性函数等特性。神经网络具有的这些优点使其适宜于复杂系统建模中；但神经网络在应用中还存在的一些问题，譬如网络学习局部极小，收敛速度缓慢，网络结构设计复杂及泛化性能弱等等，神经网络的这些缺陷阻碍了它在其它领域中应用。神经网络学习从本质上说是网络结构与权值的优化过程，神经网络这些局限性都不可避免地会牵涉到网络学习中的优化问题，采用传统确定性搜索方法已很难有效解决。进化计算是一类模拟生物进化过程与机制求解问题的人工智能技术。与传统优化方法不同，进化计算方法具有智能性和本质并行性两大特点，它不受对象目标函数连续可微条件约束，在一些离散、多态、含噪声的优化问题中更显示出该方法独特的优势，进化算法具有的这些优点为解决神经网络自身缺陷提供了一条全新可行途径。
　　本论文在前人工作基础上，针对前向网络在复杂系统建模中亟需解决的若干问题，深入研究了采用进化计算方法改善神经网络在系统建模中的学习性能，并相应提出了新的方法和实现策略。
　　首先，在网络结构固定情况下，针对传统BP学习方法对网络学习易陷于局部极值、学习精度不高等缺陷，提出一种基于梯度粒子群优化神经网络权值的学习方法。该方法将BP操作作为一算子嵌入到PSO算法中，采用混合交叉训练方式，在每一代进化过程中都在精英粒子附近再进行BP搜索，获得精度更高优化解，并引导群体快速进化；该方法还引入”变异“思想，对群体粒子位置不给以界限约束，而用新产生随机粒子取代飞离搜索区域粒子，减轻算法在进化后期早熟、收敛停滞的缺陷。实验结果表明该学习方法学习精度高，收敛速度快，在性能上优于常规神经网络的学习方法。
　　其次，研究了一种前向网络结构与权值并行调整优选方法。针对单一进化算法对复杂优化问题存在早熟收敛、优化效率低的问题，提出一种粒子群优化方法与实数编码遗传算法相结合的混合改进遗传算法(HIGAPSO)。该方法采用混沌序列产生初始种群、非线性排序选择、多个交叉后代竞争择优和变异尺度自适应变异等改进遗传操作；并通过精英个体保留、粒子群优化及改进遗传算法(IGA)三种策略共同作用产生种群新个体。理论证明HIGAPSO具有概率为1的全局收敛性，实验结果也表明该方法显著提高了算法优化性能及其优化解的可靠性。在此基础上，利用HIGAPSO方法并行优化前向网络结构与权值，提出一种基于混合进化策略的网络结构与权值并行调整优选方法，该方法在神经网络每互联节点连接之间还引入开关系数，由开关系数控制网络结构，并由网络连接权值参数决定网络输入输出关系，通过HIGAPSO混合算法搜索空间内优选一组最佳开关系数与权值参数组合。仿真结果表明该方法设计的网络学习精度高，结构更为节俭。
　　然后，研究了利用粒子群算法对径向基网络(RBF)的设计问题，建立径向基网络模型关键在于确定网络隐中心向量、基宽度参数和隐节点数。为设计结构简单，且具有良好泛化性能径向基网络结构，提出了一种RBF网络的两级学习新设计方法。该方法在下级由正则化正交最小二乘法与D-最优试验设计结合算法自动构建结构节俭的RBF网络模型；在上级通过粒子群优化算法优选结合算法中影响网络泛化性能的三个学习参数，即基宽度参数、正则化系数和D-最优代价系数的最佳参数组合。仿真实例表明了该方法是一种较好的RBF网络设计方法。
　　最后，将前梯度粒子群优化网络权值学习方法、基于HIGAPSO算法的前向网络结构与权值并行调整方法和RBF网络两级学习方法应用于航空领域直升机自转着陆过程旋翼转速模型中，与其它常见的网络学习方法做比较，并分析本文方法优缺点及适用场合。应用结果表明本文所提出的基于进化计算神经网络建模方法很大程度上降低了对被仿真对象先验知识要求，所建模型具有较高精度，适合于复杂系统的建模。

目录

基于进化计算的前向神经网络学习算法研究

RESEARCH ON NEURAL NETWORKLEARNING ALGORITHMS BASED ONEVOLUTIONARY COMPUTATION

摘 要

Abstract

Contents

插 图

List of Figures

表 格

List of Tables

第1章 绪论

1.1 课题背景及意义

1.2 神经网络研究背景

1.3 神经网络存在的一些问题

1.4 进化计算

1.4.1 进化计算的含义、特点和基本框架

1.4.2 遗传算法 (GA)

1.4.3 粒子群算法 (PSO)

1.5 神经网络与进化计算的结合

1.6 本文的主要研究内容

第2章 基于梯度粒子群的神经网络权值学习方法

2.1 引言

2.2 前馈网络数学基础

2.3 梯度粒子群优化网络权值学习方法

2.3.1 梯度粒子群学习算法的引入

2.3.2 梯度粒子群学习算法描述

2.3.3 梯度粒子群学习算法特点

2.4 实验算例

2.4.1 三输入异或问题

2.4.2 静态函数逼近问题

2.5 实际应用

2.6 本章小结

第3章 基于混合进化策略的前向神经网络结构与权值调整优选方法

3.1 引言

3.2 全局数值寻优的一种混合遗传算法 (HIGAPSO)

3.2.1 混合遗传算法的引入

3.2.2 改进的遗传算法 (IGA)

3.2.3 改进遗传算法与粒子群算法的结合

3.2.4 混合改进遗传算法的特点

3.2.5 收敛性证明

3.2.6 数值实验与结果

3.3 基于 HIGAPSO方法的前向网络结构与权值调整优选方法

3.3.1 带连接开关的神经网络

3.3.2 HIGAPSO算法用于前向网络结构与权值优化设计

3.4 应用实例与实验比较

3.4.1 太阳黑子数预测

3.4.2 联想记忆

3.4.3 三输入异或开关

3.5 本章小结

第4章 径向基 (RBF)神经网络一种两级学习方法

4.1 引言

4.2 RBF网络两级学习设计方法

4.2.1 两级学习设计方法的引入

4.2.2 正则化正交最小二乘法

4.2.3 正则化最小二乘法与 D-最优试验设计方法的结合

4.2.4 基于粒子群优化的 RBF网络两级学习方法

4.3 仿真实例

4.3.1 标量函数逼近问题

4.3.2 非线性时间序列建模问题

4.3.3 燃烧炉模型辨识

4.4 本章小结

第5章 直升机自转着陆过程旋翼转速建模

5.1 引言

5.2 旋翼转速建模困难

5.2.1 旋翼自转定义

5.2.2 机理方法建模的困难

5.3 旋翼转速神经网络建模方法

5.3.1 旋翼转速对象数据

5.3.2 参与建模的各前向网络设计方法

5.4 试验结果

5.4.1 各前向网络设计方法的参数设置

5.4.2 旋翼转速 RBF网络模型设计结果

5.4.3 旋翼转速 BP网络模型各设计方法学习结果比较

5.4.4 旋翼转速不同网络模型设计结果比较

5.5 本章小结

结 论

参考文献

攻读博士学位期间所发表的论文

哈尔滨工业大学博士学位论文原创性声明

哈尔滨工业大学博士学位论文使用授权书

致 谢

个人简历