基于非线性滤波优化的前馈神经网络训练方法研究

摘要

人工神经网络技术(ANN)经过几十年的发展，其相关的理论体系也越发完善。随着研究的不断深入，其在模式识别、故障诊断、最优控制、目标追踪以及金融时序预测等领域取得了广泛的研究和应用。决定神经网络使用效果好坏的关键在于训练算法，已有的训练算法对于问题规模较小、训练数据未受噪声污染的情况能够取得较为理想的训练效果。但是在当前新形势的应用背景下，问题规模往往较大、训练数据也更易受噪声污染，传统的训练算法无论是在收敛速度还是在训练精度上均不能满足要求。非线性滤波算法作为非线性系统状态的最优估计，已经广泛应用与参数估计、系统辨识等领域，其对于噪声的适应能力强，具有全局优化的能力。经过国内外众多专家学者的共同努力，已经成功将非线性滤波算法应用于神经网络的训练，取得了良好的训练效果。本文在具体分析神经网络以及非线性滤波理论发展现状的基础上，提出了两种基于最新非线性滤波研究成果的前馈神经网络训练算法。
　　现有利用扩展卡尔曼滤波(EKF)对多层感知器神经网络进行训练的过程中，存在较大的一阶舍入误差从而影响神经网络的训练效果；利用不敏卡尔曼滤波(UKF)对多层感知器训练过程中存在参数选取复杂，容易产生非正定的问题。针对以上问题，本文首先提出了一种基于最新非线性滤波研究成果——容积卡尔曼滤波(CKF)的多层感知器训练方法。考虑到非线性滤波算法是在状态空间模型下实施的，首先将多层感知器的连接权值以及偏置节点作为状态向量，将网络的输出作为量测建立多层感知器的状态空间模型；然后利用系统的量测信息并结合 CKF算法得到连接权值向量的最优估计，从而完成网络的训练；最后通过一个典型的非线性系统方程以及Mackey-Glass时序预测对所提方法进行验证，结果表明所提训练方法相比于已有方法不仅训练精度有所提高，而且效率更好。
　　考虑到高斯-牛顿迭代策略能够充分利用已有信息来提高非线性模型参数的估计精度，本着提高已知信息的的利用率、进一步提高神经网络的训练精度为目的，提出了一种基于迭代容积卡尔曼滤波(ICKF)算法的径向基神经网络训练方法。首先详细分析径向基网络与多层感知器网络隐含层激活函数工作方式的不同；其次将径向基函数的中心节点以及输出层的连接权值共同作为状态向量建立径向基网络的状态空间模型；然后将ICKF引入径向基网络的训练；最后通过一个单输入单输入以及一个多输入多输出模型对所提方法进行验证，结果表明所提方法不仅能有效提高单输入单输出模型的训练精度，而且对于多输入多输出模型也同样适用。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文研究内容和结构安排

2 基础知识

2.1 引言

2.2 非线性系统建模

2.3 典型非线性滤波器设计与实现

2.4 典型人工神经网络结构及训练方法

2.5 小节

3 基于容积卡尔曼滤波多层感知器训练方法

3.1 引言

3.2 多层感知器结构

3.3 算法设计与实现

3.4 仿真实验与结果分析

3.5 小结

4 基于迭代容积卡尔曼滤波径向基网络训练方法

4.1 引言

4.2 高斯-牛顿迭代策略

4.3 迭代容积卡尔曼滤波

4.4 径向基网络结构

4.5 算法设计与实现

4.6 仿真实验与结果分析

4.7 总结

5 总结与展望

5.1 总结

5.2 展望

参考文献

致谢

攻读学位期间的科研成果