基于RBF神经网络的集成增量学习方法研究

摘要

传统神经网络只能进行一次学习，不能在第一次学习的基础上实现二次学习。现实生活中不可能一次性获得所有的神经网络训练数据，所以很多学者提出了增量学习的神经网络。本文研究新增类别的增量学习，在保留已学知识的基础之上，从新样本中学习新知识。
　　为了解决增量学习网络中可塑性和稳定性的难题，本文采用集成方法进行增量学习。针对集成增量学习网络增长过快问题，本文提出了基于RBF(径向基)神经网络的集成增量学习方法。该方法每次学习新的类别知识时都训练一个RBF子神经网络，把新训练的RBF子神经网络加入到集成系统中，从而组建成一个大的集成神经网络系统，并用最近中心法确定获胜子网络，网络的结果输出由获胜子网络决定，与其他非获胜子网络无关。为了解决RBF学习过程中不同子网络核函数中心相近的问题，本文引入了SOM(自组织映射)神经网络，用训练好的SOM原型向量构建PNN(概率神经网络)，并用最大概率确定获胜子网络。基于以上两种确定获胜子网络的方法，本文又提出了最近中心与最大概率相结合的方法。由于每次增量学习只增加一个子神经网络，所以解决了集成增量学习中网络增长过快的问题。增加的获胜子网络既可以学习单类别知识，也可以学习多类别知识，从而避免了逐个类别知识学习的繁琐性。
　　最后采用UCI机器学习库中Statlog(Landsat Satellite)数据集验证了这三种方法的有效性，即在没有对已学知识产生遗忘性的基础上，实现了单类别知识和多类别知识的增量学习。

目录

封面

声明

中文摘要

英文摘要

目录

第一章绪论

1.1 课题研究的背景和意义

1.2 国内外研究现状

1.3 本文的主要研究内容

1.4 论文结构和主要创新点

第二章神经网络增量学习算法

2.1 自组织映射与概率神经网络增量学习算法

2.2选择性负相关增量学习算法

2.2.1负相关学习

2.2.2选择性负相关

2.3连续增量学习算法

2.3.1连续增量学习算法结构

2.3.2规则产生标准

2.3.3连续增量模糊神经网络算法步骤

2.4本章小结

第三章 RBF集成增量学习算法研究与实现

3.1网络结构

3.1.1 RBF网络结构

3.1.2 增量学习网络结构

3.2 RBF中心选取和参数调整

3.2.1 K-均值算法选取核函数中心

3.2.2伪逆求子网络的权值和偏置

3.3 增量学习过程

3.3.1 最近中心确定获胜子网络

3.3.2最大概率确定获胜子网络及基本相关算法

3.3.3 最近中心与最大概率确定获胜子网络

3.3.4本章小结

第四章实验及分析

4.1单类别增量学习实验

4.1.1最近中心法确定获胜子网络

4.1.2最大概率法确定获胜子网络

4.1.3 最近中心法与最大概率法确定获胜子网络

4.1.4 IMSOMPNN

4.1.5性能对比及分析

4.2多类别增量学习实验及分析

4.3本章小结

第五章 结论

参考文献

攻读学位期间所取得的相关科研成果

致谢