增量机器学习算法研究——基于模糊神经网络的增量学习

摘要

随着网络的发展，许多应用领域获取新的数据变得很容易。但是对于传统的批量学习技术来说，如何从日益增加的新数据中得到有用信息是一个难题。随着数据规模的不断增加，对时间和空间的需求也会迅速增加，最终会导致学习的速度赶不上数据更新的速度。机器学习是一个解决此问题的有效方法。然而传统的机器学习是批量学习方式，需要在进行学习之前，准备好所有的数据。为了能满足在线学习的需求，需要抛弃以前的学习结果，重新训练和学习，这对时间和空间的需求都很高，因此，迫切需要研究增量学习方法，可以渐进的进行知识更新，且能修正和加强以前的知识，使得更新后的知识能适应新增加的数据。
　　 本文分别对奇异值分解和模糊神经网络的增量学习进行了深入地研究和探讨，主要工作及贡献如下:
　　 1.提出无协方差的增量奇异值分解
　　 传统的奇异值分解(Singular Value Decomposition:SVD)采用批量计算方法，需要在计算之前将所有数据准备好，因此无法满足在线处理需求。本文提出了一种无协方差奇异值分解（Candid Covariance Incremental Singular Value Decomposition: CCISVD）方法。该方法通过当前样本估计样本协方差阵，提出了从顺序到达的样本中增量求取协方差阵的第一个特征向量的方法，从而避免了样本协方差阵的求解，从理论和直观上分析了该方法的可行性。在求解其他特征值的过程中，从当前估计的特征向量的补空间中寻找样本，从而始终保证了求取的特征向量的正交性，节约了时间和空间成本。
　　 2.提出免修剪连续增量学习模糊神经网络模型
　　 模糊神经网络的结构识别很耗时。为了避免产生冗余规则，通过把修剪策略引入模糊规则的增加过程来提高学习效率，本文提出一种免修剪增量连续学习算法，利用误差下降率，来定义规则对系统的输出贡献，作为规则的增长标准，从而在规则的增长过程中避免产生冗余规则。同时，由于计算规则对系统的输出贡献是根据当前输入数据，从而实现了增量学习。
　　 3.提出优化修剪的增量极速学习模糊神经网络算法
　　 ELM（Extreme Learning Machine）是为训练单层前馈人工神经网络（Singular Layer Fuzzy Neural，SLFNs）的一个简单而有效的学习算法，该网络的神经元随机产生。理论和实验都表明ELM准确而快速。为了能实现在线增量学习，本文对ELM进行了扩展。该算法中，模糊规则的前件参数和初始规则数量随机产生，然后使用SVD对规则按照重要性排序，通过留一法(Leave-One-Out; LOO)选择出最佳的模糊规则数，最后模糊规则的后件参数通过基于风险最小化分析计算得出。仿真实验结果表明，与其他算法相比有较好的鲁棒性，在准确率和计算速度上都具有优势。
　　 4.提出基于规则影响的自适应增量模糊神经网络模型
　　 在模糊神经网络中，一个模糊规则可能初始时比较活跃，之后慢慢变得对系统的贡献很小。本文提出一种基于规则影响的增量学习模糊神经网络(Self Adaptive Incremental Learning-Fuzzy Neural Network)，引入模糊规则影响的概念，基于当前数据计算模糊规则对系统输出的影响，作为模糊规则增长或删除的标准。并且将规则的增长标准同系统的准确性联系起来，只有该模糊规则对系统的贡献值大于某个阈值，才考虑增加一条新规则，同时还检测已有规则库中规则对系统的影响值，如果低于某个阈值，说明该规则已经变得不再活跃，则删除该规则。无论是新增规则还是已有规则都通过扩展的卡尔曼算法更新参数。通过仿真实验表明该方法能获得比其他高代价的技术更简单的结构、更短的训练时间和较好的泛化性能。
　　 5.基于增量模糊神经网络和小波的人脸识别
　　 为了能提高样本质量从而提高识别准确率，本文提出一种新的提取人脸图像特征的方法。首先使用Harr小波对人脸进行分解，小波变换后的高频部分是人脸很重要的特征，这部分将作为人脸特征向量保存起来。然后使用Fisher线性鉴别分析(Fisher Linear Discriminant，FLD)对低频子图进行再次降维。降维后的向量和保存的高频部分特征向量连合起来作为模糊神经网络的训练样本，使用本文提出的自适应增量模糊神经网络学习算法训练网络。仿真实验表明，这种经过预处理后学习的模糊神经网络，其识别率高于不使用Harr做预处理的网络。

目录

声明

摘要

1 绪论

1．1 课题的研究背景及其意义

1．2 增量奇异值分解和增量学习模糊神经网络的研究现状

1．2．1 增量SVD研究现状

1．2．2 模糊神经网络概述

1．2．3 模糊神经网络增量学习研究现状

1．3 本文研究工作概述

1．4 本文的内容安排

2 无协方差增量奇异值分解

2．1 引言

2．2 奇异值分解SVD概述

2．3 增量奇异值分解

2．3．1 AAT第一个特征向量计算

2．3．2 求解特征值算法的直观解释

2．3．3 其他特征向量求解

2．3．4 特征值相等情况

2．4 增量奇异值分解及其算法总结

2．5 实验结果及分析

2．6 本章小结

3 免修剪的增量连续学习模糊神经网络

3．1 引言

3．2 PFISL-FNN结构

3．3 PFISL-FNN学习算法

3．3．1 规则产生标准

3．3．2 参数调整

3．3．3 完整的PFISL-FNN算法

3．4 实验结果与分析

3．4．1 实验1：Hermite函数逼近

3．4．2 实验2：非线性动态系统识别

3．4．3 实验3：Machey-Glass time时系预测

3．5 本章小结

4 优化修剪增量极速学习模糊神经网络

4．1 引言

4．2 ELM学习算法简介

4．2．1 具有RBF核的SLFNs一致逼近

4．2．2 RBF逼近问题

4．2．3 RBF标准最小二乘解

4．3 OPIEL-FNN算法描述

4．3．1 OPIEL-FNN模型

4．3．2 修剪ELM

4．4 实验结果与分析

4．4．1 实验1：非线性动态系统辨识

4．4．2 实验2：一个函数

4．4．3 实验3：时间序列预测

4．5 本章小结

5 基于规则影响的自适应增量学习模糊神经网络

5．1 引言

5．2 SAIL-FNN网络结构

5．3 SAIL-FNN算法

5．3．1 模糊规则影响

5．3．2 SAIL-FNN算法

5．4 实验结果与分析

5．4．1 Hermite函数逼近

5．5 本章小结

6 基于增量模糊神经网络和小波的人脸识别

6．1 引言

6．2 二维Harr小波变换

6．2．1 小波变换

6．2．2 使用小波变换做图像预处理

6．3 Fisher线性判别分析(FLD)

6．4 增量模糊神经网络分类器设计和图像识别

6．4．1 增量模糊神经网络分类器设计

6．4．2 图像识别过程描述

6．5 测试结果分析及结论

6．5．1 实验结果分析

6．5．2 结论

7 结束语

7．1 工作总结

7．2 工作展望

致谢

参考文献

附录