基于信息熵与粒子群优化的极限学习机研究及应用

摘要

神经网络(Neural Network)是一种黑箱模型，在不需要知道黑箱里的结构的前提下，对网络里节点之间的关系进行调整，就能够取得数据处理的效果，因而被广泛的应用于各个领域建模之中。极限学习机在2004年被提出，由于其极大地提升了神经网络的训练速率，并且泛化性能也较好，所以近些年来对于极限学习机的研究也倍受研究人员们关注。 如果直接利用极限学习机对较高维数据集进行建模，由于数据维数较高以及存在离散数据点，将导致模型复杂以及泛化精度较差等问题，所以本文提出了一种基于互信息与粒子群算法的极限学习机。通过实验仿真以及实际化工领域的应用，验证了所提方法的有效性和可行性。其中本文主要的研究内容如下: 1.首先是对神经网络、信息熵和粒子群算法的发展进行了概述，然后提出了一种利用信息熵来对极限学习机的输入进行优化的方法。通过互信息来筛选输入变量，去除了无关以及弱相关变量，然后利用熵权法来对输入变量的权重进行优化，避免了离散数据点对于网络训练精度的影响。同时利用UCI数据集对该方法进行了验证，证明了该方法的可行性。 2.提出了一种利用序贯二次规划法与Tent混沌映射的优化粒子群算法。利用序贯二次规划法在局部拥有高效的寻优性能，以及Tent混沌映射有着较好的遍历性，来提升PSO的寻优性能该算法不仅在局部或者是全局都拥有着较好的寻优能力。在群体发生早熟现象时，利用Tent映射来避免局部最优的问题。最后利用常见的Benchmark函数对算法的可行性进行了验证。 3.利用改进的粒子群算法来对极限学习机进行优化，由于极限学习机输入层到隐含层的权值是由随机得到的，采用粒子群算法来对输入权值进行寻优，提高了训练和泛化精度。并将以上方法应用于PTA化工过程建模，不仅降低了数据维度，而且提升了建模精度，从而验证了方法的可行性，对实际的化工过程建模有着一定的指导性。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景

1．2 国内外研究现状

1．2．1 神经网络的发展

1．2．2 ELM研究现状

1．2．2 粒子群算法研究现状

1．2．3 信息熵研究现状

1．3 课题研究内容

1．4 论文组织结构

第二章 基于信息熵的ELM输入变量优化算法

2．1 ELM神经网络

2．1．1 极限学习机算法

2．2 熵理论

2．2．1 信息熵

2．2．2 熵权法

2．2．3 联合熵

2．2．4 条件熵

2．2．5 互信息

2．3 基于信息熵的输入变量优化算法

2．4 实验测试

2．4．1 Breast Cancer实验测试

2．4．2 Ionosphere实验测试

2．4．3 QSAR biodegradation实验测试

2．5 本章小结

第三章 基于Tent混沌映射和SQP优化的PSO算法

3．1 粒子群算法

3．1．1 粒子群算法概述

3．1．2 早熟判断

3．1．3 LDWPSO

3．2 混沌映射

3．3 序贯二次规划法

3．4 TPSOSQP算法

3．4．1 IPSOSQP算法步骤

3．5 实验测试

3．6 本章小结

第四章 基于TPSOSQP算法的极限学习机优化

4．1 PSO优化神经网络

4．1．1 TPSOSQP优化ELM基本思想

4．1．2 TPSOSQP优化FLM算法步骤

4．1．3 粒子编码方法

4．2 基于互信息与粒子群优化的极限学习机

4．3 实验测试

4．3．1 实验设置

4．3．2 Housing数据集

4．3．3 Ionosphere(MI)数据集

4．4 本章小结

第五章 工业应用

5．1 PTA化工过程

5．2 PTA化工过程建模

5．2．1 互信息筛选输入变量

5．2．2 精度验证

5．2．3 TPSOSQP优化

5．4 本章小结

第六章 结论与展望

6．1 结论

6．2 展望

参考文献

致谢

研究成果及录用的学术论文

作者和导师简介