基于成员分类器选择优化的集成极端学习机的研究

摘要

极端学习机（ELM：Extreme Learning Machine）因其良好的性能得到广泛的应用，且集成ELM相比于单个ELM在收敛性和泛化性能上取得更好的效果。然而ELM因随机初始化输入权值和偏置导致算法的稳定性偏低，从而直接影响到集成ELM中基分类器之间的差异度和准确率。因此，本文在初始ELM库中利用K均值算法（K-means）和锦标赛选择算子（Tournament Selection）对成员ELM进行分类和选择。并进一步将选择出的ELM集群划分为两个群体，根据群体的不同收敛特性利用多样性自适应控制的吸引排斥微粒群算法（ARPSO：Attractive and Repulsive PSO）分别对其进行优化，取得较优的性能。本文的主要工作如下：
　　（1）提出一种基于K均值算法和遗传算法的集成ELM算法—KGA-DOEELM。该算法根据ELM的输入输出权重和偏置，利用K均值聚类将初始ELM分成多个簇；在不同的簇中锦标赛选择算子根据成员ELM间的准确率和差异度双重选择出最优的成员ELM，组成新的ELM集群。在多个数据集上的实验结果表明，构建的集成系统比其他的集成ELM和单一的ELM具有较高的系统差异度，保证了系统准确率。
　　（2）在KGA-DOEELM基础上，提出基于多子群优化的集成极端学习机―M-KGA-DOEELM。该算法主要针对算法KGA-DOEELM对初期成员ELM选择后的遗漏进行补充，首先利用K均值算法将初始ELM集群分类后，锦标赛选择算子依次从不同簇中选出适应度值最优和适应度值次优的成员ELM形成两个的群体，称为最优群体和一般的群体。对于最优群体依然按照ARPSO优化的步骤进行迭代；对于表现一般的群体，在使用ARPSO优化的过程中加入收敛评价标准动态调整惯性权值，保证了算法的收敛性。实验证明基于多种群优化的KGA-DOEELM保证集成系统准确率和差异性的同时，较大提高系统的稳定性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景和意义

1.2集成学习算法国内外研究现状

1.3集成极端学习机国内外研究现状

1.4研究内容

1.5章节安排

第二章 相关技术

2.1极端学习机

2.2集成极端学习机

2.3微粒群算法

第三章 基于K-means和遗传算法的集成极端学习机

3.1引言

3.2基于K均值聚类和遗传算法的集成极端学习机

3.3 算法思想及步骤

3.4实验结果与讨论

3.5本章小结

第四章 基于多群体的KGA-ARPSO优化的集成极端学习机

4.1引言

4.2基于多群体和收敛评价标准的集成极端学习机

4.3实验结果与讨论

4.4本章小结

第五章 总结和展望

5.1总结

5.2 展望

参考文献

致谢

攻读硕士学位期间发表的学术论文与参与的科研项目