基于ARPSO算法优化的集成极端学习机的研究与应用

摘要

虽然极端学习机（ELM: Extreme Learning Machine）收敛快、泛化性能高，但因输入层权值和隐单元阈值的随机选取，其稳定性不高。相对于单个ELM，集成ELM具有更优的泛化性能和稳定性。因标准微粒群算法（PSO: Particle swarmoptimization）易于过早熟而收敛于局部极小点，多数基于此类PSO的集成ELM性能提高仍然有限。因此，本文将多样性自适应控制的吸引排斥微粒群算法（ARPSO: Attractive and Repulsive PSO）对集成ELM进行动态优化，并进一步考虑ELM间的差异度和集成权值的优化，最后将该类集成ELM应用于基因表达谱数据分类，取得了优于传统集成ELM的性能。本文的主要工作如下:
　　(1)提出一种基于ARPSO动态优选成员ELM的集成ELM(E-ARPSOELM)。该方法利用ARPSO根据集成系统的收敛精度选出最优的成员ELM，从而提高集成系统的泛化性能。在多个Benchmark数据集上的实验结果表明，E-ARPSOELM构建的集成系统比单一的ELM和集成ELM具有较高的泛化性能和稳定性。
　　(2)在E-ARPSOELM基础上，提出两个基于ELM间差异度的集成极端学习机—单步优化的集成ELM(SO-EELM)和双重优化的集成ELM(DO-EELM)。首先利用ARPSO在能够保证集成系统的收敛精度的同时，选出差异度较大的成员ELM，以实现对集成ELM的单步优化;更进一步，对单步优选出的成员ELM，每个ELM的初始权重由最小二乘法算得，然后再利用ARPSO进一步优化，直到找到最优的权值，实现双重优化。基于ARPSO和差异度的两种集成极端学习机保证实现最优收敛性能同时，并使集成系统结构更加简洁。
　　(3)将以上提出的基于ARPSO的集成ELM应用于基因表达谱数据分类，在两个基因表达谱数据集上的实验结果表明，本文提出的集成极端学习机能够有效地实现肿瘤识别。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．2 集成神经网络国内外研究现状

1．3 集成极端学习机国内外研究现状

1．4 研究内容及章节安排

第二章 相关技术

2．1 极端学习机

2．2 集成极端学习机

2．2．1 基分类器的生成方式

2．2．2 基分类器的集成方法

2．2．3 集成极端学习机模型

2．3 微粒群算法

2．3．1 标准微粒群算法

2．3．2 吸引排斥微粒群算法

第三章 基于ARPSO的集成极端学习机

3．1 引言

3．2 算法思想及步骤

3．3 实验结果与讨论

3．3．1 数据集

3．3．2 实验结果及讨论

3．4 本章小结

第四章 基于ARPSOZ次优化的集成极端学习机

4．1 引言

4．2 算法思想及步骤

4．2．1 单次优化的集成极端学习机

4．2．2 双重优化的集成极端学习机

4．3 实验结果与讨论

4．3．1 函数逼近问题

4．3．2 分类问题

4．4 本章小结

第五章 基于ARPSO的集成极端学习机在基因表达谱数据分类上的应用

5．1 基因表达谱

5．1．1 基因表达谱的数学描述和特点

5．1．2 基因表达谱特征选择方法

5．1．3 基因表达谱分类方法

5．2 基于ARPSO的集成ELM的基因表达谱数据处理步骤

5．3 实验结果与讨论

5．3．1 数据集

5．3．2 实验结果及其分析

5．4 本章小结

第六章 总结和展望

6．1 总结

6．2 展望

参考文献

致谢

攻读硕士学位期间发表的学术论文与参与的科研项目