基于进化计算和模糊聚类技术的多分类器联合研究

摘要

多分类器联合，又称多分类器组合、多分类器集成，在模式识别研究中，该技术可以显著地提高模式识别的性能，受到研究人员的极大关注。研究人员已经提出了很多分类器集成方法，且成功应用于多个领域。 多分类器集成旨在充分发挥每个成员分类器在各自分类性能上的优势，获得比单个成员分类器都要高的分类识别率。多分类器集成利用了不同分类器之间的互补性，提高集成后分类器的性能。一般通过两种手段达到提高多分类器集成性能的目的：提高成员分类器的分类性能；增加成员分类器的多样性。传统获得多分类器集成多样性的方法仍然存在如下缺陷：其一，在创建成员分类器时，没有充分挖掘训练样本的分布特征所蕴藏的有价值信息；其二，没有很好的选择标准选取成员分类器。研究表明，个体分类器的性能与集成分类器的性能之间没有必然的联系。另外，在选择成员分类器时必须同时考虑分类器的准确度和多样性，但这两者之间通常是相互矛盾的；其三，各成员分类器在多分类器集成中所承担的角色是固定的，并不根据数据集的不同采用不同的集成方式。这样处理可能对某一类数据集提高了识别率，而对另一类起到相反作用。为实现集成分类器的最佳性能，需要根据识别对象挑选适当的成员分类器，同时也需要根据不同的识别对象采用不同的集成方式。 本文研究在保证单个分类器高性能的情况下，如何实现成员分类器的多样性。在实现多样性方面充分考虑利用训练样本集分布特征，达到既提高成员分类器性能，又实现多样性的目的。本文的创新性研究成果主要有： 1、提出了一种自适应策略梯度算法(APG)。该算法将进化策略中的自适应偏转变换技术应用于进化博弈论，在寻找到一个纳什均衡以后，对目标函数进行偏转，再次搜索，实现获得多个纳什均衡的目的。在GAMBIT实例集包括的一系列基准博弈问题上进行验证，并与协方差矩阵适应性进化策略(CMA)和粒子群优化(PSO)算法进行对比，结果表明APG算法能够对博弈的所有纳什均衡进行有效、快速的搜索。 2、提出一种基于模糊聚类的多分类器集成算法(FuzzyBoost)。将模糊聚类技术应用于训练样本集，学习训练样本分布特征，提出信息熵的概念，并依据信息熵对训练样本采样，生成多样性训练样本集，从而实现成员分类器的多样性，提高分类性能。我们以Weka软件作为平台实现了算法，并在20个特征不同的数据集上进行实验，结果表明，FuzzyBoost与AdaBoost和Bagging算法相比，具有更高的分类准确性和更好的泛化能力。 3、提出了一种自适应FuzzyBoost分类器集成算法(AdaptiveFuzzyBoost，记为AFB)。受APG算法的启发，本算法利用自适应偏转技术获得训练样本集的多个分布特征，应用到FuzzyBoost中，显著地增加了成员分类器的多样性。我们在Weka软件平台上实现了AFB算法，并在20个数据集上测试，结果表明AFB具有比FuzzyBoost更高的分类准确性和更好的泛化能力。

目录

文摘

英文文摘

声明

第一章绪论

1.1选题背景及研究意义

1.2多分类器集成的产生和现状

1.3本文的主要研究工作

1.4本文的内容安排

第二章多分类器集成基础理论

2.1成员分类器设计方法

2.2成员分类器选择准则

2.2.1集成分类器性能准则

2.2.2成员分类器多样性准则

2.3成员分类器搜索算法

2.3.1启发式技术

2.3.2贪婪方法

2.3.3进化算法

2.4分类器融合算法

2.4.1决策级输出

2.4.2排序级输出

2.4.3度量级输出

2.5应用领域

2.6本章小结

第三章自适应策略梯度算法

3.1进化计算

3.2自适应策略梯度算法

3.2.1标识和问题描述

3.2.2智能策略学习方法

3.2.3 APG算法和实验结果

3.2.4 结论

3.3本章小结

第四章基于进化策略和FCM的多分类器集成算法

4.1模糊聚类

4.1.1标识和问题描述

4.1.2 FCM聚类算法

4.1.3 nominal型属性数据集处理方法

4.2 FuzzyBoost算法基本思想

4.3 FuzzyBoost算法

4.3.1学习初始成员分类器

4.3.2进化学习多代成员分类器

4.3.3融合成员分类器

4.4 AFB(AdaptiveFuzzyBoost)算法

4.5本章小结

第五章实验及结果分析

5.1实验数据集

5.2参数分析

5.3算法结果的比较与分析

5.4 结论

5.5本章小结

第六章总结与展望

6.1总结

6.2下一步工作

参考文献

攻读硕士学位期间发表的论文和参与的项目

致谢