多分类器系统中的组合方法及差异性度量研究

摘要

本文紧紧围绕多分类器系统这个课题,分别从分类器组合方法和分类器差异性度量方法两个方面进行了研究.本文的工作主要集中在以下几大块:第一,对现有的分类器组合方法进行了详细的综述,归纳了各种方法的优缺点,并且通过实验对一些典型方法进行了比较和分析.第二,提出了一种新颖的分类器差异性度量方法——EPD.对UCI机器学习数据库的实验证明,相对于其它方法,EPD方法对多分类器系统性能的预测能力更强.第三,提出了一种基于EPD的分类器集合精简算法,并利用它设计了一个改进的人脸识别系统.在AT&T人脸数据库上的实验结果证明,使用该算法可以在减少多分类器系统中分类器数量的同时,保持甚至提高识别率.

目录

摘要

第一章引言

1.1 概述

1.1.1多分类器系统的理论依据

1.1.2多分类器系统的应用领域

1.2 分类器差异性度量(Diversty Measure)的依据

1.3 全文内容安排

第二章多分类器系统中的组合方法综述

2.1 多分类器系统框架

2.2 面向决策输出的方法

2.2.1投票法(Majority Vote)和加权投票法

2.2.2朴素贝叶斯法(Naive Bayes)

2.2.3行为知识空间法(Behavior-Knowledge Space)

2.2.4其它方法

2.3 面向排序输出的方法

2.3.1最高序号法(The Highest-RankMethod)

2 3.2 Borda计数法(Borda Count Method)

2.3.3逻辑斯蒂回归法(Logistic Regression)

2.3.4动态分类器选择法(Dynamic Classifier Selection)

2.4 面向度量输出的方法

2.4.1形式化描述

2.4.2 Max/Min/Sum/Product/Median法

2.4.3线性组合法

2.4.4 K近邻法

2.4.5 Decision Templates法

2.4.6 Dempster-Shafer方法

2.4.7模糊积分法(FuzzyIntegral)

2.4.8传统分类器法

2.5 小结

第三章分类器组合方法实验比较

3.1 文献数据比较

3.2实验流程

3.3实验数据

3.4实验设计

3.4.1特征分割

3.4.2分量分类器选择

3.4.3错误率估计

3.5实验结果

3.6实验结果分析

第四章EPD：一种新的分类器差异性度量方法

4.1 基本概念

4.2现有的一些度量方法

4.3 EPD定义

4.4 EPD的优点

第五章EPD方法的实验比较

5.1 实验流程

5.2实验数据

5.3实验设计

5.3.1分类器集合构造

5.3.2分量分类器选择

5.3.3分类器组合方法

5.3.4错误率估计

5.4实验结果

5.4.1可视化结果

5.4.2相关系数

5.5 实验结果分析

5.5.1差异性度量方法和分量分类器的关系

5.5.2差异性度量方法和分类器组合方法的关系

第六章EPD在人脸识别中的应用

6.1 EPD精简算法(EPD-Thinning Algorithm)

6.2 系统构建

6.2.1预处理

6.2.2特征提取

6.2.3分类器集合构造

6.2.4分量分类器选择

6.3 实验设计

6.4实验结果

6.5 分析

第七章总结与展望

参考文献

致谢