分类器组合技术研究及其在人机交互系统中的应用

摘要

随着模式识别技术中遇到的实际问题的复杂化，单独分类器的性能已经难以满足许多实际应用的要求，分类器组合技术成为提高模式识别系统性能的一种新的重要手段。 分类器组合技术研究对于人机交互技术的发展具有重大意义。现代人机交互技术已经发展到多模态人机交互阶段，其中一个重要的课题是多模态识别。而分类器组合是解决多模态识别问题的一项关键技术。本文结合人机交互中的多模态识别问题，对四种分类器组合问题进行研究：（1）模式类别数量较多的分类器组合问题（类别数大于15）；（2）模式类别数量较少的分类器组合问题（类别数在3～15之间）；（3）两类分类器组合问题；（4）基于局部分类精度的分类器组合问题。 本文针对以上四类问题的特点提出了一些性能较高的分类器组合方法，主要研究成果如下： 1．针对模式类数量较多的分类器组合问题，提出了一类新的排序层分类器融合方法——序号变换法。这类方法将对基本分类器输出的模式类别排序号进行的变换与分类器的加权组合结合起来，从而在融合过程中能够增强小序号值对最终分类的影响。大量实验表明，序号变换法在分类正确率方面超过现有的排序层分类器融合方法0．1～1．0个百分点。 2．针对模式类数量较少的分类器组合问题，提出了一种新的度量层分类器融合方法：多决策模板法（MDT，Multiple Decision Templates）。其决策模板产生方法使得每个决策模板能够抑制一种容易发生的分类错误，从而增加少量决策模板就能够有效地提高分类正确率。在ELENA数据集与UCI数据集上的实验结果表明：与投票法、朴素贝叶斯法、线性融合规则及模板匹配法取得的最高分类正确率相比，该方法将分类正确率提高了0．4～0．9个百分点。与k-近邻规则相比，当训练样本较多时，二者的分类正确率相当，而MDT方法的计算量较小；当训练样本较少时，MDT方法能够取得较高的分类正确率。 3．针对两类分类器组合问题，提出了一种新的度量层分类器融合方法：基于类边界的分类器融合方法（CBCF， Class Boundary based Classifier Fusion）。该方法利用所研究问题在Meta层特征空间上的特点，直接从训练样本中提取类边界，然后基于边界点定义局部线性融合规则。在Phoneme数据集与Ringnorm数据集上的实验结果表明：与投票法、朴素贝叶斯法、模板匹配法及线性融合规则取得的最高分类正确率相比，CBCF方法将分类正确率提高了0．7～1．5个百分点；与k-近邻规则相比，二者的分类正确率很接近，而CBCF方法的计算量为k-近邻规则计算量的1/50～1/20。 4．针对基于局部分类精度的分类器组合问题，提出了一种根据局部分类精度估计分类置信度的方法，从而在解决该类问题时可以采用分类器融合方法代替传统的动态分类器选择方法，提高分类正确率。基于局部分类精度得到分类置信度以后，动态分类器选择等价于度量层分类器融合方法中的Max规则，从而采用性能更好的分类器融合方法能够提高分类正确率。ELENA数据集、UCI数据集与Ringnorm数据集上的大量实验结果表明该方法将分类正确率提高了0．2～13．6个百分点。 5．基于新的分类器组合方法设计了多模态身份识别系统与多模态身份认证系统。身份识别属于模式类数量较多的问题，所以在多模态身份识别系统中采用了序号变换法。身份认证可以作为两类问题处理，所以在多模态身份认证系统中采用了CBCF方法。实验表明本文方法显著提高了系统性能，使身份识别系统的正确识别率从94％（基本分类器正确识别率的最大值）提高到99．71％，身份认证系统的半错误率（HTER，Half Total Error Rate）从5．12％（基本分类器半错误率的最小值）下降到0．92％。 最后设计了多模态身份识别系统与多模态身份认证系统，为多模态人机交互中的应用打下了坚实的基础。

目录

文摘

英文文摘

声明

致谢

第一章 绪论

1.1 课题的研究目的和意义

1.2 分类器组合技术简介

1.2.1 分类器组合问题描述

1.2.2 分类器组合方法分类

1.2.3 分类器组合系统的结构

1.3 分类器组合技术在人机交互中的应甩

1.3.1 第四代人机交互技术

1.3.2 分类器组合是第四代人机交互中一项关键技术

1.4 课题来源及主要研究内容

1.4.1 课题来源

1.4.2 论文的研究内容

1.5 论文的结构安排

第二章 分类器组合方法综述

2.1 符号说明

2.2 分类器组合方法研究现状

2.3 抽象层分类器融合方法

2.3.1 投票法

2.3.2 朴素贝叶斯法

2.3.3 行为知识空间方法

2.4 排序层分类器融合方法

2.4.1 最高序数法

2.4.2 Baoda计数法

2.4.3 逻辑回归方法

2.4.4 Saranli方法

2.5 度量层分类器融合方法

2.5.1 四种基本的融合算子

2.5.2 模板匹配法

2.5.3 基于证据理论的方法

2.5.4 模糊积分方法

2.5.5 线性融合规则

2.5.6 基于多项式回归的方法

2.5.7 基于认知与反馈的分类器融合方法

2.6 动态分类器选择

2.6.1 基于 k—近邻的方法

2.6.2 基于聚类的分类器选择

2.7 分类器集成

2.7.1 Bagging

2.7.2 Boosting

2.8 现有分类器组合方法中存在的主要问题

2.9 本章小结

第三章 排序层分类器融合中的序号变换法

3.1 MGR方法

3.2 序号变换法

3.2.1 融合规则

3.2.2 参数优化

3.3 实验

3.3.1 实验数据

3.3.2 实验设计

3.3.3 实验结果

3.3.4 实验分析

3.4 本章小结

第四章 度量层分类器融合中的关键点方法

4.1 相关工作

4.1.1 数据集简化

4.1.2 基于关键点的分类

4.2 Meta 层特征空间的特点

4.3 多决策模板法(MDT)

4.3.1 决策模板产生方法

4.3.2 基于模糊系统的度量层分类器融合

4.3.3 基于最小分类错误的参数优化

4.3.4 实验

4.4 基于类边界的分类器融合方法(CBCF)

4.4.1 基于类边界的关键点选择方法

4.4.2 局部线性分类器融合规则

4.4.3 实验

4.4 本章小结

第五章 从动态分类器选择到分类器融合

5.1 引言

5.2 计算局部分类精度的方法

5.3 根据局部分类精度估计分类置信度

5.4 动态分类器选择与Max规则的等价性

5.5 实验与分析

5.5.1 不同输入数据条件下的实验

5.5.2 相同输入数据条件下的实验

5.6 本章小结

第六章 基于手部特征的多模态身份鉴别

6.1 引言

6.2 数据的采集和预处理

6.3 特征提取

6.3.1 主成分分析方法

6.3.2 线性判别分析方法

6.4 多模态身份识别

6.4.1 系统框架

6.4.2 匹配算法及排序层融合

6.4.3 多模态身份识别系统性能测试

6.5 多模态身份认证

6.5.1 匹配算法

6.5.2 融和算法

6.5.3 多模态身份认证系统性能测试

6.6 本章小结

第七章 结论

7.1 本文的研究成果

7.2 对进一步工作的展望

7.3 结束语

参考文献

攻读博士学位期间撰写的论文和参与的研究课题