基于差异性度量的分类器集成优化方法研究与应用

摘要

分类问题，作为人类的基本社会活动，在人们的日常生活和任务学习中，扮演着重要角色。随着数据挖掘和模式识别技术的快速发展，利用机器学习和模式识别技术对数据进行分析处理，寻找数据之间内在的特殊联系，对解决实际应用中的分类问题具有重要的指导意义和应用价值，由此推动了数据分类器技术的快速发展。
　　分类器技术正处于多分类器集成阶段，其是由单一分类器时期过渡而来。1997年，国际机器学习领域的权威T.G Dietterich提出了，集成学习、符号学习、统计学习、强化学习共同组成了机器学习的四大研究方向。其中，集成学习被列为四大研究方向之首，并被认定为机器学习范式的一种新形式。但是时至今日，对于如何训练出精度更高、差异性更大的基分类器，以及如何进一步提升集成模型的泛化性能，来实现更有效的集成学习，仍是集成学习领域关注却未解决的问题之一。
　　基于上述背景，本文围绕基于差异性度量的分类器集成优化方法与应用开展了相关研究，主要研究工作和成果包括:
　　(1)提出了一种基于距离熵的分类器差异性度量方法。该方法利用将距离和信息熵进行结合的思想，用基分类器在不同评价指标上相对于基准数据的距离熵来测度基分类器之间基于度量指标的整体差异性。
　　(2)提出了一种基于旋转森林变换的混合异构分类器选择性集成方法。该方法利用旋转森林技术模型构建基于特征划分的训练子集并构造出多个异构分类器，利用距离熵方法进行基分类器差异性度量，以基分类器自身分类精度和彼此差异性作为选择性集成条件，通过计算基分类器分类结果的置信度确定数据融合的权重。
　　(3)开展了分类器集成系统在基于心率变化探测人体行动中的应用研究。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 多分类集成系统概述

1．2．1 国内外研究进展

1．2．2 存在的主要问题

1．3 主要研究内容

1．4 论文的组织结构

第2章 分类器集成的理论基础

2．1 多分类器集成

2．1．1 基本概念

2．1．2 主要研究问题

2．2 多分类器的系统架构

2．3 多分类器集成的主要方式与集成准则

2．3．1 主要集成方式

2．3．2 集成准则

2．4 多分类器的评价与比较

2．5 本章小结

第3章 一种基于距离熵的分类器差异性度量方法

3．1 分类器集成中的基分类器差异性度量

3．1．1 基于差异性的多分类器集成

3．1．2 分类器差异性度量及其代表性方法

3．2 基于距离熵的分类器差异性度量方法

3．2．1 方法描述

3．2．2 距离熵的定义与计算方法

3．3 方法性能分析

3．3．1 实验方案设计

3．3．2 实验结果

3．3．3 实验结果对比分析

3．4 本章小结

第4章 基于旋转森林变换的多分类器选择性集成算法

4．1 多分类器选择性集成

4．1．1 选择性集成研究概述

4．1．2 代表性选择性集成学习算法

4．1．3 基于旋转森林变换的多分类器集成算法

4．2 基于旋转森林变换的混合异构分类器选择性集成算法

4．2．1 算法基本思想

4．2．2 算法描述

4．3 实验与结果分析

4．3．1 实验方案

4．3．2 实验结果分析

4．4 本章小结

第5章 分类器集成系统在基于心率变化探测人体行动中的应用

5．1 基于心率变化的人体探测行为

5．1．1 研究背景

5．1．2 研究目标及方法

5．2 系统设计与实现

5．2．1 系统实现原理及相关概念

5．2．2 实验设备与运行环境

5．2．3 实验对象

5．2．4 系统实现过程

5．3 系统运行结果及分析

5．4 本章小结

第6章 总结与展望

6．1 研究工作总结

6．2 进一步研究工作的展望

参考文献

致谢