基于非唯一决策差异熵的特征选择方法研究

摘要

特征选择目前已成为机器学习研究领域的热点之一，其核心是根据某一评估准则从原始特征中获取能够保留初始物理特征的特征子集。粗糙集理论是被用于描述分类数据不一致程度的数学工具，现已将其运用在处理离散型符号数据的分析任务中。模糊粗糙特征选择方法能有效的解决符号、实值数据和二者的混合数据，对其进行改进可以获得更加简单和容易理解的学习模型。
　　粗糙集理论运用属性的依赖度或不确定度去构建特征选择算法时，需要先对数据集进行等价划分求得正域或边界域。这种利用等价划分来求解依赖度或不确定度的计算过程较复杂，不利于在规模较大的数据集中应用。
　　本文首先在粗糙集离散型数据的基础之上，提出了基于非唯一决策差异熵的特征选择算法。先将非唯一决策度的三种不同数学模型用于数据中边界域信息的计算，然后用差异熵去评价属性子集的重要程度进行约简操作，其中非唯一决策度的计算简化了粗糙集不一致度的求解过程。其次，本文针对广泛存在的符号型、布尔型、缺失值和数值型数据共存的混合信息系统，研究了基于模糊相似关系的非唯一决策数学模型，得到了基于混合数据的非唯一决策差异熵的特征选择算法，在保证分类精度的前提下简化在混合信息系统中不确定度的计算过程，提升了特征选择算法的效率。
　　本文采用UCI中八类符号型数据集和九类混合型数据集进行实验分析，分别将非唯一决策差异熵的特征选择算法与其他算法在分类精度与AUC值两方面进行对比分析，其中对比算法包括蚁群算法、模糊粗糙快速约简算法、主成分分析算法和粒子群算法。实验结果表明基于非唯一决策差异熵的特征选择算法能够使得约简的效果显著提升，同时得到的特征子集具有较高的分类精度和AUC值，这证明了本文所提出的算法具有现实研究意义。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究综述

1．2．1 粗糙集与模糊粗糙集的研究现状

1．2．2 混合数据数据挖掘的研究现状

1．3 主要研究内容

1．4 论文组织结构

第2章 理论基础

2．1 模糊集理论

2．2 粗糙集理论

2．3 模糊粗糙集理论

2．4 本章小结

第3章 基于非唯一决策差异熵的特征选择方法

3．1．1 非唯一决策模型

3．1．2 非唯一决策类的选择

3．2 基于非唯一决策差异熵的特征选择方法

3．2．1 基于非唯一决策差异熵的评价标准

3．2．2 基于非唯一决策差异熵的特征选择算法

3．3 本章小结

第4章 基于混合数据的非唯一决策差异熵的特征选择方法

4．1 混合数据的距离度量模型

4．1．1 基于混合数据的距离度量模型

4．1．2 混合属性的模糊相似关系度量

4．2 基于混合数据的非唯一决策特征选择

4．2．1 基于混合数据的非唯一决策模型

4．2．2 基于混合数据的非唯一决策度特征选择算法

4．3 本章小结

第5章 基于非唯一决策差异熵的特征选择方法实验分析

5．1 评估方案

5．1．1 相关对比算法

5．1．2 分类器

5．2 基于八类离散的基准数据集的特征选择

5．2．1 特征选择结果的对比分析

5．2．2 特征选择结果的分类精度对比分析

5．2．3 特征选择结果的AUC对比分析

5．3 基于九类混合型的基准数据集的特征选择

5．3．1 特征选择结果的对比分析

5．3．2 特征选择结果的分类精度对比分析

5．3．3 特征选择结果的AUC对比分析

5．4 本章小结

第6章 总结与展望

6．1 论文总结

6．2 工作展望

参考文献

攻读学位期间公开发表论文

致谢