基于划分差异熵特征选择改进方法的研究

摘要

特征选择是一种有效的数据降维技术，主要任务是从原始数据集中选出最具代表性的特征子集，这些特征子集可以表达原始数据集的含义，并且可以代替原始数据集对未知数据进行预测。目前的特征选择算法中，粗糙集特征选择模型处理的主要是离散化的数据集，它不能直接处理连续型数据。由于现实生活中绝大部分数据集都是连续型的，因此将模糊集和粗糙集结合构成模糊粗糙集来进行特征选择。常见的模糊粗糙集特征选择算法有基于正域（依赖度）的算法和基于信息熵的算法等，这些算法在处理过程中时间开销较大。
　　在粗糙集特征选择模型中，划分差异熵模型利用“划分”的思想先将原始信息系统划分为多个子信息系统，通过计算子信息系统上的划分差异熵，代替直接在全体条件属性集上计算熵的方法，缩短了时间复杂度，同时达到了与传统信息熵模型相同的分类能力。但是受粗糙集的影响，划分差异熵模型只能处理离散型数据集。
　　本文利用多分类数据集决策类别较多的特点，提出了基于Lambda划分差异熵的特征选择算法(LDE-FRFS)。先将原始决策系统划分成多个子系统，在每个子系统中评价属性局部重要程度，然后利用局部重要程度计算属性全局重要程度，得到约简结果。LDE-FRFS算法与模糊粗糙集中的熵方法相比，在保证了分类准确率的前提下，时间复杂度更低，并且与划分差异熵相比，本算法能够直接处理实值类型数据。同时本文发现LDE-FRFS算法受噪音数据影响较大，因此在算法中加入了一种降低噪音数据影响的算法，即不同类比算法，从而提高了算法准确率。
　　本文用九种基准数据集对两种算法进行特征选择的实验验证，将本文算法分别和其他四种算法（基于Lambda条件熵特征选择算法、基于模糊粗糙快速属性约简算法、基于模糊熵的特征选择算法和主成分分析算法）进行对比实验，实验成果证明本文算法的性能优于其他经典的特征选择算法。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．3 主要研究内容

1．4 论文组织结构

第2章 模糊粗糙理论

2．1 模糊集理论

2．2 粗糙集理论

2．3 模糊粗糙集理论

2．4 小结

第3章 基于Lambda划分差异熵的特征选择

3．1 模糊粗糙特征选择算法介绍

3．2 基于Lambda划分差异熵的特征选择算法

3．2．1 数据集归一化

3．2．2 子决策信息系统的生成

3．2．3 局部Lambda划分差异熵

3．2．4 全局Lambda划分差异熵

3．2．5 基于Lambda划分差异熵特征选择算法的分析

3．3 基于Lambda划分差异熵特征选择算法的实例

3．4 小结

第4章 基于不同类比Lambda划分差异熵特征选择

4．1 基于不同类比Lambda划分差异熵的特征选择算法

4．1．1 不同类比算法

4．1．2 参数ε的影响

4．1．2 基于不同类比局部Lambda划分差异熵

4．1．3 基于不同类比全局Lambda划分差异熵

4．1．4 基于不同类比Lambda划分差异熵特征选择算法的分析

4．2 基于不同类比模糊下近似求法举例

4．3 小结

第5章 实验结果与实验分析

5．1 实验环境及实验数据介绍

5．2 评估方案

5．2．1 对比的算法

5．2．2 用于评估分类精度的分类器

5．3 基于Lambda划分差异熵特征选择算法实验

5．3．1 特征选择结果的时间对比分析

5．3．2 特征选择结果的分类精度对比分析

5．3 基于不同类比Lambda划分差异熵特征选择算法实验

5．3．1 特征选择结果的时间对比分析

5．3．2 特征选择结果的分类精度对比分析

5．3．3 参数ε影响的实验

5．4 小结

第6章 总结与展望

6．1 论文总结

6．2 工作展望

参考文献

攻读学位期间公开发表论文

致谢