一种基于K近邻互信息估计的嵌入式动态特征选择方法

摘要

本发明公开了一种基于K近邻互信息估计的嵌入式动态特征选择算法，此方法不仅考虑到特征与类别的相关度和其他特征与特征之间的冗余度，还将单个属性的相关性和冗余性进行了延伸，将相关性和冗余性从二元互信息度量方式延伸到多元互信息的情况，解决了一般互信息求解方法因数据维度和数据量大而引起的计算复杂度大，互信息估算不够准确的问题。然后通过动态特征选择的思想，通过分类器识别可以识别的样本数据，并将其从数据样本集中排除，以此剔除计算信息熵过程中的“虚假信息”，更好地估算互信息。之后与传统的(MRMR)特征选择算法进行对比实验，本算法能够得到特征维数比较低、冗余度比较小但分类准确率较高的特征子集，并且具有比较好的稳定性。