一个有效的基于信息熵的启发式属性约简算法

摘要

基于信息熵的属性约简算法都是以信息熵为启发信息设计的,其时间复杂度并不理想.为降低算法的时间复杂度,引入简化决策表的定义,设计了一个求简化决策表的算法,其时间复杂度为O(|C||U|).以快速缩小简化决策表的搜索空间为目的,定义了一个新的、较为合理的、度量属性的信息量,并给出了它的递归计算方法,其时间复杂度为P(| U/C|).同时证明了简化决策表上基于信息量的属性约简与原决策表上基于信息熵的属性约简是等价的.然后以属性的信息量为启发信息,设计了一个基于信息熵的快速属性约简算法,其时问复杂度降为max(O(|C||U|),O(|C|2|U/C|)),并用一个实例说明算法的有效性,实验结果表明新算法不仅具有高效性,且能处理大型决策表.