基于信息熵的连续属性数据无监督离散化方法

摘要

本发明涉及大数据连续属性离散化技术领域，尤其涉及一种基于信息熵的连续属性数据无监督离散化方法。步骤如下：步骤1、遍历任一连续属性的所有取值记录，统计该属性的离散粒度|nj|及各不同取值的概率qji，记录最大值njmax和最小值njmin；步骤2、根据信息熵的计算公式得出任一连续属性nj取值混乱程度的计算公式，根据公式计算该属性的取值混乱程度；步骤3、对取值混乱程度向下取整得到断点数；步骤4、采用等宽区间的方法计算划分的每个区间的宽度，确定每个断点的位置；步骤5、对连续属性nj进行离散化。本发明这种全新的确定断点数的方式，更能适应原数据，各属性离散化互不影响，且不依赖于其他属性，计算效率更高。