基于信息熵的多元分类技术及其应用

摘要

以香农信息论为依据,把熵引入多类统计分析中,从信息熵的角度,探讨如何将总体依据某个特征分组,使组间差异显著.以"信息的传递使总体从高熵值向低熵值、不稳定向稳定演化"为指导原理,定义信息增益,用以反映总体按照某个特征分组效果的好坏.信息增益越大,该特征分组效果越好;否则,分组效果越差.这就是基于信息熵的多类统计判别分析.